晋北春秋时为狄所居，聚居的少数民族有林胡、楼烦等部，这里自古以来就是兵家必争之地，关山险固，易守难功。历史上这里一直是中原汉族和北方少数民族长期互相争夺的地方。
战国时，赵国的势力扩展到这里，赵武灵王曾胡服骑射，向北开矿疆土，傍阴山筑长城，与匈奴、楼烦、林胡为界。秦末汉初，匈奴在冒顿单于统治下，武力达到了空前未有的强盛。公元前133年，汉武帝开始对匈奴进行长期的讨伐战争。同时还大量从关中移民充实塞外，曾一次移民70万人口，并设云中（今内蒙古托克托县）、定襄（今内蒙古和林格尔县）、雁门（今山西朔州市右玉县）等郡，晋北一带出现了很多城郭。据《汉书·地理志》记载：仅雁门一郡，即领县十四。就这样，从中原北移的汉族人民与降汉的匈奴部落在晋北一带和平共处，共同生活，开始了晋北历史上的第一次民族大融合。
西晋初期，北方五胡十六国大乱，晋朝封鲜卑族首领拓跋猗卢为代王，建都盛乐（今内蒙古和林格尔县），后来鲜卑族内部混乱，互相残杀。直到拓跋什翼犍即代王位统一诸部，又开始强盛起来，但不久被前秦苻坚击败。公元386年，拓跋什翼071犍之孙拓拔珪继代王位，于公元398年建都平城（今大同市区），次年称帝（北魏道武皇帝），此为中国历史上的北魏王朝。这一时期，社会比较安定，各族人民和睦相处，农业生产得到了发展，据《魏书》记载：“太祖定中原，接丧乱之弊，兵革并起，民废农业。方事虽殷，然指点江山“拓跋氏”经略之先，以食为本辰，收其珍宝、牲畜，使东平公仪垦辟河北，自五原至于固阳塞外为屯田。天兴初，制定京邑，东至代郡，西及善无，南极阴馆，北尽参合，为畿内之田。”这些记载说明，处于畿内的晋北地区生产得到较大发展，这一时期，鲜卑族又与汉族人民逐渐融合，这种状况大约维持了一百多年。此为晋北历史上的第二次民族大融合。