晋北春秋时为狄所居,聚居的少数民族有林胡、楼烦等部,这里自古以来就是兵家必争之地,关山险固,易守难功。历史上这里一直是中原汉族和北方少数民族长期互相争夺的地方。
战国时,赵国的势力扩展到这里,赵武灵王曾胡服骑射,向北开矿疆土,傍阴山筑长城,与匈奴、楼烦、林胡为界。秦末汉初,匈奴在冒顿单于统治下,武力达到了空前未有的强盛。公元前133年,汉武帝开始对匈奴进行长期的讨伐战争。同时还大量从关中移民充实塞外,曾一次移民70万人口,并设云中(今内蒙古托克托县)、定襄(今内蒙古和林格尔县)、雁门(今山西朔州市右玉县)等郡,晋北一带出现了很多城郭。据《汉书·地理志》记载:仅雁门一郡,即领县十四。就这样,从中原北移的汉族人民与降汉的匈奴部落在晋北一带和平共处,共同生活,开始了晋北历史上的第一次民族大融合。
西晋初期,北方五胡十六国大乱,晋朝封鲜卑族首领拓跋猗卢为代王,建都盛乐(今内蒙古和林格尔县),后来鲜卑族内部混乱,互相残杀。直到拓跋什翼犍即代王位统一诸部,又开始强盛起来,但不久被前秦苻坚击败。公元386年,拓跋什翼071犍之孙拓拔珪继代王位,于公元398年建都平城(今大同市区),次年称帝(北魏道武皇帝),此为中国历史上的北魏王朝。这一时期,社会比较安定,各族人民和睦相处,农业生产得到了发展,据《魏书》记载:“太祖定中原,接丧乱之弊,兵革并起,民废农业。方事虽殷,然指点江山“拓跋氏”经略之先,以食为本辰,收其珍宝、牲畜,使东平公仪垦辟河北,自五原至于固阳塞外为屯田。天兴初,制定京邑,东至代郡,西及善无,南极阴馆,北尽参合,为畿内之田。”这些记载说明,处于畿内的晋北地区生产得到较大发展,这一时期,鲜卑族又与汉族人民逐渐融合,这种状况大约维持了一百多年。此为晋北历史上的第二次民族大融合。