西晋元康五年（295），鲜卑拓跋部首领拓拔禄官分国人为三部，盛乐一带（今和林格尔县以西至黄河），由拓跋猗卢率部驻牧。西晋建兴元年（313），西晋封拓跋猗卢为代王。西晋建兴四年（316），拓跋猗卢被其子杀死，发生内乱。东晋咸康七年（341），铁弗匈奴首领刘虎攻代，代王什翼犍（时都成乐，今和林格尔县北），派军反击，大破铁弗匈奴军。

东晋太元元年前秦建元十二年（376），前秦主苻坚遣数路大军攻代，什翼犍战败，代政权灭亡。

北魏登国元年（386）正月，鲜卑什翼犍之孙拓跋珪东山再起，在牛川（今呼和浩特市西南）大会诸部，复即代王位，建元登国，国号代。二月，迁都成乐，改名盛乐（今和林格尔县北土城子古城）。四月，改称魏王，国号魏；为北魏建国之始。北魏天兴元年（398），魏王拓跋珪迁都平城（今山西省大同市东北），改元天兴；第二年（399），即位皇帝。北魏神麚二年（429），北魏袭击敕勒（高车）各部，把降服的数十万户敕勒人及牛马百余万头（匹）迁至东起濡源（今河北省丰宁县西），西至五原，沿阴山一带。北魏设6镇，即沃野（今巴彦淖尔市五原县北）、怀朔（今包头市固阳县境内）、武川（今武川县土城梁）、抚冥（今乌兰察布市四子王旗乌兰花土城子）、柔玄（今乌兰察布市兴和县台吉庙东北）、怀荒（今河北省张北县境）。

北周建德六年北齐承光元年（577），北周灭北齐，统一北方地区，包括今呼和浩特地区。