隋开皇五年（585），设丰州管辖今乌加河河套地区。隋大业元年（605），改丰州为五原郡（郡治九原，在今五原县南），领永丰县（治所在今临河市境）、丰安镇（约在今乌拉特前旗西南黄河北岸），辖今乌加河河套地区。另置大同城护守（今乌梁素海东南）屯军；沃野城邑（今乌梁素海东北）。唐朝初年，今市境仍属丰州，辖境包括今临河市、五原县、杭锦后旗等地区，隶关内道。唐贞观四年（630），设置丰州都督府，专门管理归附的北方各族。贞观中改州置郡，今巴彦淖尔市南部地区，隶九原郡。唐贞观二十一年（647），漠北铁勒诸部归服于唐，唐朝置燕然都护府（治所在今乌拉特中旗境内），辖有今巴彦淖尔市北部地区。唐朝任命附唐各族中的贵族为都督等官职。唐永徽年间（650），置有永丰县（今临河市境）、九原县（今五原县南）、后又增丰安县（今乌拉特前旗西南）。唐景龙二年（708），朔方大总管张仁愿筑中受降城于今包头市西和西受降城于今乌拉特中旗乌加河镇北，隶天德军节度使，曾先后为燕然都护府和安北都护府统领。