大青山位于阴山山脉的中段，东西绵延350余公里，南北宽50余公里，东控集宁，中临归绥，西接包头，扼守晋、绥，是通往外蒙古和苏联的要道。大青山山脉南北的绥远省中、东部地区，面积约9.3万平方公里，当时有人口约140多万。在长期的历史发展过程中，大青山地区形成了蒙古、汉及其他民族大杂居、小聚居的格局。

大青山地区的战略地位十分重要。该地区是通往大西北的咽喉，日军由此向西，可侵占宁夏、甘肃、青海乃至新疆，卡住这个咽喉便可阻止日本侵略者实现进军大西北的企图。该地区也是陕甘宁边区的北方门户，日军由此向南可通过伊克昭盟进攻陕北，能否占据和守住这个门户，关系到中共中央的安危。作为晋绥抗日根据地的重要组成部分，该地区与晋察冀抗日根据地相呼应，构成广阔的晋、绥、冀、察敌后抗日战场，与日本侵略者争夺该地区关系到晋西北抗日根据地的安全和整个晋绥抗日战争的发展。同时大青山地区也是蒙汉杂居区，日本占领绥远后，企图以大青山地区为中心建立殖民政权，奴役各族人民，把绥远变成“以战养战”的基地，动员该地区各民族团结一致、共同抗日，对打破日军企图、维护抗日民族统一战线意义重大。开辟大青山抗日游击根据地，对于中国共产党打通国际交通线，沟通与外蒙古和苏联的联系也具有重要意义。

1937年8月，中共中央召开洛川会议，决定在敌人后方开展独立自主的游击战争，配合正面战场，开辟敌后战场，建立敌后抗日游击根据地。1938年3月，在晋西北抗日根据地初步建成后，中共中央和毛泽东根据抗战局势发展，适时作出了建立大青山抗日游击根据地的战略决策。

1938年3月30日和4月18日，毛泽东和中共中央军委参谋长滕代远两次电询八路军第一二〇师师长贺龙、政委关向应、副师长萧克，能否在大同以北、兴和、商都、康保地区建立一个根据地，能否沿大青山脉创立一个游牧性质的骑兵游击支队，要求“调查见告”。 5月14日，毛泽东致电朱德、彭德怀、贺龙、关向应、萧克，发出《关于沿大青山脉建立游击根据地的指示》，明确提出，“在平绥路以北，沿大青山脉建立游击根据地甚关重要。请你们迅即考虑此事”。

在多次征求贺龙、关向应、萧克等人的意见后，11月24日，毛泽东等就建立大青山抗日游击根据地及党的政策给周士第等人发出电报，指出在大青山建立游击根据地完全可能，坚持长期游击战争、建立游击根据地，是大青山地区党的中心任务。

1938年6月11日，毛泽东复电朱德、彭德怀、贺龙、关向应、萧克等，对选派创建大青山抗日游击根据地的部队和领导人员提出要求，“该地应派何种部队何人指挥及如何作法，由你们依据情况处理之。惟开始建立根据地时，敌人知其重要意义，必多方破坏，故部队须选精干者，领导人须政治军事皆能对付，且能机警耐苦，而有决心在该地创立根据地者”。此时，中共中央建立大青山抗日游击根据地的决策已经成型。

中共中央和毛泽东经过周密的调查研究，作出了创建大青山抗日游击根据地的决策，体现了宏大的革命气魄和高超的战略眼光。