抗日战争全面爆发后，国共两党开始合作抗日，陕北一带的红军主力改编为八路军，南方八省的红军游击队改编为新四军。在此之前，活跃在东三省的抗日义勇军已经改称东北抗日联军，简称东北抗联。除了这三支正规部队之外，我党还握有另外两大抗日武装，总兵力高达80多个团。
1936年冬季，薄一波被派往山西，出任中共山西工委会书记。不久后抗日战争全面爆发，日军大举入侵山西。阎锡山对此准备不足，兵力也不够用。于是就委托薄一波拉队伍并训练新兵，以配合晋军作战。薄一波长期从事兵运工作，经验十分丰富，能力也很强，因此很快就拉起了一支队伍。1937年8月，这支部队改称决死第一纵队，薄一波出任政委。
同时山西青年抗敌决死第二总队也改称为决死第二纵队，张文昂政委，他是山西灵石县人，在师范学校读书时开始接受进步思想并走上了革命道路，1926年加入共产党，新中国成立后担任过交通部办公厅主任。决死二纵成立的时候只有两个团和一个总队，但很快就扩编到了12个团的规模。
决死一纵和二纵成立几天后，薄一波又组建了决死第四纵队，雷任民任政委，他是山西平遥人，在中学读书时开始参加革命，后来来到北平共青团工作，担任组织部部长，新中国成立后担任过贸易部副部长。决死一纵、二纵和四纵成立一个月后，薄一波经过和阎锡山协商后，把山西军官教导团第十团改编成了决死第三纵队。
当时决死三纵的政委是戎子和，他是山西平鲁县人，1936年冬季加入共产党，新中国成立后担任过财政部副部长和代部长。早在这四个决死纵队成立之初，薄一波就提出在部队中实行政委制度，政委有最后的决定权。当时阎锡山急需有部队为自己分担日军进攻的压力，因此就同意了。
决死一纵、二纵、三纵和四纵统称山西青年抗敌决死队，由于实行了政委制度，而四个纵队的政委又都是共产党员，因此这支抗日武装实际上是在我党的掌握之下的。鼎盛时期，山西青年抗敌决死队一度达到了50个团的规模，成为山西战场上的一支抗日劲旅，在许多重要的战役和战斗中都发挥了十分重要的作用。
除了山西青年抗敌决死队之外，我党还握有另外一支抗日武装，这就是河北游击军。抗日战争全面爆发后，陕北一带的红军主力改编为八路军。蒋介石为了限制八路军的发展，只给了三个师的番号，并规定每个师定员15000人。当时陕北一带的红军主力将近7万余人，剩余的25000余人由于编制有限，因此没能进入正规部队，他们当中大部分来到了八路军留守兵团。
由于只有三个师的编制，不少干部不得不降级使用。但仍有一些经过长征的营团级干部不好安排，最后这部分人就被派到了敌后去拉队伍，孟庆山就是其中之一。他是河北蠡县人，早年时期为了谋生，在冯玉祥的部队中当兵，累积战功升任副营长。中原大战结束后，冯玉祥战败下野，部队被蒋介石改编为第26路军并被派往江西和红军作战。
26路军的官兵大都是北方人，不适应南方的饮食习惯，和红军作战时又连吃了几次败仗。蒋介石不仅不给26军补充战斗减员，而且连军饷也拖延不发。被逼无奈之下，26路军在赵博生和董振堂等人的领导下起义，加入了红军队伍。孟庆山也参加了宁都起义，之后跟随部队南征北战，累积战功升任团长并参加了长征。
抗日战争全面爆发后，他奉命来到河北拉队伍。在当地地下党的配合下，经过数个月的艰苦努力，拉起了一支数百人的部队，。之后他率部连打胜仗，积小胜为大胜，很快就打出了名声，前来投奔的人络绎不绝。到1938年1月的时候，孟庆山手下已经有了12路大军，30多个团，总兵力69000多人。
山西青年抗敌决死队和河北游击军都是我党领导下抗日武装，这两支部队的兵力加起来高达80多个团。虽然他们的名气没有八路军、新四军和东北抗联大，但也为都为抗日战争的胜利作出了极为重要的贡献。1955年大授衔的时候，薄一波由于已经不在军中任职，因此没有授衔。河北游击军的领军人物孟庆山则被授予了少将军衔。
