阎锡山在山西的“清党”，迫使中共在山西的活动完全转入地下，陷入低谷。直至抗战爆发前夕，特别是1936年中国工农红军东征后，鉴于中共抗日的决心和华北危局的加剧，阎锡山为了利用共产党抵御日本帝国主义和国民党中央的压迫，并号召民众进行抗日，以维持其统治，才逐步由反共转向“迎共”、“联共”，中共在山西的组织也才得以恢复发展。至于山西的国民党组织，“清党”过程中因内部派系斗争而分化成了CC派和“中山主义大同盟”派。改组后的省党部，阎锡山虽然派了赵戴文等参加，但他对党务工作向来不感兴趣，而CC派的首领苗培成、韩克温在阎锡山支持下，通过“清党”则势力渐大，把持了省党部。但是，苗培成、韩克温本就不属于阎锡山的地方势力，阎锡山对他们的支持，也只是因为在反共问题上双方目标一致。及至CC派势力坐大，阎锡山认为于己已有所不利时，即想利用“掺沙子”的办法控制省党部，此法尽管收效不大，但从此却也使CC派基本上失去了对山西政局的影响力。因此，直至抗战爆发前的20多年中，山西的政治经济等方针大计，基本上都实行的是阎锡山的一套山西版本的“三民主义”。这中间，虽然1930年中原大战期间，国民党山西省党部及各县党部负责人，纷纷被汪精卫、阎锡山两派打倒，大部流落外地。可是，当阎锡山战败离开山西后，他们便以胜利者的姿态返回山西，又嚣张起来。一方面积极反阎，对阎本人漫骂、讽刺、侦察，并在国民党内部通缉、开除、清洗阎汪分子，另一方面，继续反共，大肆破坏中共山西省地下组织。阎锡山对于省党部对自己的攻击，自然十分恼怒，但却无可奈何。1931年8月5日阎锡山由大连潜返老家五台河边村后，在静观时局变化的同时，积极筹划自己的东山再起。不久，“9·18”事变爆发，国人要求抗日救亡的呼声日益强烈，爱国运动不断兴起，太原的大中专学生也积极响应。12月初，太原学生派出代表向山西当局请愿，要求开放抗日救亡运动。省党部常务委员、省教育厅厅长苗培成出面接见学生代表时，态度蛮横，激起代表们的愤怒，高喊“打倒苗培成”的口号，苗见势不妙，扭头逃跑。学生代表第二天又找省主席徐永昌，又受阻。愤怒的学生分头将苗公馆和教育厅加以捣毁。12月18日上午，太原学生三、四千人到省党部大门前请愿，省党部应允学生派出代表进入，岂料，学生代表进入省党部后，突遭纠察队围攻殴打，并枪杀了穆光正，从而引发了震动全省的“12·18”惨案。阎锡山闻知后，即要清乡督办杨爱源命令太原市警备司令荣鸿胪，于当天下午派部队将省党部纠察队缴枪，并将韩克温、姚大海及纠察队长等扣押在警备司令部，还会同学生代表查封了省党部及《民国时报》社，随后各县县党部亦一律停止活动。其领导人则流窜到北平、西安等地。从此，蒋介石在山西的势力消失殆尽。
阎锡山曾支持过国民党山西省党部，但后来却又查封了国民党山西省党部，排除蒋介石在山西的势力，这看起来似乎有些矛盾，其实不然。因为，在反共的问题上，他们是一致的，并因此而协力同心，但是在关乎各自利益的问题上，由于蒋介石想通过他在山西的国民党省党部来逐步控制山西政局，从而达到一统天下的目的，而阎锡山则不愿意受中央的约束，总想自成一体，维护住本集团的利益，这就不能不发生冲突。在省党部的问题上是这样，北伐结束后的编遣会议及不久爆发的中原大战，也是这样。
3、出师讨奉，参加北伐，晋军初战得势，不久全线撤退
阎锡山的易帜，让张作霖感到了事态的严重。因为他的这位盟友态度上的这种转变，不但在政治上对奉方阵营是个不小的冲击，而且也因宁汉之争使其在南方形成的与北伐军军事上的均势产生了不利于奉方的变化。但是，张作霖并未对阎立即采取激烈行动。其原因主要是阎锡山的易帜仅仅是其政治态度上的表示，而在军事上尚未有什么异常变化。如若贸然对阎动手，情急之下，阎锡山必然作出反映，如此一来，奉方必然要抽调相当兵力对付阎的还击，这样就不能不影响到南方的战事。所以，他在震惊之余，还是对阎采取了缓和的态度。为此，1927年6月18日，他在北京就任“安国军海陆大元帅”后，即委阎为“安国军副元帅”。同时，请阎推荐“军政府官员”，但阎均婉言拒绝，并向张作霖表示，他在山西的易帜，只是为了自保，并不意味着与张为敌，今后反共立场绝不改变。同时还劝张取消“大元帅”称号，改易“东北国民革命军”。看来，阎锡山主观上一直想劝促奉方与蒋介石合作，加入“讨共大同盟”，来共同对付共产党的。这可说是阎锡山易帜后，迟迟未出兵伐奉的一个重要原因。因为，如果劝促奉方成功的话，那么，不但加强了反共势力，也可避免他与奉方的军事冲突，更好地保存自己。
另一个原因，就是宁汉之争使南方军事上进展缓慢，无暇北顾，而奉方在北方的势力又基本上未动，如若晋绥军与奉军孤立作战，后果可想而知，因此，阎锡山不得不继续与奉方周旋，一方面希望张作霖能改弦更张，一方面加紧与南京政府的联系。
蒋介石对于阎锡山拒汪拒奉，力行“清党”反共的作为，大为赞赏。7月7日，南京国民政府军事委员会改组时，阎锡山、冯玉祥、胡汉民、李烈均等就当选为委员。并且，国民政府于7月9日发表了国民革命军北方各军军长，分任商震、杨爱源、徐永昌、傅存怀、傅汝均、丰玉玺、张荫梧、谭庆林、郑择生、李维新等10人为第一至第十军的军长。（第七军军长由阎锡山兼，张荫梧为副军长），这就直接把阎锡山的晋绥军纳入了北伐军系列。从而使阎锡山更加依赖南京政府。因而，此后不久，7月15日，阎锡山便命北方国民革命军进占石家庄，奉军退守正定。
北方国民革命军各军均由二至三师并附炮、骑、工等兵种分队编成。分为左、右两路，由第1、7、9各军组成的左路军出兵京绥路；第2、3、4、10各军组成的右路军出兵京汉路，另以第6、8军为挺进部队，其余为总预备队。而奉军在京绥路方面的军队为第三军团所属第9、12军，其主力配置于宣化、张家口附近，另外，在平地泉派驻一个机动部队，奉军在京汉路方面是第3、4军团之主力。从晋绥军与奉军双方的兵力与部署上来看，晋绥军虽处于进攻地位，其炮兵、骑兵也颇具威力，但其总兵力要少于奉军，并且在战略上处于外线作战地位，进军路上，山河重重，交通不便，给部队运动带来很大困难。奉军的兵力虽然要比晋绥军多，并且所据之京津资源相当丰富，京绥、京汉、京奉三路交通也极为便利，况且是以守为攻，以逸待劳，优势不少，但是其战线过长，兵力分散，从察哈尔之怀安到石家庄的新乐，如同蛇形一样，沿线所设兵力都较为孤立，很容易被分割围歼，各个击破。
面对阎锡山这种架势，张作霖不得不作出反应，为应对局势，他一面令驻于京绥、京汉线的第三军团主力积极补充训练，一面还于8月25日派出代表与晋方联络，希望阎锡山能从石家庄撤军，守中立地位。因为，作为国民革命军总司令的蒋介石迫于北伐失利和武汉方面的压力，于8月13日宣布辞去总司令一职，在沪通电下野。张作霖想乘宁汉互争之机改变南方战局，准备派出两路兵马南下，一路到河南攻打北伐军，一路沿津浦线援助孙传芳。可是，由于晋绥军已进占石家庄，给奉军运兵南下造成了障碍，所以，尽管张作霖对这位盟友的背叛十分恼火，但为大局计，他还是委曲求全，与阎联络，然而却遭到了阎锡山的拒绝。于是，张作霖派第三集团军中将于珍为丰镇平地泉总指挥，以检阅察西部队为名，前往这两处部署军事，准备向绥东进攻。不料，当于珍由第9军参谋长刘维勇陪同返经大同时，突遭奉阎锡山之命的晋绥军大同镇守使李生达扣留，并转送太原。晋北顿呈紧张局势，阎锡山与张作霖的矛盾进一步恶化，双方剑拔弩张，大战一触即发。
阎锡山将其左右两路大军部署后，晋绥军与奉军曾发生过多次小的战斗。他亟待中央配合支持，但是，蒋介石下野后，由于宁汉合作改组后的中央国民党特别委员会的多数委员们，仍沉迷于“党统”之争，根本无暇顾及北伐大业，而奉方却乘南京混乱之际，在津浦方面连连反攻得手。在此情况下，阎锡山屡屡致电南京政府，认为对奉军“若再迟迟不发，坐使强敌益张，殊非党国前途之幸”，“为牵制敌人南下，并先发制人”，经与冯玉祥和其他方面联络后，遂于9月27日令前锋依作战计划，退出石家庄，集中井径待命。28日，即致电南京政府：今日率部誓师，讨伐张作霖，并发布檄文，谓“不得已，随诸同志之后，誓师北伐，以扫除三民主义之障碍，以达救国救民之目的”。同时，令其所部29日向京绥、京汉两路一致发动。阎锡山虽然因对张作霖“屡与开诚相商，终见固拒，近更庞然自大，盘踞北京，不谋与民合作，只求一己之尊，且日肆以武力压迫国人，……既忍无可忍，又望无可望”（《阎锡山年谱》（二），第820、822页），“不得已”出师讨奉。但不管怎么说，他总算是参加北伐，向奉军宣战了。
阎锡山在誓师讨奉之前，即针对奉方部署，为达到突然袭击，尽快攻占北京之目的，制定了“集中兵力，两端下手，多路进攻，分割围歼”的战略方针。拟将奉军当面主力及预备队吸引到京绥、京汉线之两端，将其拦腰斩断，使之首尾不能相接，然后分进合击，“直下京津，厥收奇功”，因此，讨奉通电发表时，左右两路大军均已进入出击地域。
双方交战之初，晋绥军进展顺利，左路军在商震的指挥下，第5师王靖国部由大同沿京绥线向张家口进击后，很快轻取张家口、万全，第15师李生达部由天镇经怀安县左卫向宣化附近的沙岭子之敌前进后，经激战击退了奉军高维岳的第9军，占领了宣化。由阎锡山直接指挥（实际由徐永昌代行）的右路军，以2、3联合军为主力，由石家庄荻鹿、平山、井径一线向北发起进攻后，也很快以优势兵力推进到接近保定的定县、望都一线。右路军的第6军第4师傅作义部做为一支奇兵，则由太行山间挺进，从京、保（定）之间截断铁路，以求全歼京汉保定以南之敌，并相机呼应由阳原县经蔚县向南口进发的第14师李服赝部。晋绥军初战告捷，不到一周时间，连克数地，10月“一日克正定、四日克新乐、定县、柴沟堡，五日克张家口、宣化，六日克望都”（《阎锡山年谱》（二），第829页）。与此同时，冯玉祥所属各部在陇海、津浦两路也发起进攻，以策应晋军。看来，形势对晋绥军十分有利，似乎已经稳操胜券。
但是，晋绥军好景不长，它在奉军猛烈反攻下转入守势。面对两线作战，张作霖调整了兵力部署，在津浦方面取守势，集中兵力解决西线战事。10月10日，下令京绥、京汉、陇海三路部队开始向阎、冯军队发起反攻。当日即收回定县，切断了晋绥军前线与石家庄的联系，右路军全线动摇。在石家庄指挥作战的阎锡山忙将总部转回正太线荻鹿车站，由徐永昌任前敌总指挥，晋绥军右路部队被迫沿京汉线之左侧，经平山、荻鹿等地，向娘子关撤退。推进到张家口、宣化的晋绥军左路军，也遭到奉军的激烈抵抗，先头部队李生达15师伤亡近三分之一。10日，奉军又发起猛烈反攻，连连得手后，乘势将商震左路军压至天镇县永嘉堡一带，幸被李生达15师力战所阻，才免于全线崩溃。商震本拟在大同布置防线，因阎锡山深感兵力薄弱，遂下令放弃雁北、绥远，左路军集结雁门关一带山地，凭险防守。大同重镇被奉军占领。至1927年10月底，晋绥军主力均被奉军逼退，收缩于山西境内。
执行南路挺进任务的傅作义4师，因与上级失去了联络，未得到撤退命令，仍照原定计划出易县，趁奉军主力集结京绥、正太两路而腹部空虚之机，于10月13日一举攻占了京南重镇涿州。但因联络中断，无法确定下步方略，傅作义只得据城固守。他不知道晋绥军主力全线撤退后，涿州已经成了奉军防守腹地中的一座孤城。而奉军向来小觑晋军，认为晋军打不了硬仗、恶仗。况涿州已是一座孤城，守军只有一师人马，因此，张作霖决心拔除这个钉子，下令期限拿下涿州。岂料，奉军四次总攻，多次增援，均未奏效。张作霖遂派张学良亲自指挥作战，最多时一天竟向城内发射炮弹四、五千发，并派工兵炸毁西南城墙。傅作义则集中兵力，亲自督战，数次打退奉军进攻，以一师兵力坚守涿州3个月，并因此而牵制了奉军10万之众不能南下，大大缓解了冯玉祥部的压力。守城期间，傅作义曾数次电阎请援，阎自觉无力也无望增援，只好多次回电嘉勉，并于12月18日致电傅作义，着第4师全师官佐一律晋升一级，赏全师7万元大洋，鼓励士气。不久，南京方面也于12月27日任命徐永昌、傅作义二人为军事委员会委员，以示对阎的笼络和对傅的嘉勉。以师长一级任军委会委员，傅作义实乃空前绝后之一人。这时，傅作义已是粮尽援绝，而奉军也成强弩之末，于是双方接受北京商民代表调停，议定傅作义部改编为国防军而不属奉军系列，傅本人离开部队。1928年1月12日，傅部接收改编出城，历时90天的攻防战终于结束。涿州之战使傅作义以“善守”而名扬天下。傅作义交出兵权后，张作霖、张学良对其优礼有加，并许以奉军方面军司令官一职，蒋介石亦于事后两次对傅收买，但傅均予谢绝。对此，阎锡山十分赞赏，曾对赵戴文得意地说“傅作义是咱们的关云长，义重如山”。
晋绥军纷纷撤回山西境内后，张作霖调集号称30万的军队，分两路分别向娘子关南北地区和雁门关附近地区展开进攻，迫于奉军压力，阎锡山一方面部署兵力防守于龙泉关、长城岭、铁角岭至雁门关之间，以及由固关、娘子关延伸至六岭关到黑三关一线，构成了左、右两道防线。并命第14师李服赝部以五台山和勾栏山为两侧，以繁峙平地为底部，构筑“口袋阵地”，以诱奉军深入。因奉、直联军同时在陇海路方向对冯玉祥猛烈进攻，冯已无法呼应阎锡山，所以，阎锡山在加强防守的同时，一方面致电李烈均“极盼南部大军迅速北上，为我支援”，同时，还让在天津的南桂馨，速请段骐瑞出面，“联结孙、鲁、张，迫奉张出关”（《阎锡山年谱》（二），第834页）。
