阎锡山不仅感到了自己目前工作的艰难，也已经看到了自己今后的前途，遂生去任之意。1950年元旦刚过，徐永昌前来拜访，一进门就直言告阎：“今日代人受过，不应当继续下去，应拿出一个作法来，能行则做，不能行则辞”。阎说：“拿上作法以决定去留，有要挟之嫌，且我承认行政院因当时情况险恶，我若不作缓冲，当时即直接冲突，……。今则团结工作，已告一段落，应以‘扭转时局无方，寸土必争无术’而辞之。况今日拿一作法亦不能再有所望，扭转时局方案及变一着差满盘皆输为一着胜满盘皆赢者，前既难行，今何可期”（《阎锡山年谱》（六），第2396页）。早就想复出的蒋介石，听到阎锡山要辞职的消息后，自然暗中高兴，因为阎若辞职，他就少了一个政坛对手，复出机会更多。可是，由于阎锡山自组阁以来，确实为挽救危局做了不少事情，颇有“人望”，蒋介石担心国府迁台以来，在阎锡山的整治下，刚走上头绪，阎辞职过早，有可能动摇民心，造成混乱，因此，蒋马上会见了贾景德和徐永昌，通过他俩对阎进行“挽留”。但阎锡山去意已决。1月11日上午，他与人座谈时，刘子英说：“舆论方面批评院长是孤掌难鸣，曲高和寡，一切方案，计划难行”。阎说：“只要有权，孤掌很容易变成不孤，曲不论高不高，也能得到众和”。刘反问：“责任内阁的阁揆尚能说无权乎”？阎说：“内阁的阁揆，等于驾辕的骡子，绊住了腿，寸步难行”（《阎锡山年谱》（六），第2419页），至于是谁绊住了阎锡山的腿，自是不言而喻。
被蒋介石暂时“挽留”的阎锡山，虽然仍不懈怠勤恳工作，可是，蒋介石对他却步步紧逼。阎锡山几经努力，终于使台湾海南岛保卫案于1月18日在行政院会议上通过后，1月23日，他赴阳明山找蒋介石，请蒋核酌行政院局部改组人选，并说人选当以保卫台湾、争取美援为目标，还建议蒋介石，用他人组织起来的民众终不可靠，应走民众路线。然而，阎锡山的一片好心，却未得到好报。1月25日，国民党中央非常委员会的会议上，就决定阎锡山辞去兼国防部长职务，由参谋长顾祝同兼国防部长职。同时， 端木杰、关吉玉辞职，其内政部长、中央银行总裁，分别由谷正钢、俞鸿均担任，政务委员张群辞职，由丘念台继任，陈良继任交通部长。这些人事变动，虽然都是23日阎锡山与蒋介石商定的，但明显充实的是顾祝同、谷正钢、俞鸿均这些蒋的亲信，阎的人马不仅被挤了出来，而且他本人从广州开始就掌握不放的国防部长一职也被“让”了出来。蒋介石如此安排，显然是在为其复出做准备的。因而，阎锡山辞意已定。1950年2月9日，蒋介石总裁办公室秘书长黄少谷来访，阎向黄表示了辞职的事，黄说：“应听从总裁意”，阎坚持说：“人事国事，惟命是从。自己出处，应自由自主”。晚上，立法委刘杰、邓励豪、国大代表郭澄、卢学礼同访阎锡山，当阎向他们表示：“今自请辞去，正其时也”时，有人问“此时坚辞，是否贻人以小节而失国务之嫌”？阎答：“需要能为而为则为，不需要为而不能为则去，在我无憾，在人何讥”。又有人说：“外间无端侮蔑，有人以为虽觉孤立，似亦可不必介意”。阎说：“既有侮蔑，不止孤立，或将结伙排斥，事理有定，我意已决”（《阎锡山年谱》（六），第2418页）。时过3天，2月12日下午，贾景德向阎锡山报告说：“昨日院长来到院，总裁办公室黄秘书长电话问：报载阎院长昨未到院，亦未会客，是否倦勤的表现”？阎听后颇为忿怒，说：“我即倦勤，在交卸的前一刻钟，也必照常任事。我向以令尹子文勉人，岂能不自勉”（《阎锡山年谱》（六），第2419页）。黄少谷的问话，其实是要阎锡山早早辞去行政院一职。看来，蒋介石是迫不及待地要复出了。
但是，阎锡山辞职，蒋介石复出，却面临着一个法律程序上的问题。因为阎锡山辞职，必向“代总统”辞职，可是，“代总统”李宗仁出国看病，他又向谁辞职？而蒋介石要复出，也必须是等“代总统”辞职后方可取代。恰在此时，2月12日，监察院院会根据李宗仁12月14日在给国民党中央非常委员会的复电中以医嘱不可远行，表示不能回国为借口，决议致函李宗仁，指陈其居美摇领国事措施错误，提请国民大会对李宗仁弹劾。之后不久，国民党中央非常委员会于2月22日召开会议，请蒋介石复职，并且在此之前已有立法委员380余人联名电请蒋介石复职。而2月23日晚，国民党中央党部秘书长郑彦棻谒阎时，又说：“惟以行政院长辞职，应俟总统复职后办理”。这就是说，阎锡山想要辞职，必须等蒋介石复职之后才能办理，而蒋介石为自己的复出早已开始紧锣密鼓地进行着筹划，所剩下的只是一个时间问题了。
2月28日上午，台湾国民大会讨论监察委员们提出的弹劾代总统李宗仁案，下午，国民党中央非常委员会又讨论蒋介石复任“总统”一事。这两个事情，由于筹划已久，且已安排妥当，自然是一致通过，要人们参加会议讨论，只不过是走走形式而已。
3月1日，蒋介石正式宣布“复行视事”，发表文告“期共奋勉，光复大陆，重建三民主义新中国”，阎锡山也参加了在介寿馆举行的蒋介石复职仪式。
仪式一结束，阎锡山马上主持行政院临时会议，提出辞去院长职务，会议决定进行内阁成员全体总辞职。当天下午阎又指示行政院秘书处，准备3月3日列席立法院会议时的施政报告，并答复质询。
3月2日，蒋介石亲自到行政院办公室与阎锡山长谈，对阎进行安抚。
3月6日，中国国民党常委临时会议在蒋介石的主持下，准阎锡山内阁总辞职，并决定由陈诚继任行政院长。当天，陈诚找阎锡山晤谈，阎锡山对陈说：“盼你以舍我莫属的负责精神出来任事。在自己虽然是需要多费点力，多为点难，而实际上是适应了国家的历史的需要”（《阎锡山年谱》（六），第2433页）。这也许是阎锡山出任行政院长以来的切身体验和感受。
蒋介石让陈诚继任行政院长，按法定程序，继任院长也要经过立法院通过，对此，6日晚上，徐永昌对阎锡山说，若通过“公可遂其愿，如通不过，公欲去而不得事小，国家之形势事大，应有所考虑”，贾景德则设想，如若通不过，院长可提出陈诚为副院长，通过中常会即可任命，不需再通过立法院，任命之后，令陈诚代理院务，按宪法副院长可代四十日，届时再提立法院通过，想不为难。阎锡山说：“煜如（贾景德字）之言甚好，我惟望顺利通过，倘通不过，即照此办”。从徐、贾二人的说法中，可以看出，他们是还想让阎锡山长行政院的，而阎锡山虽说“望顺利通过”，其实他也有继续出任行政院长的意思。但是，蒋介石定了的事，是无人敢轻易否定的。3月7日，立法院同意陈诚为行政院长，这一结果完全出乎徐、贾二人意料，也对阎锡山是一个沉重打击，蒋介石办事如此“果断”，连一点回旋的余地都不给留，着实让阎锡山伤心。
3月10日，阎锡山看到了蒋介石“总统台字经217号令”，准予阎锡山辞职。3月14日，阎锡山应蒋介石之邀，赴阳明山参加卸任全体阁员宴会。当蒋与阎谈话，以国事征询时，阎锡山直言以对，提出了以下几条：“一、尊重国民大会；二、与立法院密切合作；三、发挥监察院功能，以合宪政，振人心，图复兴”（《阎锡山年谱》（六），第2439页）。这不知是阎锡山对蒋介石的提醒，还是他向蒋表示自己虽然辞职，仍在关心国事。
3月15日上午9时30分，台湾国民政府在介寿馆举行新旧内阁交接仪式，仪式结束后，在由陈诚举办的新旧全体阁员联席会议上，阎锡山发表了简短致辞，称：“锡山出任行政院长，九月于兹，回忆在此期间未能扭转时局，惭愧实深，前在重庆，即以告一段落，请辞未准。继到台湾，即认成中央与地方事应集中处理，以期迅捷，而少牵制。因代总统出国，未能实现。今幸总统复行视事，并得辞修先生适应需要，出掌内阁，一切事的处理上熟悉明敏，且有实干苦干的精神，定能有加倍的效果”（《阎锡山年谱》（六），第2440页）。
阎锡山到台后的近三个月中，在李宗仁未归国，蒋介石又未复出，而台湾时局又一片混乱的情况下，苦心孤诣，竭力治理，确实“功不可泯”，堪称“激流里的勇夫”。但他最终还是被挤出了政坛，从此，阎锡山也就结束了他近40年的政治生涯。
不过，令阎锡山稍感安慰的是，就在他辞职的当天，即1950年3月15日，《大华晚报》在以《惜别阎伯川》为题的报道中，对他出任行政院长以来的功绩予以了高度评价，说“阎内阁是戡乱战事进入‘败势’以后最浮众望的一任内阁，……可以说，还没有一任行政院长，能够得到如此宏溥真挚的‘人望’”。“阎先生在任的时代，可谓是一个‘大撤退’的时代，中央政府由南京而广州，由广州而重庆，由重庆而成都，由成都而彷徨于野，终于迁到台湾。照这样一个时代的士气民心看来，能够在仓惶危急之际，不消极、不动摇，不放弃责任者，求诸身逢其变之当轴诸公，能如阎先生者，恐怕够资格的人不很多”等等。这或许是该报受蒋介石指使，对阎锡山的一个“交代”吧，但这对阎锡山还有什么实际的意义呢？
