随着长孙集团的节节败退，立后之战总算落下帷幕，然而由此引发的政坛大震动才刚刚开始。新皇后武则天颇有“胜不骄，败不馁”的良好心态，她并未被胜利冲昏头脑，而是迅速准备下一阶段的备战：其一、她要把自己的儿子立为太子，以巩固自己的后位。其二、要把长孙无忌等反对她为后的元老重臣铲除，永绝后患。对于唐高宗来说，也需要继续打击长孙无忌，一步步消除他左右朝政的实力。这时候，皇帝皇后的目标仍然是一致的，朝中大臣向他们聚拢的形势，对他们进一步实施行动也是极为有利的。
这时候的太子李忠，是在永徽三年（652年）七月立的，才不过十几岁的孩童，也仅仅是个象征。但他毕竟是王皇后认养的、柳奭和长孙无忌扶上太子之位的，只要把眼光稍稍往远看一下，他对武皇后的威胁长远而且巨大。太子李忠也不傻，眼见得王皇后落得如此下场，早已吓得魂飞魄散，主动上表要求辞去太子位，前后上表共有四次。还是保命要紧吧！
武则天到目前为止，生有二子。长子是李弘，封为代王，而在当上皇后之前不久，又添了二胎，取名李贤，封为潞王。新皇后有这两个生龙活虎的儿子，要把现任的太子换掉，完全有充足理由。余下的问题，就在于有人出头提出，然后堂而皇之走个程序罢了。
这次第一个跳出来表现的是许敬宗。他揣摩高宗和武后都有此意，自己又是礼部尚书，职权范围内恰好可以说的事，何不抢个头功？于是，在武则天正式当皇后的第三天，许敬宗就上奏，大谈换太子事宜。奏章做得古香古色，大意是说：今之太子，原非嫡子。因为永徽之始，国本（真正的太子）未生，所以从权安排了。现皇后已生子，是为正统，那么皇统问题就不可浮滥。我既然是负责礼仪工作的，便不敢失职，一定要提出来。高宗看后非常高兴，马上召见他，一番夸奖和表演之后，说：“阿忠已有意自让。”谋私利也要披上“天下为公”的外衣，君臣俩的这番对话，好像是一场表情严肃的游戏。这事，就这么定了。
没过两个月，《降太子忠为梁王诏》颁下，大大夸赞了一番李忠，说他主动提出让贤。为江山社稷谋，特封其为梁王，出任梁州都督。同一天，册立代王李弘为太子。接着，又下诏大赦天下，改元“显庆”。当时正值新年的正月，废太子诏书一下，原东宫官吏都怕受到牵连四散逃亡躲藏，绝大部分人已经不敢来见李忠。世事如棋，人情如纸！李忠黯然离开长安，启程前往梁州赴职。到梁州后，还没出显庆元年，武后就又把他打发到房州去做刺史了。唐代的梁州在今陕西南郑一带，离长安不太远，还不算是太大的贬谪。而房州在今湖北房县，那时看起来就远了，是山高荒僻之地了。管不了这么多了，能保住自己的命就算赢了，其他功名社稷都随风去吧！ 李忠收摊子回家不干了，可作为太子集团，他的甩手离去并没有将东宫势力瞬间化为无形。武则天始终没有停下对权欲的追逐脚步，她开始大肆扶植栽培自己的势力。李义府在武氏刚立为皇后不久，和太子册立之前，就加上同中书门下三品，正式入阁拜相。显庆元年（656年）三月，朝廷又把杜正伦提升为黄门侍郎、同三品。杜正伦当年因为向李承乾泄漏了唐太宗的话，被一贬再贬，官运背到了极点。但他是李勣的故人，现在李勣也要加强自己力量的时候，有必要把杜正伦提升起来。所以，杜正伦为相，极可能是李勣的举荐。
对于立后之后发生的太子废立和人事变更，长孙无忌集团一直采取坐视不问的态度，或者是已被武后的毒辣手段吓呆，或者是明知道劝谏也无用，总而言之他们一直都保持着沉默。至此，高宗御宇七年以来，终于尝到了宸衷独断的滋味。
这时候，李义府惹出了一件事，把一个反击的机会送给了长孙无忌等人。李义府原本一个朝不保夕的小角色，突然跃居宰辅之位后，开始卖官鬻爵，贪赃枉法，欺凌百姓。他看上了一个犯案下狱的洛州美妇人淳于氏，便指使大理寺丞毕正义放人，自己好纳为侍妾。不料此事被人弹劾了，高宗命给事中刘仁轨主持审查毕正义这件事，李义府向刘仁轨求情不成，怕事情泄漏，只好逼毕正义在狱中上吊自杀。后来高宗知道事情原委，仍然不治李义府的罪。李义府从此恨上了刘仁轨，努力寻求机会报复。李义府此时身为宰相，竟然于天子脚下擅杀大理寺丞，侍御史王义方认为这样伤天害理的事情决不能就这么不了了之，坚持提出弹劾，言辞恳切，正气凛然。高宗听完之后却仍然开释了李义府，而且责怪王义方毁辱大臣，言辞不逊，贬为莱州司户。高宗如此公然黑白倒置，纵容迁就，是为了报答李义府当日“打响了第一枪”。
李义府的这件事，对于长孙无忌集团来说，是个反击武氏阵营的好机会。可是长孙无忌、韩瑗并没有加以利用，他们仍然保持沉默。所以我们说，长孙集团这一阶段的应对策略极为不妥，真是“前不应当示强时而示强，后不应当示弱时而示弱”。此时再软弱，也没有回身余地了，反而不如绝地一搏有再生的可能。
武则天开始动手了，她并没有因为长孙无忌的忍让而停步，而是步步进逼。把长孙无忌的亲戚，一个个调离京城外放。长孙无忌的表弟、太常寺卿高履行（高士廉之子），被派到益州（今四川成都）大都督府任长史；长孙无忌的堂弟工部尚书长孙祥，被派到荆州大都督府为长史。从表面看，这两位部长级人物虽然外放，但所任的职务也非常重要。这两个州，看起来虽然都是天下的显要州郡，然而，天下人都看明白了，这是在砍长孙无忌的左右手！
不仅长孙无忌在朝廷的羽翼被削减，连出征在外的程知节也处处受牵制。这年的年底，程知节的前军总管苏定方打了一个大胜仗，本来应该乘胜追击。但副大总管王文度却出面阻拦，自称受了密旨节制程知节，喝令不许进军。苏定方认为有诈，皇帝既任命程知节为主帅，岂会别传圣旨？要求程知节囚禁王文度，飞表奏明皇帝查清真相。程知节不听，任由王文度胡来，结果贻误了战机，敌酋得以逃窜。而后兵至怛笃城，敌方百姓开城门投降，王文度竟然下令屠城，然后瓜分了他们的财物，除了苏定方之外，连老程都得了一份。程咬金十二月班师回朝后，高宗却说自己并没有给王文度什么密旨，而是王文度假传圣旨！假传圣旨可是无可赦免的重罪，但高宗并没有杀他，只是予以免官（不久又再度起用）；这样，程知节也因为坐失战机、未及时追敌，而被免官。这事前前后后都发生得蹊跷，后世史家怀疑王文度并没有矫诏，而是高宗确实安排王文度去捣乱，阻止程知节立功，并且要让他背负上罪名，借以剪除长孙无忌的羽翼。程知节经历过几十年的政坛风雨，年事已高，早已无复昔日锐气，更不想临老还参与这种政争内斗，应该早就能看出唐高宗的用意了，所以从出征时起就变得懦弱起来，顺从地任人安排，回朝后和和顺顺地免职回家。保住性命就是福气了。
乾坤真的要大挪移了，但乾坤不是握在无忌的手里，而是被一个叫做武媚娘的女子掌握了主动。长孙无忌集团中的人见己方如此被动，终于有人坐不住了，特别是被新皇后点名提到要好好“奖赏” 眼见事态发展越来越不妙，他们急需找回以往的主力战将褚遂良以修补其翼，作困兽之斗。这年十二月，由韩瑗出面（估计是想让最高统帅长孙无忌隐身于后，避开风险，以免目标太大。），为褚遂良讼冤，称褚遂良体国忘家，为“社稷之旧臣，陛下之贤佐”，却无罪被贬，就算他有违忤天子，被贬一年也该够了，希望皇帝能将他召回。高宗此时情绪还好，平静地说：“褚遂良有才有功我都知道，但他性情悖戾犯上，所以要惩罚他。”韩瑗、来济见高宗的话有所松动，便慨然力争：“褚遂良是社稷忠臣，只不过是受到了谗谀之人诋毁。陛下无辜弃逐旧臣，不是国家之福。”高宗听这话说得无礼，脸色就有些不好。韩瑗却不察言观色，一时失口，竟然说：“武皇后就象周朝的褒姒！早晚灭亡大唐，您不要信用她！”高宗闻言勃然大怒吼道：“你下去！”
我估计这个韩瑗退下后，感觉到自己说的有些过了，早晚会招来武则天的报复，就想金盆洗手，不干了，辞官回家以求自保，但高宗不准。想跑，门都没有。
显庆二年（657年）闰正月，高宗带着武后行幸洛阳宫，在这里住了下来，并于当年底宣布洛阳为东都。后世有史家说，因武则天在长安宫中常见王皇后、萧淑妃的鬼魂作祟，故有此避祟之举。而实际上，是因为唐疆土已比前朝有所扩大，政治中心南移，是为便于统治。
到了三月，不知出于什么原因，长孙无忌一派中有人建议高宗，把褚遂良从潭州（今长沙）调到更远的桂州（今广西桂林）任都督，这也可能是为了让他再远离政治中心一些以避祸。高宗批准。他们谁没想到，这一建议会给他们带来多严重的后果。
长孙无忌一派恢复声势步履维艰，与此相对，拥武一派却在一路猛进。三月，李义府被提升为中书令。到了七月，许敬宗、李义府秉承武后意旨，突然诬奏：“韩瑗、来济潜谋不轨，与褚遂良朋党为奸，密谋叛乱。因桂州为用武之地，故要求改授遂良为桂州都督，意在引为外援。”
高宗闻奏大惊，也不管有没有证据，立刻贬韩瑗为振州（今天海南三亚市）刺史，来济贬为台州（今浙江临海市）刺史，并终身不许入朝。褚遂良更是问题的核心，被再贬到爱州（今越南清化）为刺史。王皇后的舅舅虽然已是死老虎，早就贬到荣州（今四川荣县）了，这次也受牵连，再贬到象州（今广西）为刺史。至此，长孙无忌的主要爪牙已被收拾得差不多了，成了砧板上的鱼肉。
褚遂良被贬爱州（今越南），心情恶劣可想而知。他左思右想，再无扳回局面的可能，当初的倔强劲儿早已消失，只有上表乞怜。他先提到了自己为高宗力争皇位的策立之功，回忆了太宗去世时手足无措的高宗抱着他脖子的情景，最后说他现在已经是风烛残年，蚂蚁一样的卑微渺小，乞求皇帝高抬贵手。表上去之后，高宗不理。按理说这表章写得字字血泪，情动于中，高宗不可能无动于衷，之所以没反应，据《新唐书》推断，是“牵于武后”——被她管住了。
韩瑗、来济两位宰相被贬，顿时空出来侍中和中书令两个关键的位置，仅四天之后，许敬宗便做上了门下省最高行政长官侍中。他经过三十年的无耻钻营，六十八岁时终得和李义府同时为相了！李义府掌握中书出旨权，许敬宗掌握门下封驳权，二人联手控制了中书、门下，敕令通达不在话下了。
李义府是个无赖小人，当上中书令就狂了，变本加厉地卖官鬻爵，大捞黑钱，他的他老母、妻子、儿子、女婿都发动起来受贿，到他家走门路的人不绝于途。他本来出身贫寒，唐代又特别讲究门阀出身，所以当他为相之后，就妄称自己出于历史名门――赵郡李氏，赵郡李家也乐得多这么一个权倾朝野的“本家”，那些赵郡李氏的无赖之徒很多人都认他做“本家”叔叔或兄弟，然后就可以横行不法。
同为中书令的杜正伦是李义府的同僚，资格远比李义府老，所以总想摆点老资格，但小人得志的李义府却丝毫不愿落下风，于是两人产生了矛盾。一次，两人在高宗面前互相攻击，争吵了起来，高宗一生气，就把李义府贬为普州（今四川安岳县）刺史，把杜正伦贬为横州（今广西横县）刺史。杜正伦不久就病死在了横州刺史任上。李义府也遇到了一件很恶心的事情：本来赵郡李氏出身的给事中李崇德已经认他是本家，也把他写到了自己的宗谱之上，现在见李义府罢相，竟然又把李义府的名字删除了。李义府知道这件事之后，那种气恼和羞辱的感觉不言而喻。
当时的吏部尚书唐临是长孙一派的人，他见李义府被贬出京外，大为兴奋，想趁机扳回局面。他把素与李义府不和的张伦，调为剑南道（今四川云南一部）巡察使，准备好好收拾一下李义府。同时，还保奏与来济关系不错的许炜为江南道巡察使，以保护被贬在台州的来济，等待将来翻身的机会。也许是他动作有点大了，被武皇后发觉，她对高宗说：“唐临玩弄权术，私自选人授官，朝中对此多有议论，为了朝廷安稳，还是罢免了他吧。”高宗觉得有理，立刻贬了唐临的官，断了长孙无忌一派最后的幻想。不久唐临就死在了潮州刺史任上。十一月，武皇后又提议，让许敬宗接任李义府空下的中书令之位，另派大理寺卿辛茂将兼任侍中。这位新贵辛茂将，出身于与关陇大族相对立的寒门小户，是许敬宗的心腹。
这年（显庆三年，即公元658年）的年底，尉迟敬德病死在家，死后极尽哀荣；褚遂良病死在被贬的爱州，死得孤单凄凉。褚遂死后约有半年，即显庆四年（659年）四月，高宗和武后终于对长孙无忌本人动手了。借口很蹩脚，也很常见，有个叫李奉节的洛阳人，出头告发太子洗马（东宫掌图书的官员）韦季方、监察御史李巢，说他二人勾结朝中权贵，朋党而营私。这是个“说你有，你就有”的罪名，何况官场关系从来盘根错节，谁都有人际关系上的渊源。所以这类告发，一般都是别有图谋在。朝中权贵，所指为谁，在当下不言自明。两《唐书》的编者均认定，这就是许敬宗事先策划好的打击方案。高宗接到这个白丁的举报后，居然下诏让许敬宗、辛茂将负责审理此案。（一介平民居然告发朝中官员结党，而且皇帝马上就立案，这都很蹊跷。）许敬宗自感得到机会，故意扭曲案情，严刑拷打韦季方，要求他诬陷长孙无忌谋反。许敬宗本来想按照长孙无忌诱供房遗爱将李恪罗织入罪的手法，来个以彼之道还施彼身。可韦季方明白自己一松口就是满门抄斩的罪名，怎么打也不承认。许敬宗炸严刑逼供，韦季方受刑不过，意欲以死相抗，还好给抢救了过来。许敬宗见韦季方死活不招供，就趁他伤重不能说话的时候，向高宗呈报：韦季方勾结长孙无忌意图谋反，奸谋败露后想畏罪自杀。消息传开，举朝震惊。高宗近几年虽与舅舅渐行渐远，但万没想到会有阴谋在身边酝酿。他刚开始的反应，果然就是不信，让新任侍中辛茂将去核实。这位新贵辛茂将，是许敬宗的心腹，他的复核结果，当然是确有其事。高宗还是不信。许敬宗知道，“以疏间亲”的风险极大，现在骑虎难下，必须要扳倒对方，所以嘴相当硬：“事情确实如此，如果陛下不信，江山危矣。”唐高宗又是落泪、又是哭诉地表演了一番，竟然不把长孙叫来问问，就下诏削其太尉官爵与封邑，以扬州都督身份安置到黔州（今四川彭水县），但仍按一品官员的待遇供给饮食。
长孙无忌这个决口一被打开，总清算的浪潮就势不可当。许敬宗趁势再奏：“无忌谋逆，是由褚遂良、柳奭、韩瑗构扇而成的，柳奭还和宫掖中人勾结，谋行鸩毒皇上。于志宁也党附无忌，应该治罪。”于志宁早在皇后废立之争时持中立态度，但也逃不掉。接下来的整肃，犹如铁碾滚过：高宗下诏，追削褚遂良的官爵，连已故爱州刺史也不是了。除去柳奭、韩瑗名籍，免掉于志宁的官职。长孙无忌上路期间，沿途发兵遣送。扫荡了关陇大僚本人，再扫荡亲属和裙带关系。褚遂良的儿子彦甫、彦冲流放爱州，在半途中双双被杀。长孙无忌之子、秘书监、驸马都尉长孙冲除名，流放岭南；族弟长孙诠流放巂州（今四川西昌），到了流放地后，被县令杖杀；外甥高履行由益州长史再贬为洪州（今江西南昌市）都督，不久又贬为永州（今湖南零陵）刺史。还有一个人的命运令人感叹。凉州（今甘肃武威）刺史赵持满，力大善射，性喜豪侠，他姨母是韩瑗的妻子，他舅舅是长孙无忌的堂弟长孙铨。许敬宗也诬陷他与长孙无忌同反，把他召到长安，用尽酷刑。但赵持满咬紧牙关不承认，狱吏只得代写供词结案，后被下诏诛杀，亲戚都不敢去收尸。他的朋友王方翼去受葬他，官军把他抓了起来，上报高宗。好在高宗赞赏他的义气，没有加罪。（王方翼文武双全，后来受裴行俭提携而成为屡立战功的名将，但终因是已废王皇后的娘家人而终生不得重用。）
七月，皇帝再度下令，命李勣、许敬宗、辛茂将和新拜相的兵部尚书任雅相、度支尚书卢承庆（这个卢承庆在永徽年间受过褚遂良的恶意诬陷和连续打击，接连被贬，后来高宗在武后的提议下起用他，应该是看中了他和褚遂良、长孙无忌的矛盾）五位，共同复查长孙无忌案。实际上是想对本事件有个最终的结案陈词。李勣对此事始终不肯积极参与，其他人都是许敬宗的属下和才提拔上来的新贵，一切为许敬宗马首是瞻。要审案当然是要先提审犯人，于是派袁公瑜快马至黔州提审长孙无忌。袁公瑜，便是主张立武氏为后的六位翊赞功臣之一，告密致使裴行俭被贬出京的那一位。袁公瑜一到黔州，便逼令长孙无忌自缢－杀人灭口就不用审了，罪名是“畏罪自杀”。接着圣旨命御史往高州追长孙恩，象州追柳奭，振州追韩瑗，将三人批枷带锁押送至京师。使者刚刚上路，新的命令又下来，改为原地处死（估计是武皇后的主意）。于是将柳奭就地处死，另一位使者来到振州，才知道韩瑗早已亡故，掘墓验尸证实无误方才罢休。这三人之中，唯有长孙恩逃得性命，改判流放檀州（今北京密云县）。长孙、柳、韩三家受牵连被贬降者，计有13人；中间派于志宁也被贬为荣州刺史，亲属被贬者9人；几大宰相中，只有来济的命运稍好一点，他当初被诬告时，罪名只是与褚遂良一起煽动长孙无忌不满，没说他参预“谋反”，因此得免一死。次年从台州再贬为西域庭州（今新疆境内）刺史，后来突厥进犯时他不穿盔甲冲入敌阵而死，其实也算自杀。
一个月后，普州刺史李义府调回长安，兼吏部尚书、同中书门下三品。小人总是睚眦必报的，他回到相位后，立即指使人诬告那个把自己从赵郡李氏宗谱上删除的李崇德，把他下狱。这个曾经看风使舵的李崇德见事不好，在狱中自杀。
十一月，高宗提升许圉师担任宰相。同时因另一宰相辛茂将病死，职位出缺；提升度支侍郎卢承庆同中书门下三品。许圉师是进士出身，早已和长孙无忌等关陇大族没有什么关系了，卢承庆更是多次受到褚遂良的恶意排挤。此时，朝中再没有关陇大户出身的宰相，免得长孙余党再距高位。
在朝廷全力收拾长孙集团的过程中，那个房州刺史的前太子李忠，年龄也慢慢长大了，越大越懂事，越懂事越担心自己的命运，所以一天到晚胆战心惊，经常传上女人的衣服，防止有刺客来杀他，还时不时地为自己卜卦，看看是吉是凶。虽然他卜卦只是为了企求活命，但还是有人想出卖他来换取荣华富贵，就向朝廷告发了他卜卦的事情。这巫蛊占卜本是皇家大忌，于是，显庆五年七月初六，陪武后到并州转了一大圈后刚回洛阳宫的高宗，下诏废李忠为庶人，迁徙到黔州，在他的伯父、前朝废太子里承乾的故宅中被幽禁起来。武后在梁王忠一案证据确凿之后，还是做出了慈母的姿态，为挽救忠的性命而向皇帝求情。由此可见武后在初立为后的这段时间里，还是非常重视自己的形象以及与李唐皇族各人的关系。
至此，天下再没有谁能威胁皇族权力了。
唐初的政治受南北朝遗留传统的影响还非常大，还有浓厚的“门阀政治”色彩，所以初唐的高官尤其是宰相们，绝大多数出自关陇大族的门荫而不是出自科举。唐高宗和武后灭掉了长孙无忌后，不仅提拔了一批和原长孙集团对立的官员，还改变了高官的产生途径――即科举入仕者成了高官的主要来源。使用这一批人，是绝不会有“复辟”的威胁的。
