次青以一军分守（广丰、玉山）两县，各力战五六日夜，逆贼大创，解围以去。现在广信一带，次青勋名大着，民望亦孚。浙抚晏公，保举次青以道员记名，遇有江西道员缺出，请旨简放，将来玉山守城案内，余亦当优保之，苦尽甘回，次青今日得蔗境矣。
八月初八，曾国藩与李元度、沈葆桢相见于河口营，马上要求元度再回湘军大营营务处，而将平江勇转属沈葆桢统带。至此，曾李二人得以分而复合。
为弥补歉疚，曾国藩即于八月十二日奏保元度按察使衔并加给勇号。
曾国藩让李元度重新回到自己身边，本是出于好意。于公而言，他深知带兵打仗并不适合元度，这样做也是用其所长；于私而言，运筹帷幄之中，远离战场危境，对元度及其高堂老母，未尝不是一种照顾。但久经沙场、踌躇满志的李元度显然并不领曾大帅的情，不久即以请假返乡探母为由，负气回家休息去了，甚至曾国藩屡次催他返营，元度也一推再推，“未肯应手”。李元度在家赋闲了近一年时间，直到新任浙江巡抚罗遵殿有意重招他率平江勇援浙，这才准备重新出山。由此可见，曾李二人之间的关系这时开始出现了裂痕。
罗遵殿以前是胡林翼旗下最得力的文员，与李元度经历相似，个性相投，所以他由湖北布政使升任浙江巡抚伊始，马上就酝酿起用湘军为保浙之亲军，又以李元度在浙声威卓着，适并在乡间闲住，自然首选元度。十二月，罗致书元度，邀其援浙，同时分别函商曾国藩、胡林翼，以为促请。元度奉召，果然“踊跃请行”。当然，这时的他并没有忘记征求曾国藩的意见，在得到首肯后才准备复出援浙。但计划没有变化快，李元度未及成行，浙江战局骤变。
咸丰十年（1860）二月，太平军攻陷杭州，罗遵殿以身殉职。元度复出带兵之事，遂告搁浅，胎死腹中。
这时，杭州知府王有龄又利用李元度的不满，和他拉上了关系。罗遵殿死后，王有龄升任浙江巡抚，对元度屡加保举，任命其为浙江温处道道员。直到看见朝廷发来的咨文，曾国藩才知道这事，对此大为不满。他把李元度召来，明确告诉他，王有龄此举，旨在分化湘军；而元度投靠王的门下，也有背叛师门之嫌。李元度意识到问题的严重性，又见曾国藩此时已实授两江总督，自己也没有必要改换门庭，便答应不去浙江。于是，曾国藩向清廷奏请，改授李元度为安徽徽宁池太广道。
李元度从空有其名的浙江温处道（当地已为太平军所控制），一跃成为皖南地方主官，背后有着相当复杂的原因。
首先，曾国藩将李元度重新收归自己门下，对王有龄有釜底抽薪之效，也粉碎了政敌分裂湘军的阴谋。其次，对“闹情绪”的属下给予安抚提振，从中不难看出曾国藩对李元度的依任之专、私谊之厚。最后，这也是曾国藩汲取以往“不妄保举，不乱花钱，是以人心不附”的教训，通过报慰旧属，吸引人才。
因此，胡林翼在给李元度信中，谆谆告诫其为官之道，同时透露曾帅对其的极力提携之意：
涤帅（曾国藩）之改调皖南，私德于公甚厚，其公忠于国亦不薄。公可展垂天之翼，而培九万之风，既为地方官，则幕中可请友朋，不可以子姓昆季干预军旅地方之事，即德亦怨，异日且必有冤不可言者。每年以养廉三分之一，分惠宗戚，不可随营也。以涤帅之德之功，而人犹疑沅公（曾国荃），则阁下之族，必不可在皖南无疑。
此时的曾李关系似乎又回到了当初水乳交融、恩谊孚洽的时候。但初担重任、春风得意的李元度不会想到，等待他的绝非一马平川的坦途，而是一场刻骨铭心的惨败。
咸丰十年（1860）春，太平军发起了新一轮的攻击，江苏、浙江、安徽等地告急，曾国藩率军入驻祁门，准备攻占皖南州县，使其成为进攻苏南的基地。虽然李元度与李鸿章都提出祁门乃绝地，不可驻留，但曾国藩坚持自己的计划，并未采纳他们的建议。
当时，湘军前期重要将领如江忠源、罗泽南、李续宾、曾国华等能独当一面者，均已相继战死，所以一旦面临重大战局，曾国藩在用人上难免捉襟见肘。八月初七，李元度率领新招募的三千平江勇刚到祁门大营，曾国藩便命其据守徽州。他当然知道元度“平日文理尚优，带勇非其所长”，但一来作为皖南兵备道，李元度职责所系，义不容辞；二来也实在找不出更合适的人选，不得不让元度去坚守待援。故于其行前再三训导、反复叮咛：
“徽州乃皖南大城，又是祁门的屏障，长毛打徽州，是想冲破这道门，窜进祁门来，守住徽州意义重大。张副宪防守徽州几年，虽说没有打什么胜仗，但也没有丢失，你千万不要把它丢了。”
“你放心，长毛撼山易，撼平江勇难。有平江勇在，徽州城决不会缺一个角。”李元度似乎胸有成竹。
曾国藩见他说得如此轻巧，反倒不放心他去了，但眼下实在调不出其他人，只得正色对他说：“此次围徽州的是长毛的精锐部队，你不可小觑。按理你带勇多年，我不用多叮嘱，但徽州府关系太大了，我不得不和你约法五章。你做得到就去，做不到可不去，我再另外择人。”
李元度心里大不悦，但也只好洗耳恭听：
第一戒浮。你身边有不少书读得好，但并无打仗经验的文人，对其中那些好说大话者，决不可重用。第二戒自负。
到徽州后，切莫自视过高，师心自用。第三戒滥。银钱的使用，立功人员的保举，都要有所节制。第四戒反复。为统领者切忌朝令夕改。第五戒私。用人当为官择人，不可为人择官。
曾国藩的这五章，章章都是针对李元度的弱点而言的，但元度此时却一句也听不进。曾国藩刚说完，他便拍着胸膛说：“你也不必多说了，我立个军令状吧，徽州府倘若丢失，你唯我是问！”
徽州府是一个历史悠久的文化名城，又是皖南五府州的经济中心，历来以牌坊众多、石雕精美闻名于世，城内匠人制的纸、笔、墨、砚，最受读书人看重，尤其是徽墨，与湖笔、端砚、宣纸并称，号为文房四宝中的佳品。都察院左副都御使张芾在徽州驻防六年，上个月奉召回京，后回陕西泾阳原籍任职，留下一万四千绿营兵在徽州。按理说人员不少了，但这些兵已有五个月未领到饷银，军心浮动，不但不能打仗，反而成了徽州城的祸根。
此时的皖南军务，已开始进入逆境，天时已过，事机不利，而踌躇满志、不知深浅的李元度哪里晓得其中利害。平江勇八月十四日开进徽州城，十六日宁国就告陷落，太平军将领罗大纲、周国虞率领四万人马直逼徽州城下。
李元度毕竟是文人带兵，军事上还比较外行，加之近来接连打了几场胜仗，不免有些飘飘然、陶陶然、昏昏然。此时的他早已忘记了曾国藩的“约法五章”和“只可固守，不可出城决战”的告诫，也忽视了湘军最为重视的扎营、筑垒，而是选择率军出城，与进攻徽州城的太平军对阵，想趁其立足未稳，速战速决。谁知平江新勇，未经战阵，难当大敌，一战即溃，只得退守孤城，期待后援。不料几天后，太平军侍王李世贤率领的五万精兵与罗大纲部会合一处，九万大军将徽州城围得个严严实实、水泄不通。
屋漏偏逢连夜雨，就在李元度四处布防、疲于招架之际，城内那些原本因为欠饷心存不满、后来又为平江勇所排挤的绿营军突然聚众哗变。他们里应外合，反戈一击，打开城门让太平军进城。初临大战、早已疲累不堪的平江勇哪里见过这种场面，顿时惊慌失措，仓皇四散。兵败如山倒，李元度虽竭力抵挡，几濒于死，却也有心无力，回天乏术了。最后，只好在少数亲随的护卫下，奋力突围，逃出城外。八月二十五日，徽州城遂告失守。
徽州失守的严重性，堪比三国时的马谡失街亭，不仅使祁门变成了前线，更要命的是使曾国藩的精心部署全被打乱，皖南战局急转直下。处于惊涛骇浪中的曾国藩远没有诸葛亮上演“空城计”时的从容与镇定，他私下里已现绝望之情，并偷偷地写了遗嘱，寄给家中的两个儿子，交代自己的后事。
就是在这样“连日忧灼之至，竟夕不能成寐”的情况下，曾国藩也并未有过多责怪李元度的失职，只是认为其“矜夸虚浮，视为不堪重用”，反而为其生死担忧。他在日记中写道：
是日平江各营败勇俱至祁门，未得次青实在下落，殊为凄咽……思次青之败，由于自是。
失守徽州，贻误大局，李元度确实难逃其咎。但此时的他不去反思自己的过失，反而仗着往日的功劳和交情，耍起骄气来，认为你曾国藩并不能把我怎么样。在八月二十六日写给曾国藩的报败之书上，他百般辩解，文过饰非，强词夺理。随后又惧罪不归，在外游荡躲避了近一个月，不得已才回到大营，却并未待罪听候处罚，而是私下向粮台索要欠饷，径自回湖南募勇去了。
儒家崇尚杀身成仁，舍生取义，清廷对于阵亡、殉职的文武官员，无不优予抚恤。所以当曾国藩接到李元度的报败之信后，方知他并未阵亡，亦未殉职，且语“多怙过饰非之词”，十分震怒，断定他“大节已亏，此后难于自立矣……此人殆不足与为善矣”
及至见李元度回来后毫无悔过与歉疚之情，更是怒不可遏。他在日记中写道：“傍夕，次青自广信来，至营一见，尚无悔过之意，恐难长进。”于是，治军严明的曾大帅也不顾往日的情分，决心挥泪斩马谡，向朝廷严劾李元度。
不料，此举却遭到以得意门生李鸿章为首的部属、幕僚们的集体反对，认为这是忘恩负义之举。众人之所以劝阻，主要是因为李元度是曾氏幕府的元老级人物，他入幕比李鸿章早五年，比左宗棠早七年，独立统兵比曾国荃还早一年半。而且元度“御士有恩，取友必信”，对后来者多有提携，广为关照，因此在幕府上下颇有威望。如今看到大师兄被参，大家难免物伤其类、兔死狐悲。在李鸿章带领下，全体幕僚一同为元度求情。
李鸿章见曾国藩不为所动，声言：“果必奏劾，门生不敢拟稿。”
曾国藩正在气头上，马上表示你不拟稿，我可以自己写！
李鸿章原本就不愿在祁门这个兵家绝地再待下去，于是“愤然求去”，而曾国藩则“立遣之”。李鸿章随即离开祁门，到福建出任延建邵道。
最终，曾国藩还是力排众议，向朝廷上奏：
李元度躁扰愎谏，既不稳修营垒，又不能坚守待援，仅守一昼夜而溃，贻误大局，责无可贷，请旨“将李元度革职拿问”。
不久，廷谕照准，将李元度革职拿问。但曾国藩毕竟念及二人私谊，并没有做进一步的追责，只是让其停职返乡，闭门思过。
徽州之败，虽然使得曾李关系再生裂痕，但确由李元度的过失而起，曾国藩作为主管领导，上奏弹劾，于情于理，都不为过。因此，这一事件对于两人的师生恩谊，并没有造成太大的伤害。及至后来李元度期盼东山再起，竟然不惜背叛师门，方使二人关系进一步恶化，最终达到完全决裂、形同陌路的境地。
从金戈铁马、血肉横飞的战场，回到炊烟袅袅、青山绿水的家乡，李元度心里一点也不平静。当年，他凭着书生意气的一腔血诚，带着立德立功的狂热激情投笔从戎、转战南北。现在，他既为辜负了曾国藩的嘱托而深感内疚，同时也有在哪里跌倒就在哪里爬起来的志向。恰在此时，杭州告急，浙江巡抚王有龄召他增援。
王有龄任浙抚以来，一直想拉拢能征惯战的湘军，以屏卫浙江，遂许诺上疏，请求清廷撤销李元度的处分，并升任其为浙江布政使。而清廷此时也有意利用湘军集团的内部矛盾，达到分而治之的目的，因此对王有龄笼络并奏调李元度的行为，自然表示支持。咸丰十一年（1861）二月初九日，清廷下旨说：
已革徽宁池太广道李元度，着曾国藩饬令前赴浙江，交瑞昌、王有龄差遣委用。其应得罪名，仍着曾国藩查办。
而李元度在官文、王有龄等人的撺掇下，“并不具禀请示，即行募勇赴浙”。
湘军中另一领袖级人物胡林翼，在徽州失守后，一直在挽救元度与弥合曾李关系。对于王有龄的用意，他看得很清楚。因此以好友的姿态致书李元度：
……兄以仓卒召募之师，跛焉而疾入徽城，谓锐于行义则可，谓精于治军则不可。失律之咎，涤帅所属望于兄者甚赊，故其责备于兄者亦切。盖徽防关系之重，至于急不择言。近闻右军（隐射王有龄）欲勾致阁下……岂未免动心耶？大抵吾儒任事，与正人同死，死亦得附于正气之列，是为正命。附非其人，而得不死，亦为千古之玷。处世无远虑，必陷危机。一朝失足，则将以薰莸为同臭，而无解于正士之讥评。右军之权诈不可与同事，兄岂不知？而欲依附以自见，则吾窃以为阁下不取也。兄之吏才与文思过人，弟与希庵兄（李续宾）均扫榻以俟高轩之至。如可相助，为理当，亦涤帅所心许，何尝不欲酬复前劳？
但急于摆脱不利处境、期待再次证明自己的李元度，哪里听得进胡林翼的好言相劝，仍然一意孤行，决定改换门庭，投靠王有龄。他又在平江招募八千名乡勇，号称“安越军”，从平江、通城一路追击太平军李秀成部，第二年九月进入浙江省，与左宗棠互相配合，一举击败了太平军李世贤的部队，这样，他升任浙江盐运使、按察使。
曾国藩原本就与王有龄政见不合，又因其身为富庶之省浙江巡抚却屡屡拒绝在饷银上接济自己，对他极为不满。这次发现他又趁火打劫，再次分裂湘军，更感义愤填膺。尤为可气的是王有龄征召李元度，居然没有同他与胡林翼打招呼，不但属于典型的私相交结行为，而且明显蔑视作为元度旧主的自己。要知道以往的浙江巡抚无论是晏端书，还是罗遵殿，如要征用湘军某部，事前必须征得他与胡林翼的同意，这在当时也是必循的官场潜规则。虽然如曾胡之至好，也是每每信守不渝。所以王有龄再次私招元度，正犯此大忌，难怪惹得曾国藩动了真气。
而李元度这次或许是因为斗气，也可能是碍于脸面，居然也同王有龄一样，在并未征得曾国藩同意的情况下，就径自重新募勇援浙，并公然打出“安越军”的旗帜。在曾国藩的眼中，这无异于公然背弃自己，改投王有龄门下，这在当时是绝对不可容忍的罪过。何况曾国藩还了解到，李元度在赴援浙江期间，一路冒功请奖，将太平军主动放弃的城池算成自己攻下的，由此得以复职。曾国藩越想越来气，旧仇新恨，齐涌心头，便决定再次上奏，弹劾李元度。
曾国藩这次加给李元度的罪名是：第一，私求王有龄调赴浙江，并且不向我请示而擅自回湘募勇，取名“安越军”
。第二，“安越军”在江西、湖北所得胜仗，多系“冒禀邀功”。第三，李元度于咸丰十一年十月到衢州，“节节逗留，任王有龄羽檄飞催，书函哀恳，不一赴杭援救。是该员前既负臣，后又负王有龄，法有难宽，情亦难恕”，请予革职，“安越军”应予遣散。
后来，清政府命浙江巡抚左宗棠查复。左是当事人，对曾、李不睦的奥妙看得一清二楚。李元度从湖南率“安越军”到浙、赣边境后，曾奉命归左宗棠节制调遣。左本来奉命节制援浙诸军速赴浙江“剿办”，如果要追究杭州不保，王有龄兵败自杀，援救不利的责任，首当其冲的不是李元度，而是他左宗棠。但当杭州被围，王有龄呼救不迭时，曾国藩曾指示左宗棠“舍浙保赣”。所以，真正有责任的既不是李元度，也不是左宗棠，而是曾国藩。
