太平天国在金田村起事的时候，江忠源的老母亲病故，无奈只得回老家湖南丁忧。丁忧期间江忠源听说太平军十分凶狠，人数上朝廷广西驻军明显占优，交起手来朝廷却是负多胜少。他害怕太平军势大，会很快占领广西全境，然后出桂攻占湖南。便在老家组织起民团五百人，不顾自己正在丁忧守制，越境进入了广西。好在他这一举动，得到了钦差大臣、大学士赛尚阿麾下副都统乌兰泰的赏识，蒙朝廷恩准，没有治他的罪，还特许准他参与军事。江忠源不负圣恩，后来率领一千五百人在全州蓑衣渡，伏击太平军成功，夺得大量的船只辎重，打破了太平军沿湘江北上攻取长沙的计划。咸丰皇帝赏了他一个四品知府，这可是天大的恩典。从此江忠源尾随追击太平军更加积极主动，入湖南、援长沙，处处身先士卒。尤其是驰援长沙一战，是他抢占了长沙城东南高地蔡公坟，才迫使太平军局处在长沙城南一隅，彻底陷入被动，继而使得朝廷成功的保住长沙城不失。咸丰皇帝龙颜大悦，擢升其为湖北按擦使。其后在太平军攻占南昌一役中，江忠源又多次洞察先机，延缓了太平军的攻势。
太平军攻占安徽首府安庆以后，清政府将庐州作为安徽一省的临时首府。胡以晃兵围庐州前，江忠源在行军途中接到圣旨，皇恩浩荡，他再次高升，接替刘裕担任安徽巡抚一职。虽然是受命于危难，踌躇满志的江忠源还是只带了一部兵马，就进入了庐州。他按照防守南昌的办法重新布置了庐州城防务，委派亲信将官把守各城门，集其余文武于城上分段守御，他自己则率亲兵驻扎水西门。江忠源上任之前以为庐州既然是一省首府，必然兵多将广河深墙厚。到了庐州之后，才发现庐州只是安徽中北部的一个小镇，战略位置和地理位置都没有想象中的那么重要，城单墙矮不算，城内兵力更是匮乏，物资更不及南昌充足。江忠源查清辎重兵员数量，急忙上奏朝廷请求援兵，催要粮饷。并制定下固守待援的策略。
咸丰皇帝认为江忠源不仅仅是抗击太平军的一员悍将，更是一面旗帜，实在不容有失。所以他不仅谕令河南、江苏等临近省份的兵勇一万余人星夜驰援，还下诏命湖广总督吴文镕将留守武昌的江忠源旧部全数遣往庐州。一时间，清廷各路援军都来到庐州城外：总兵玉山带滁州兵驻拱辰门外；陕甘总督舒兴阿带陕、甘兵驻冈子集；总兵音德布带滇兵驻枣林；江忠源的弟弟江忠浚带江忠源湘军旧部驻西平门五里墩。胡以晃率领太平军于十二月十二日兵临庐州城下，审察敌情，知道要取庐州，必须先打败各路援兵才行。于是他采用围城打援的战术，在庐州环城七门，筑木城土垒，此击彼应，声势联络，把驻守和驰援庐州的清军内外隔绝，让其无法联络。等一切布置妥当，胡以晃就率先向迫近拱辰门外的援兵发起进攻，一举击败玉山部清军二千余人，杀死包括总兵玉山本人在内的清兵一千二百多人。首战告捷，胡以晃稍事休息，剑锋一指，又击溃驻枣林的总兵音德布所部，音德布率领残部在夜色掩护下，侥幸逃得性命。自此其他各路援军都闻风丧胆，裹足不前，远远地作起了壁上观。江忠源历来主张围歼太平军，现在却反被太平军包围，身陷孤城绝地，连自己的亲弟弟也不敢去救。
胡以晃见来援的清廷兵马都不敢应战，心中大喜，两战就达到了他震慑敌军的目的，让他可以从容的以城外居民点作掩护，白天按兵不动，夜晚以水西门为目标挖掘地道。江忠源侦查到太平军的意图，就下令手下的兵士也在城内挖地道，想以破坏太平军的地道方向的办法，达到迫使太平军的地道失去作用的目的。这一招果然有效，让钻到地道里的太平军迷失了方向，先后两次轻易堵住了太平军的轰城和冲锋。胡以晃见地道攻城的计策，被清军识破便改用新的方法。他佯装不知道挖地道的计谋已经败露，命令太平军在水西门月城旁继续挖掘，不过这一次是挖掘上下双层，“形如曲突”，直达城下，这一下完全出乎了江忠源的意料，江忠源没有能够识破胡以晃的诡计。
胡以晃围困庐州城三十六天后，咸丰四年一月十四日夜，庐州境内大雾弥漫。胡以晃窥破天机，认为这是攻下庐州的大好机会，立即下令连夜攻击。他首先下令引爆预先在上层地道里埋藏的地雷，一时间地雷的爆炸声响彻云霄。江忠源急忙派兵抢堵被炸塌的城墙垛口，并用火枪朝城外射击，在挖通连接太平军的地道口伏下重兵，他哪里想到这时候城下和上层地道里并无太平军的一兵一卒？胡以晃早下令兵士转入了第二层地道，接着引爆下层地道里埋藏的炸药。庐州本就单薄的城墙，底下已经挖空，哪里还经受得住连番轰炸？连片的城墙纷纷倒塌，江忠源这才发觉大事不妙，可是已经来不及了。胡以晃下令太平军齐声喊杀，吓得城内的清朝兵勇魂飞魄散，乱作一团，各路太平军乘势攻入庐州，江忠源麾下的兵将或降或死。至十五日凌晨，守城清军全部被歼。江忠源见大势已去，急令护卫驮着自己沿关桥旁古塘塘埂逃跑，企图逃出城与弟弟率领的湘军会合。却被搜寻的太平军撞见。那护卫见势不妙，也顾不上背的是巡抚大人，放下江忠源转身就逃。可怜这江忠源本是一介书生，手无缚鸡之力，见护卫撇下自己，知道再无活路，就举剑想要自刎，却被太平军用长矛挑落在地，吆喝着要他投降。江忠源仰天长笑，说道：“我堂堂大清一省巡抚，焉能降尔等长毛贼！”言毕便飞身一跃跳进关桥旁古塘之中。江忠源前前后后在三四年间，由一个知县升任一省巡抚，可算得是春分得意，辉煌一时。只是天不假年，更让他落得个溺水而亡的下场，不由人不唏嘘。
