中国有一句名言，“人在屋檐下，不得不低头”。意思是说，当一个人在权势机会不如别人的时候，不能不低头退让。对于这种情况，不同的人会采取不同的态度。有志进取者，将此当作磨炼自己的机会，借此取得休养生息的时间，以砺再进，那些经不起困难和挫折的人，却往往将此看作是事业的尽头，一味地消极乃至消沉，畏葸不前，不愿设法克服目前的障碍，只是怨天尤人。“坚忍”者，君子所为，于战则无敌，于乱则大治。于事业会一步步接近成功，于生活才能真正体验到甘味。
曾国藩中年以后，务以坚忍用世。刚办团练时，由各处调来省城的绿营兵，也有数千之众。按照往例，一省的军事最高长官是提督，训练绿营兵本是提督的职责。湖南提督鲍起豹无能，这几千绿营兵乃一并归曾国藩所提拔的中军参将塔齐布统一训练。湘勇与绿营，共同操练。
曾国藩对于训练，要求颇为严格，风雨烈日，操练不休。这对于来自田间的乡勇而言，并不以为太苦，但对于平日只知喝酒、赌钱、抽鸦片的绿营兵而言，便无异是一种“酷刑”了。先是副将德清，拒不到操，根本没有把曾国藩和塔齐布放在眼里。接着提督鲍起豹也和德清联合起来，与塔齐布为难寻衅。公然对士兵宣称：“大热天还要出操，这不是存心跟将士们过不去吗？”于是绿营兵大恨曾、塔等人。
长沙城内，同时驻扎着两种部队，绿营兵与湘勇，绿营因战斗力差，颇受勇丁轻视，而勇丁的月饷，高出绿营兵二三倍之多，绿营兵也嫉愤交集。因此兵与勇时生摩擦。鲍起豹等人又从中挑拨，双方愈来愈情同水火，渐至常生械斗。
曾国藩起初本着“息事宁人”的态度，只将参与械斗的勇丁加以棍责，严行约束；绿营兵则置之不问。谁知这一来，正合了曾国藩的两句话：“君子愈让，小人愈妄。”绿营气焰更盛，益发耀武扬威，公然凌辱勇丁了。曾国藩不得已而咨请鲍起豹按军法整饬，鲍置之不理。绿营兵于是胆子更壮了。
咸丰三年（1853）八月初六日，绿营军居然整齐队伍，带着兵器，鸣号击鼓，包围了参将府，要杀塔齐布。吓得塔齐布躲在菜园旁边的草丛里，没有被找到，才逃过一命。绿营兵找不到塔齐布，放火把参将府烧了，又一窝蜂拥到团练大臣曾国藩的官邸，照样团团围住，扬言要杀曾国藩。幸而他的临时行馆设在紧靠巡抚衙门的射圃中，见事已急，乃亲自去叩巡抚骆秉章的偏门，骆出来喝止。绿营兵才悻悻作鸟兽散。然而他所统率的湘勇，日子却更难过了，进出城门的盘查斥骂，街头的公然侮辱，甚至拳打脚踢，都是常事。有人劝曾国藩据实参奏鲍起豹等人，而曾国藩刚于不久前参革了副将清德，这时不便再动劾章，于是托言：“做臣子的，不能为国家平乱，反以琐屑小事，使君父烦心，实在惭愧得很。”即日将所部湘勇分别遣驻外县，自己的司令部也移驻于衡州。这就是曾国藩生平常说的“打脱牙，和血吞”的委曲求全处世之道。
曾国藩在与太平军斗争的过程中，他的最大困难，不是敌手的强大，而是清朝本身在政治、军事与财政各方面，存在着太多的矛盾和弱点。不能形成强大的力量，与太平军作战。其次就是湘军本身缺少战斗经验，难当大敌。因此在以后的六七年中，曾国藩虽然为自己建立了一点声望，而来自各方面的挫辱和打击，也不是常人所能忍受的。
咸丰四年（1854），曾国藩初次出师湖北，行到岳州，猝遇大风，沉没船只数十号，勇夫落水淹死的也不少，军中士气颇受打击。陆师王鑫一军，行至羊楼峒，与太平军遭遇，大败而回。曾国藩此时又以上年在衡州时，奏请以杨健入祀乡贤祠一案，部议革职，奉旨改为降二级调用。
曾国藩“任劳任怨”，为清廷卖命，结果为了一点小事，竟遭到如此严厉的处分，其内心的沉痛，是可想而知的。所以当四月初二日亲率水师于靖港出战太平军，遭受挫败时，他预料清廷必将科以重罪。展望前途，大局已毫无希望。于是纵身投水，想以一死超脱自己。然而连续两次，都被左右救起。幸得陆师塔齐布大破太平军于湘潭，歼斩达数千人。得此捷报，曾国藩才打消死念，重新振作精神，部署再战。
此后湘军作战颇有进展，声誉日起，而清廷为了抑制汉人，却还不时蹈瑕抵隙，找点小毛病来挑剔责难一番。例如，八月间曾国藩军克复武昌，有旨授湖北巡抚，曾国藩上折固辞。这本是他谦退的表现。清廷却恼羞成怒，降旨准辞巡抚而责其折中不具巡抚官衔，有“违旨”之罪，著严行申饬。令人觉得荒谬可笑。
咸丰十一年（1861）八月，曾国荃攻下安庆，长江千里，已全归湘军掌握。曾国藩分兵三路，直指江浙地区，准备给日渐衰微的太平军最后致命一击。可是曾国藩所遭遇的困难，仍是纷至沓来。先是最能与他合作无间的湖北巡抚胡林翼积劳病死，使曾国藩失去一个最有力的伙伴，未免平添后顾之忧。曾国藩为之彻夜不眠。而三路东向的大军，只有曾国荃一军，因为是亲弟弟，始终听命于他。其余李鸿章与左宗棠两路，都时时表现不合作的态度，使曾国藩伤透脑筋。
李鸿章与曾国藩有师生之分，李之组成淮军，完全秉承曾国藩的指示，初期淮军的营制营规，全部仿照湘军。曾国藩并且调拨部分湘军官兵，交与李鸿章统带，以助成军。李鸿章可说是由曾国藩一手培植起家的。然而到了上海之后，李鸿章稍能立脚，便想脱离曾国藩的约束，自立门户了。曾国藩遣他招募淮勇赴援上海，主要目的之一，是让他掌握上海丰富的税收，支持湘军的饷粮。不料，李鸿章从同治二年（1863）起，对于曾国藩兄弟的索饷要求，便常藉口种种困难而大打折扣，彼此闹得很不愉快。
最使曾国藩伤心的，是李鸿章借调湘军水师黄翼升部至下游协同作战，颇具战绩。曾国藩想抽调回来助曾国荃攻打金陵，屡次征调，李鸿章都坚留不放，曾国藩深表不满。李鸿章竟写信恐吓他的老师：“您要是再坚持调黄军回去，将来您一定会后悔的。大局一坏，到时候只怕老师会像李斯一样，难免有‘东门黄犬’之叹了。”曾国藩接到这封信，气得脸色大变，立即亲自起稿，具折参办李鸿章。幸而李于这时克复苏州省城，立下大功，曾国藩才被迫毁去参稿，也避免了师生的公开决裂。
左宗棠也是曾国藩一手提拔起来的。几年前，左在湖南遭人控告，几乎被判重罪，曾国藩曾出大力营救，案件化解之后，曾国藩又将左罗致军中，让他担任重要工作，随即命左宗棠统军独当一面，对太平军作战。
及左宗棠到了浙江，立下战功之后，渐渐地也和曾国藩大唱反调了。同治三年（1864），竟公然与曾国藩绝交，从此终身不相往来。甚至常常当着宾客僚属的面，谩骂曾国藩，使听话的人都感到受不了。另一个由他培植起来的江西巡抚沈葆桢，则为了与曾国藩争夺江西的厘金，也翻脸成仇，奏章弹劾，几乎使曾国藩下不了台。
曾国荃围攻金陵的军队，虽不发生不听指挥的问题，然而屯兵城下日久，帅老兵疲，军饷不继，军心士气日渐涣散，也使曾国藩忧心忡忡，日夜焦灼。同治二三年间，金陵城外的湘军，因为粮饷缺乏，每天喝稀饭度日，几个月不发饷，更是常事。曾国荃对那些家乡子弟兵，渐感难以约束。他们甚至发生把营官捆绑起来，勒发欠饷的暴行。至于抢掠平民、奸淫妇女的事，也层出不穷。曾国荃拿不出粮饷来解决问题，自感无颜以对部属，只好置之不问。心中焦虑，渐渐忧急成病。消息传到安庆，曾国藩一面担心弟弟的病体，不能支持，军纪败坏的围城湘军，随时有叛变崩溃的可能；一面还要承受来自清廷的猜疑、言官的谤劾、僚属的离心等等打击。当时湘军的缺饷，不仅限于金陵的曾国荃军，其余各部也很严重。大营所设山内粮台，竟遭驻守附近的两营湘军自行抢劫一空。曾国藩身体素来孱弱，至此郁气中结，旧疾新病，一齐并发，饭后呕吐、牙痛、头脑晕眩、手脚抽筋，痛不可忍，至于不能工作，迫不得已只好奏请给假调养。
