李鸿章初到上海，就面临太平军第二次攻打上海。李鸿章知道，如果没有上海，自己的一切都将化为虚无。李鸿章也知道有太多的目光关注着自己，所以他丝毫不敢懈怠。他给自己提出“不要钱、不怕死”的六字方针，时时刻刻提醒着自己、鞭策着自己。由于淮军中大部分人都是农民，他们初到上海的时候，上海的官员商绅和外国人看到这支脚穿芒鞋、布帕包头、土里土气的队伍，都忍不住哈哈大笑。他们怀疑这样一支队伍能否担当起保卫上海的重任。为了自己也是为了这支刚刚建立的队伍将来的命运，李鸿章始终对淮军严格治理，加大训练强度，整顿军中纪律。
训练的内容主要有阵法操练和扎筑营盘。淮军每天在营房四周做防御工程，筑高墙，挖深沟。他们筑的墙高八尺，厚一丈，用土块和草袋垒在外面，里面是实土。墙上还有四尺高的子墙，上面有枪眼，士兵就守在子墙上面。墙外修了壕沟，配合绊马桩、梅花坑、铁蒺藜等障碍物。此外，淮军还有严格的体能训练，例如要求士兵能跳上一丈高的房屋，越过一丈宽的壕沟，抛火球要二十丈远，腿绑沙袋一天要走一百里。
纪律整顿方面，每天中午晚上各点名一次，规定士兵不许擅自出营。绝不允许吸食鸦片。李鸿章还不断设法鼓舞士气，士兵的精神状态良好，都盼着快点开战，好试试身手。
李秀成率领十万大军对上海进行第二次围攻时，上海的英法联军一再要求淮军协同作战，李鸿章对他们不予理会，要带领淮军进行独立的战斗，1862年6月，上海流行瘟疫，太平军很多人染上疾病，李秀成决定撤离上海。撤退之前，李秀成先围攻虹桥的程学启部。李鸿章带领队伍前去救援。
这是淮军和太平军双方第一次交战，当时李鸿章带来的是树字营、春字营等。春字营很快就抵挡不住往桥边逃跑，李鸿章正坐在虹桥桥头督战。他一把抓住带队的张遇春对士兵下令道：拿刀来把他的头砍了！张遇春只好又带人往回冲。张遇春是李鸿章的旧部，是李鸿章十分信任的人。但在大敌当前的时候，李鸿章就毫不留情了。经过虹桥、北新泾、四江口三场战役，李鸿章率领淮军守住了上海，使得那些最初耻笑淮军是“乞丐兵”的人开始对淮军刮目相看。
立足之后，李鸿章开始整顿江苏省的吏治，并多方延揽人才。李鸿章认为，江苏和各省一样，官场腐败到极点，而上海尤为突出。
其特点是官吏不知礼义廉耻为何物。为了贪财捞钱，他们不惜媚外卖权，从中以饱私囊；为了满足一己之私欲，他们相互勾结，巧取豪夺，置国法而不顾。主观上李鸿章虽很想把江苏一省尤其是上海的官场腐败风气扭转过来，但在客观上却心有余而力不足。因为他初到上海，强龙难斗地头蛇，但为了求得淮军生存，他采取了“有选择地加以惩治”的办法，尽自己的能力对吏治进行了一番整顿。同时，李鸿章还起用了一批务实肯干、能力出众的人才，例如郭嵩焘、丁日昌等人。与此同时，李鸿章开始建立自己的幕府，幕府中很快召集了一大批各种各样有能力的人才。其中有精通数学、天文、机器制造的科学家；有懂得会计、钱谷之事的经济学人才；有熟悉兵法懂得计谋的军事人才等等。李鸿章用人是从实际需要出发，而且能做到人尽其才，最大限度地发挥调动幕僚们的积极性和能力。李鸿章还善于发现人才，上海那个钱鼎铭，也被李鸿章收归旗下，让他为淮军办理营务。这些人被李鸿章聚集在一起，齐心协力做好江苏的事情，做好淮军的事情，做好李鸿章交办的事情。
李鸿章做的另外一件大事，就是征集军饷。
曾国藩极力举荐李鸿章援沪，除了单纯的军事和政治目的外，还存在着以上海税收支助湘军的打算。上海自五口通商以后，工商业在外国货物的刺激之下日趋繁荣，海关洋税的收入日渐增多，但仍入不敷出，与所需差距甚大。为了解决这个问题，李鸿章果断采取了海关厘税分收分用的政策。
李鸿章用关税支付“常胜军”、中外会防局和镇江绿营的费用，用厘金承担湘军和淮军的军费。当时上海的厘金收取是全国最高的。厘金的税额是按照商品价格的百分比收取，值百抽一，百分之一为一厘。李鸿章认为，从商人手中多收点钱，胜过从农民身上收税。厘金的用途是“取之于民用之于民”，比从民间收税更方便。在李鸿章的多方筹措下，厘金大笔地进入了湘军和淮军的银库，从而使得军饷有专拨之款，更主动而有效地控制了饷源。不仅基本上解决了淮军的饷需问题，还以大批金钱和物资支助了湘军在西线战场的作战。
然而，曾国藩还不满足，希望李鸿章能筹集更多的军饷。李鸿章对于曾国藩的推举一直心存感激，所以对于曾国藩交办的事情尽心尽力地去做，并未因自己得势就弃曾国藩而去。相反地，他比当幕僚的时候更加服从曾国藩，体现了顾全大局的一贯行为方式。在上海半年，李鸿章就为曾国藩筹集到军饷9万两。此外，他还给曾氏兄弟送去大批武器，支持他们的军需装备。
当时，江苏的吏治特别坏，其中以前江苏布政使王有龄（时为浙江巡抚）为罪魁祸首。王有龄提拔的几个干部如苏松太道吴熙、苏州知府吴云、苏松粮道杨坊等都是贪污腐化分子。做了一番深入调查之后，李鸿章开始采取行动。他让吴熙管理关税，以前归吴熙管理的厘金改由幕僚薛书常管理。接着要求吴熙要做出明确的账目定期汇报，吴熙只好开始做假账，以求蒙混过关。
有一天，李鸿章喝酒之后，来到吴熙家中。对吴熙说：有人说你账目不清，现在总理衙门正要查你呢。你告诉我实话，你的账目有没有问题？如果你真有问题，那我想办法帮你找人疏通一下。吴熙看李鸿章喝多了，于是心里没有任何怀疑，拿出账本交给李鸿章说，你看看吧。李鸿章看了一会儿说，我今天喝酒喝得头疼，看不清楚。我回去好好帮你看看账面怎么样？吴熙就这样把自己的罪证交给了李鸿章。李鸿章回去后，马上找了几个精通会计的幕僚仔细审核，发现了账目中的很多问题。第二天，李鸿章就轻易地收拾了吴熙，改派黄芳和刘郇膏掌管海关和布政使司。刘郇膏以前在上海当县令的时候的声誉较好，被百姓称为“刘青天”。他还是李鸿章的同年，李鸿章对他比较了解。杨坊看到李鸿章收拾了吴熙，吓得主动辞去了苏松粮道的职务。李鸿章把这个职务交给了自己的老同学郭嵩焘。
虽然李鸿章使用一些被他称为“君子”的人管理财政机构，但是出于策略上的需要，他还任用了一些例如金鸿保这样声名狼藉的人物帮他做事，因为金鸿保同地方上的各种要人都有广泛的关系。李鸿章需要利用这些关系维持和壮大自己在江苏地区的势力。此时，作为地方行政最高长官，李鸿章注意到了一个问题，就是地方经济建设的问题。由于连年战争，百姓生活穷困，还有大批无家可归的流民。李鸿章首先在战后地区恢复农业经济，减免田赋，还给农民发放耕牛和种子，给饥民发放米钱。在未直接受到战争影响的地区，向地主官绅收取新税，用这些税金补贴对农业费用的开支。
李鸿章还向朝廷提出举措，指出大户和小户之间的税率差别一定要改正，建议取消对大户的一些优惠政策。李鸿章在财政管理上一直倾向于从商人、地主、豪绅的手中获取钱财。他的这些措施多少减轻了当地百姓的负担，人民生活状况有所改善。但是，在整个经济建设中，仍出现了很多问题。比如说大户抗税，一些贪官污吏趁机横征暴敛，还有很多无法得到保障的百姓仍然生活在颠沛流离之中。
李鸿章还使科举制度重新焕发了活力，他增加上海及临近地区的乡试名额，并在苏州设立新科。他还在苏州重建了两个书院。1861年之后，忙于政事军务的李鸿章已经很少写诗，还放弃了收藏书法作品的爱好，而是把更多的精力放在实际工作中，放在那似乎永远也处理不完的事情上。在以后洋务运动时期，李鸿章在给朝廷写的一封信上说了这样一句话：中国的士大夫每天沉醉于文章的词句和练习写小楷字，而武将多半是粗俗愚蠢之人。由此可见，这个时期的李鸿章已经看出：一个永远把精力放在练习写小楷字上的民族是不可能强大起来的。
在外交上，李鸿章尽力利用洋人势力以为我用。淮军抵沪之初，太平军势力锐不可当，李秀成的部队包围了上海附近的青浦，进逼虹桥，距上海城仅20公里。
上海形势一度处于危急之中，李鸿章决定趁太平军尚未立定根基之时，1862年6月中旬亲督淮军“春”字、“树”字等营分路坚守苦战虹桥、徐家汇等地。
结果连战皆捷，三百余名太平军将士被捕杀。随后，李鸿章率兵进占泗泾，迫使李秀成部太平军退弃广富林军处，松江之围遂解。此战，是李鸿章在没有洋兵协助下的驻沪第一场胜仗，不但使清政府在上海的统治秩序得以稳定，而且使李鸿章对于统率新成立的淮军提高了信心，同时也为淮军在洋人面前争得了面子。
1862年10月，正当曾国藩兵围南京，李秀成奉命率所部太平军由苏州回援的关键时候，李鸿章勾结英法侵略军和常胜军合攻嘉定获胜。不久，李鸿章又亲赴前线调集常胜军和淮军各路与太平军激战于四泾口处，迫使太平军谭绍光等部再次退回到苏州。
通过此次战役，淮军进一步巩固了上海周围的统治地位。与此同时，李鸿章加紧对东线太平军的瓦解工作。1862年，李鸿章利用早就与太平军败类暗约里应外合的徐佩瑗等人密谋策划，蓄意制造太平军内乱。太平军将领谭绍光发现有异，逮捕了徐佩瑗，但骆国忠于1863年1月发动叛乱。此时，李秀成从天京返回苏州。针对这种情况，李鸿章采取了四处出击战术，一面令骆国忠坚守常熟，一面攻打太仓，于5月攻占太仓。太仓失守后，李秀成部被迫放弃原定“进北攻南”计划，赶回救苏州。1863年6月，李鸿章决定采取兵分南北中三路，“以剿为堵”“规取远势，以剪苏州枝叶，而后图其根本”的战略。
这个战略计划在获清政府允准后，各路展开了全面合围苏州的攻势。太平军方面，李秀成从天京赶回苏州制定了兵分四路进攻上海、昆山、常熟、江阴的主动破敌计划，但由于太平军内部分化，此计划未能付诸实施，太平军陷入消极防御，被动应战境地。
1863年7月，苏州与杭州的陆路通道被常胜军和淮军程学启部切断；9月，江阴又被淮军李鹤章、刘铭传部攻占。11月下旬，各路淮军与常胜军配合，猛攻苏州娄门，但久攻不下，于是李鸿章策动太平天国纳王郜永宽等于12月发动叛变，杀害了谭绍光及手下兵将数千人，郜永宽等公开投入李鸿章怀抱。然而，当时淮军军心不稳，加之苏州城内尚有十万太平军立誓决一死战，李鸿章背信弃义，把郜永宽等投诚兵将统统杀了。这时，李鸿章因功被清政府赏赐太子少保衔。
后期太平天国政权失去外围最后一个坚强军事据点苏州后，使得清军能集中兵力围攻天京。天王洪秀全错误估量形势，仍决定固守婴城，与清军硬拼到底。1864年5月，李鸿章采取主动的战略部署，攻占了常州。随后，李鸿章感到太平军败局已定，于是除了把“常胜军”精锐归为己有外，其余的都尽行遣散。
李鸿章在苏抚期间，还与赵家缔姻，完成了再婚这桩终身大事。他的原配夫人周氏生有二女，名曰镜蓉、琼芝，因膝下无子，其弟昭庆便把经方（李昭庆之子）过继给他。1861年夏，李鸿章在重返曾幕路经万年（江西饶州府）时，曾赋诗寄怀，诗云：
半生失计从军易，四海为家行路难。
唯有娇痴小儿女，几时望月泪能干。
阿爷他日卸戎装，围坐灯前问字忙。
天使诗人卧泉石，端教道韫胜才邮。
他以生动的笔触，抒发了投笔从戎、前路崎岖的感慨和思念女儿的骨肉之情，反映了渴望早日结束战乱、重享天伦之乐和娇女成长为像东晋女诗人谢道祖那样“咏絮才”的心声，情真意切，凄楚动人。不料，是年9月周氏去世，两个女儿失去了母亲，爱妻去矣，娇女孤，突如其来的打击，使李鸿章肝肠忧煎，感伤不已。在此后的两年多时间里，由于戎马倥偬，使李鸿章无暇顾及个人婚事。1863年12月，李鸿章在夺取并移驻苏州之后，认为苏南战事即将胜利结束，重建家庭的时机已经到来，因而便于1864年1月迎娶赵氏为继室。
智者当以大局为重
湘军攻打天京许久了，一直没有什么结果。清政府看到淮军作战有力，便让李鸿章部前去协助。在解散“常胜军”后，李鸿章本可以全力以赴会攻天京，而当时统军攻打天京的湘军大将，正是曾帅的胞弟曾国荃，他害怕因分功而得罪曾国藩，于是仅派遣淮军刘士奇炮队及刘铭传等营援攻天京，他本人及淮军主力却驻防天京外围一带。说起曾国荃，他和李鸿章还有一点小过节。
早在李鸿章刚投奔曾国藩的时候，曾国藩派李鸿章去曾国荃处办理营务。李鸿章为了对这位老师的弟弟表示尊重，特意拿出一把纸扇，请曾国荃题字留念。曾国荃居然得意洋洋地写了“门多将相文中子，身系安危郭令公”十个字，而且字体欠佳，歪歪扭扭。李鸿章看了之后嗤之以鼻，心想你不过是个秀才，还敢自比郭子仪！真是大言不惭。所以没待几天他就告辞了。
