带来这个消息的信使是从越州来的，摄政王赵构已经回到了陆地上，以越州为行在，暂时不回临安。
原来建炎四年完颜兀术南下搜山检海，完颜兀术占领临安府后，即命斜卯阿里和乌延蒲卢浑带四千精骑，急驰明州，追捉摄政王一行。
这支金人的偏师经历长途奔波，已成强弩之末。留守明州的是张俊。
张俊欲遣人硬探，无敢应者。有军兵任存请行，俊壮之曰：汝果能得其实当与汝官。存拜谢而行不旋踵以手提二级而还，具得金人之虚实。
俊大喜遂瘳和兵之计亦会隐士刘相如劝统制刘宝与战不胜。再命王进党用邱横迎敌用与横皆被伤。杨沂中田师忠再战又不胜。李宝继进苦战，李直率诸班直以舟师来助。刘洪道又率兵射其旁金人乃败而稍退去。
完颜兀术派兵增援，张俊急忙撤离明州。
金军虽占领明州，但处境日益困难。遥望东海，烟涛微茫，无摄政王府逃帆之影迹；回首西北，山水重沓，却有岳飞等虎旅之阻击。密布的河湖，不利骑兵的纵横驰骋；卑湿的地气，又造成将士的水土不服。
完颜兀术终于决定撤兵。因劫掠的财物过多，如按来路直接北撤，陆运不便，于是金军绕道大运灌，水陆并行，破秀州，陷平江府，占常州，准备自镇江府（治丹徒，今江苏镇江市）渡江。当时浙西运河全程有六百四十一宋里。
完颜兀术宣称“搜山检海已毕”，用以掩饰其军事上的失利，又残酷地进行焚戮，用以发泄其气恼。
最先遭殃的是明州，州城里的居民基本杀光，除东南角的几所佛寺外，房屋也全部烧成灰烬。金军又派兵四出，在整个州境搜剔杀掠，即使是人人迹罕至的深山穷谷，也罹其荼毒。
接着，金军又在临安府城纵火，连烧三天三夜，烟焰不绝。临安府在南宋初几经兵燹，户口只剩下十分之二、三。
在平江府，纵横百余里的大火，五天方灭。
金军的杀掠，加之官军的骚扰，建炎四年夏季的瘟疫，平江府人民丧生者近五十万，只有十分之一、二的人口幸免于难。
此次金兵渡江，东路军所蹂躏的面积比西路军小，约为两浙路的一半和江东路的一角，但这个地区却是宋朝最丰膄的谷仓，是当时全世界最富庶的地区，饱受了如此酷烈的战祸，非短时期所能恢复。
江南军民面对金兵的凶暴行径，也进行了奋勇的抵抗。
金军攻打临安府时，州治钱塘县令朱跸率乡兵二千，横挑强敌。他身受重伤，仍然令士兵背负他后，仍然令部兵背负他，继续指挥战斗，最终在天竺山英勇牺牲。弓手首领祝威和金胜率余部据守葛岭。他们在崎呕的山路上，用泥土覆盖编竹，佯装通道，设下埋伏。金朝骑兵冲击葛岭时，一批又一批地踣仆，乱成一团。乡兵们挥兵刃奋斫，使敌人横尸山谷。狂怒的完颜兀术以大兵从南麓冲上葛岭，因众寡悬殊，祝威、金胜等壮烈战殁。
在严州桐庐县，钱峃、钱觷兄弟和方庚指挥民兵三千人，于牛头山击败了金兵。
金军进犯越州时，馀姚知县李颖士招募几千乡兵，同把隘官陈彦一起御敌。他们布列了很多旗帜，迷惑金军，胜利地阻击了一昼夜。
建炎四年秋天，完颜兀术的大军撤离平江府时，宋军统制陈思恭率领所部，邀击泊船于吴江县境太湖中的敌人后军，也取得胜捷。
完颜兀术在江南屡遭挫折，气焰收敛，他断言江南气候不宜，不利于金兵长期占领。在建炎四年年底，完颜兀术到达镇江府，打算满载掳获品渡过大江，却遭到韩世忠军的拦击。
金军号称十万人，韩世忠所属只有八千余人，欲与金军陆战，显然力不从心。韩世忠命全军登上战舰，以水师迎战陆军，确是以己之长，攻敌之短。完颜兀术只能用小船驰出运河，在金山一带江面迎战，屡次失败，十分狼狈。他请求韩世忠放金军过江，韩世忠却提出他不能接受的条件：放回徽、钦二帝，归还宋之故土。
但韩世忠的海舰尖底，吃水深，无法进入运河。走投无路的金军退到黄天荡企图开掘一条河道入江，又遭韩世忠拦截。后有奸细献策，金军又另外掘通河道，得以将船只经秦淮河，引入金陵城西的江面。
韩世忠军还是溯江赶来邀击。有人教完颜兀术乘无风之际，用小船向宋军施放火箭。韩世忠军原来准备水陆两栖作战，其航海巨舰还装载马匹、粮食、辎重、军人家属等，无风不能行驶，遭敌人攻击后，韩世忠的巨舰一艘接一股着火，蔽江而退。
黄天荡之战前后相持四十日。韩世忠虽败犹荣，此战使完颜兀术等领悟了一个浅显的军事常识，在大江上往返，非同儿戏，甚至会有灭顶之灾。
金陵府成为金军在江南仅存的立足点，对于再下江南，吞灭宋朝，无疑有非常重要的军事价值。当完颜兀术和韩世忠在江上相持之际，金陵府的金兵在城东北的钟山、城南的雨花台构筑大寨，开凿了两道护城河，并在山上挖洞，以供“避暑”之用。
金人“陆增城垒，水造战船”，从采石矶渡江北去，继而复返的队伍，也络绎不绝。韩世忠的战败，又使金人留驻金陵“避暑”的可能性增大了。
就是在这个时候，赵构浮海归来了。摄政王以越州为“行在”。赵构将金陵府的金军视为悬在自己头顶上的利剑，但却不敢主动进攻金兵。
就在这个当口，赵构摄政王府得知呼延庚被围困在平阳，秦桧等人判断，洛阳的完颜兀术未必有精力增援金陵。
他们为此调动了可以调动的全部兵力，任命张俊为浙西路、江东路制置使，“诸将并受节度”，全权负责收复金陵事宜。可是卑怯的张俊宁肯任人切齿唾骂，也不敢向金陵前进一步。
赵构想起了忠勇的岳家军。
