郭嵩焘也不推辞，说：“就依涤帅！”
从此以后，刘蓉参赞军务，郭氏兄弟暂留湖南专门筹饷。
紧接着，帮办江北大营军务的刑部侍郎雷以诚也采用其幕僚钱江的建议，奏请朝廷在江苏、河南等地设局收厘金。得到朝廷的批准以后，湘鄂赣皖闽川等省相继施行。
郭嵩焘东奔西走，为湘军筹粮筹饷，还对弟弟郭崑焘说：“天下之利出于商贾，以厘计算，商贾取之于民，我取利于商贾，又不扰民，何乐而不为？”
湘军在长沙经过一段时间的整训后，增加了胡林翼两千人，山东登州镇总兵陈辉龙奉命率七百水师到曾国藩军前效力，广东游击沙镇邦率广东水师到长沙，广西右江候补道李孟群率一千水勇自桂林抵达长沙。
李孟群，字少樵，号鹤人，河南固始人。道光二十七年丁未科进士，署灵川、桂平县知县，因剿匪之功提拔为南宁同知。他积极参加镇压李沅发起义，以围剿太平天国为己任，曾国藩非常赏识他。
咸丰元年，洪秀全率太平军强攻盘龙河，李孟群引兵鏖战连日，使太平军不得渡河，因功升知府，调赴永安军营；咸丰二年，授泗城知府，又以围剿反清力量之功加道台衔，进擢道员，署浔州知府；次年，调任江西九江知府，仍留广西。
李孟群之父李卿谷为道光二年举人，任四川长宁知县，累升湖北督粮道，代理湖北按察使。咸丰四年，太平军攻陷武昌，湖北巡抚青麐逃亡湖南，李卿谷殉难，追赠布政使，并赠骑都尉世职，谥愍肃。
李孟群闻讯，对天地立誓，与太平天国不共戴天。
三支水军都编入湘军水师，一时人才济济，曾国藩令各营官员加紧训练，准备与太平军一战。
六月，曾天养连下数城，声威大振，周国虞协同曾天养攻下安乡、华容，洞庭湖以西、以北数县都落入太平军之手。林绍璋在湘潭失败，从宁乡退往汉寿，随曾天养一起守岳阳。
咸丰四年六月二十日，朝廷下旨命曾国藩率军出征湖北，收复武昌。曾国藩领旨，在长沙橘子洲誓师，分三路进攻岳阳：
陆路以塔齐布为先锋，率七千人进屯湘阴新墙河，宝庆知府魁联补岳州知府，率宝勇同胡林翼一起为后援，紧跟塔齐布一路推进；罗泽南总领陆军，周凤山率三千人为后援；遣江忠淑、赵君玉率新宁楚勇从湖南平江出发，进攻湖北通城。
水路以褚汝航为主将，陈辉龙为副将，禇汝航率夏鉴、彭玉麟、杨载福为前锋，何南青为向导，陈辉龙、李孟群为后援。
沙镇邦、夏銮率五千人马从橘子洲出发，曾国藩则随杨载福、彭玉麟居中策应，多顺继续屯军常德，防止太平军从荆州入湘，确保洞庭湖西路安全。
湘江长沙码头上，骆秉章拉着曾国藩的手说道：“涤生，这次奉朝廷之命驰援武昌，是出省作战，当与省内大不相同。在外诸事要多加小心，你能肃清湖南周边县乡匪患，他日必能消灭洪、杨，到时候封侯拜相，不要忘记我。”
曾国藩非常恭敬地回答说：“骆大人说到哪里去了，湘勇成军全凭骆大人全力支持，我何功之有？今日出省作战，兵凶战危，结果很难预料，倘若涤生一招不慎，必然大难临头，死无葬身之地。”
骆秉章闻言非常惊讶，说道：“今天是大喜的日子，涤生何出此言？”
曾国藩道：“骆大人为湘军费尽心血，日后在外省作战，兵源、粮饷还得靠骆大人亲自筹划，以全三军将士。”
骆秉章笑道：“这个自然，你我都是为朝廷效力，兵源、粮饷之事，我看可以在湖南成立一个粮饷局，由左季高、李瀚章负责，与团练局合署办公，你看如何？”
曾国藩赶紧握住骆秉章的手，谢道：“如此甚好！谢谢骆大人。”
左宗棠见两人话已讲完，就过来对曾国藩道：“涤生兄，此次出湘，尤其要对长毛里面的一个人物小心谨慎。”
曾国藩转身问左宗棠：“谁？”
左宗棠郑重地说：“石达开，我与他打过交道，此人通晓军机，用兵打仗，计出不穷，是长毛军中的第一战将，涤生兄与之交兵要千万小心。”
曾国藩微微颔首，道：“多谢季高提醒，此次出境作战，如有不测，必然向朝廷奏请你代我统率三军与洪杨决战到底，到时季高不要推辞。”
左宗棠拱手道：“涤生兄言重了，祝你兵出长沙，攻克武昌，马到功成！”
曾国藩道：“多谢季高吉言！”
此时，船上鼓响，中军角号呜呜吹起，骆秉章朝曾国藩一拱手，说道：“祝涤生和三军将士一路顺风顺水，克复武昌。”
曾国藩朝众人拱了拱手，一转身登上了湘军战船。这时岸边几挂鞭炮“噼里啪啦”地响起来，船上湘军收起跳板，船只慢慢地离开长沙码头，拔锚起航。长沙老百姓目送湘军三百多只大小船舰出港，鸣炮三响，渐渐远去。
曾国藩离开长沙以后，心情十分沉重。湘军前途，两万将士性命系于一身。船到洞庭湖，曾国藩站在船头，看到烟波浩渺的湖面，不禁想起自己进京赶考，第一次路过洞庭湖的情景。唉！转眼间十几年过去了，真是三十年河东，三十年河西，此一时彼一时也。
两天以后，塔齐布越过新墙河占领岳阳县，水师到达洞庭湖也停止前进。
湘军水陆师分三路来攻，曾天养在新墙河、君山、雷公湖迎战失败，退守岳州。双方在城陵矶大战，互有伤亡，湘军被拒不能东下。
湘军水师前锋进入洞庭湖以后，向导何南青率两千人与太平军遭遇，退屯万石湖。湘军水师分为五队：苏胜率先锋战船趋南津，夏銮为后援，彭玉麟带一船人马埋伏君山，杨载福率一船人马埋伏雷公湖，禇汝航为总指挥。
何南青头缠黄布巾，身穿大黄云蟒袍，外罩铁金甲，扯一杆霸王枪在雷公湖建旗吹角，扬言攻打岳州城。太平军水师将掠夺的商船改成炮船后，列阵南津一带，观望不前。何南青派三条舢板对南津的太平军进行挑衅，太平军大怒，争相划船，围截湘军三条舢板。彭玉麟等见太平军上当，从后面包抄，断其归路。双方炮战，太平军水师船队均由商船改制，大炮旋转不灵活，船在水中掉头也不利索。加之湘军水师火力猛，射程远，太平军水师不敌湘军水师，纷纷后退。
杨载福率三条舢板率先冲入太平军水师舰阵，彭玉麟随后跟进，两人一前一后，在太平军水师舰阵中横撞直上，从阵前杀到阵尾。太平军后舰尽是粮草，见湘军攻到阵前，纷纷来救。彭玉麟指挥还击，被太平军炮火击伤。彭玉麟不顾伤痛，命人放火，烧毁不少粮船。太平军争相抢救粮草，当时天黑风急浪高，太平军人马损失无数，退往岳州。
陈辉龙见塔、罗、彭、杨四将连战皆捷，风头出尽，也不甘落后。他认为打败太平军并不困难，决定率军独自攻打城陵矶。
这天，陈辉龙头戴白银盔，身穿白银甲，外罩一件湘绣青布袍。命令沙镇邦为先锋，邀褚汝航、夏銮一起同行，前去攻打太平军水寨，让杨载福乘一舢板跟在后面前往观战。杨载福不好说什么，答应在后面跟着，夏銮提醒道：“今起南风，进攻城陵矶容易，要撤退却很困难。”