几经训练，曾国藩终于编练出了一支所谓“诸将一心，士兵一气”的军队，在晚清军事史上独树一帜。这支军队很快成为太平天国运动的刽子手、满清王朝专制统治的坚强支柱。为了获取满洲贵族的信任，曾国藩力荐满人塔齐布为湘军大将，荐举多隆阿为湖北湘军将领，隶胡林翼部。至咸丰四年（1854年）二月湘军出战时，兵力已达一万人，水、陆军各五千，加上其他人等，共计1．7万余人。
1854年2月，曾国藩发布《讨粤匪檄》，攻击太平天国士兵到处烧杀抢掠，荼毒生灵，并大肆渲染太平军信仰拜上帝教，禁读孔盂书籍，破坏神堂庙宇，“举中国数千年礼义人伦诗书典籍一旦扫地**尽”，动员一切反动势力尤其封建知识分子起来镇压太平天国革命运动。曾国藩高举起忠君卫道的旗帜，在当时产生了较大的影响。
初次出兵，曾国藩不免踌躇满志，大有不可一世之气概。
然而他在战场上却并不如意。太平天国运动初期，天朝内部团结，士兵革命热情高涨，斗志旺盛，所到之处，深受广大民众的支持和拥护。因而曾国藩的湘军并不是对手。湘军出师后与太平军首战于岳州，一触即溃。曾国藩在靖港亲督水师与太平军对阵，也遭惨败，水师几乎全军覆没。曾国藩本人羞愤交加，投水欲死，被随从捞起。接着他用了近三个月时间重整旗鼓，修造战船，再次出击，并攻陷岳州，初步扭转了战局。十月，又经激战，攻取武汉三镇，朝廷赏加给他兵部侍郎衔。曾国藩继而率师东下，攻破太平军水上要塞田家镇。咸丰五年（1855年）一月，湘军进逼九江。曾国藩气焰又变得嚣张起来，企图“肃清江西，直捣金陵”。
面临这一局面，太平天国立即派遣富于军事才干的翼王石达开为统帅，率师西援。两军对峙于湖口、九江一带。曾国藩军队久攻不克，粮饷接济也日益困难，内心焦躁不安。
石达开机智地利用曾氏急于求战的心理，故意疏忽由湖口通向鄱阳湖的防备。曾国藩果然上当，竞派水师快船驶入鄱阳湖。企图打通同南昌的联系，威胁太平军后路。曾氏快船刚入鄱阳湖，石达开立即封锁湖口江卡水关，将曾国藩赖以横冲直撞的水师隔为两段。江面上的湘军水师船只大而笨重，行动不便，遭到太平军猛烈焚烧、攻击。是役，湘军水师损失惨重，百余艘战船被焚毁。曾国藩的坐船也遭受突袭而成为太平军的战利品。两次出师，均损兵折将，曾氏本人也受到清朝地方官吏、士绅们的讥讽、嘲笑。恼羞之下，他又一次投水寻死，被官佐拉起。太平军迅速展开反攻，旋克武汉三镇。曾国藩退守南昌，当时江西有五十多个州县均被太平军所控制，曾国藩处在太平军的重重包围之中，成了瓮中之鳖。此时假若太平军一鼓作气攻取南昌，生擒活捉曾国藩易如反掌。可惜太平天国当时并未将捉拿曾国藩作为自己最重要的战略目标，而是忙于四处攻城掠地。不久，石达开奉命率军解天京之围。曾国藩因此获得了一条生路。太平军此次失机，无疑是一次重大失误。
到1856年上半年，除北伐战争受挫外，太平军取得重大胜利。通过西征，在长江中下游控制了从武昌、九江、安庆到镇江等沿江重要城市，安徽、江西、湖北东部、江苏部分地区也掌握在太平天国手中。在天京外围，太平军打跨了清军的江北大营和江南大营，从而达到了军事上最光辉的鼎盛时期。可惜好景不长，就在这时，太平天国领导集团内部爆发了内讧，为争权夺利而导致了严重的自相残杀。东王杨秀清企图谋反遭到杀害，所部2万多名骨干将士因韦昌辉的滥杀而倒在了血泊中。翼王石达开不满韦昌辉的滥杀、株连。
洪秀全在天京军民要求下处死韦昌辉、秦日纲。石达开被拥戴主持政务，却又遭洪秀全疑忌、排挤，愤而带兵出走，走上了分裂的道路。太平天国力量受到严重削弱。太平天国的悲剧无疑给曾国藩提供了镇压革命运动的大好时机。
威丰六年（1856年）年底，曾国潘指挥湘军趁太平天国力量削弱之机，组织反攻，再次攻取了武汉，在湖北巡抚胡林翼的支持下，建立起了巩固的后方。咸丰八年（1858年）五月，他率军占领九江。致使守卫天京门户的太平军军亨重镇安庆完全暴露在湘军的进攻面前。大敌当前，洪秀全大胆起用了青年将领陈玉成、李秀成等来挽救危局。
1895年9月，陈玉成、李秀成率军第二次大破江北大营，清军全线溃败。11月，陈玉成率部神速地包围三河城外湘军悍将李续宜部，并发动猛列攻击。李秀成也从江南率军助攻，太平军三河守军从城内杀出，里应外合，三面夹击，一举全歼李续宜所部湘军精锐6000余人。李续宜和曾国藩的弟弟曾国华，同被击毙。曾国藩不禁哀叹：“三河败后，元气大伤”因而为之减食数日。
太平军挫败了湘军的攻势，稳定了在皖、赣两省的战局。
1860年5月，李秀成与陈玉成率部再次击溃江南大营，挺进苏、浙，清朝富庶之地受到严重威胁。
但使咸丰帝更感威胁的是：此时江南清廷嫡系部队八旗绿营已被消灭殆尽，再也无力抵抗太平军的攻势。湘军虽受重创。但毕竟实力尚存。因此咸丰帝不得不把全部希望寄托在曾国藩的身上。1860年6月8日，清廷上谕加曾国藩尚书衔，署理两江总督，8月又改为实授，并任命曾国藩为钦差大臣，督办江南军务，节制大江南北水陆各军。这样，曾国藩终于大权在握，得以调动一切力量，统筹全局，展开对太平天国的全面进攻。
这时，第二次鸦片战争结束，清政府接受了侵略者强加给中国的屈辱和约，侵略者纷纷表示“愿为中国攻剿‘发逆（指清廷对太平天国将士的污称）”，中外统治者开始勾结起来了，形势对太平天国更为不利。
1860年8月，曾国藩调兵遣将，集中水陆军队8万余人，向安庆发动猛烈攻势。为了解安庆之围，太平军决定由李秀成、陈玉成率南、北两路大军，沿长江西上，合取武汉。以“围魏救赵”之计，迫敌回援。
太平军这一军事计划大出曾国藩意料之外。11月李秀成率军从苏南出发，12月到达安徽黟县。距曾国藩祁门老营仅80里。此时湘军主力已全部被调至皖北，祁门老营兵力十分单薄。祁门位于群山之中，地形如釜底，太平军如果大力进攻，曾国藩势必无路可逃。据说曾国藩也自度必死，写好了遗书，帐悬佩刀，随时做好了自杀的准备，其幕府中不少人也开始自谋出路，准备逃命。然而，李秀成判断失误，居然没有决定拿下祁门，趁机端掉曾国藩的祁门老营，而率军绕过祁门，从徽州经浙江仍然回到江西去了。曾国藩又一次得以绝处逢生。
李秀成军队中途折回江西，陈玉成率军攻打武汉，又因外国侵略者的军舰阻挠而未奏效。太平军合取武汉以解安庆之围的军事计划流产了。不得已，陈玉成率部回援安庆，在安庆外围同湘军展开包围与反包围的殊死决战。这样，曾国藩死死咬住安庆不放，迫使太平军来援，以逸待劳，以静制动。他的战略图谋终于得逞了。经过双方激烈地争夺，曾国藩的九弟曾国荃所部湘军攻陷了安庆。天京屏障尽失。11月曾国藩奉旨督办苏、浙、皖、赣四省军务。次年6月，太平军后期优秀将领英王陈玉成因叛徒出卖，死在湘军屠刀之下。
湘军攻陷安庆后，曾国藩即移营坐镇安庆指挥。他派兵分三路向太平天国发起进攻：由曾国荃主力进围天京；左宗棠率军进取浙江；李鸿章另组建淮军保守上海并进攻江苏南部地区。曾国藩考虑到天京城池深广险固，一时难以突破，且太平军在江浙一带尚有一定势力，为了避免陷于太平军的反包围，重蹈三河覆辙，他命令曾国荃军队对天京围而不攻，隔断天京城与江浙地区太平军的联系，坐待左宗棠、李鸿章两军扫清江浙，然后再由曾国荃率主力攻克天京，一举成功。
曾国藩这一计划的确可以称得上是老谋深算。这时，洪秀全晚年暮气已深，迷信太甚，听不进李秀成提出的“让城别走，机动发展”的正确意见，一意死守天京，并幻想有天父相助。
太平军战士的战斗力也已大不如昔了。同治元年（1862年）十月，李秀成、李世贤率部20余万人猛攻驻扎在雨花台的曾国荃军队。此时曾国荃所部湘军仅3万余人，且正值疾疫流行。士卒多病。曾国荃根据曾国藩“缩营自保”的战术，深沟高垒，坚守顽抗达四十六天之久，太平军始终未能攻破湘军营垒，后因军粮不继而被迫撤军。至此，太平军突破湘军天京之围的军事行动以失败而告终，再也无力发动第二次攻势了。
同治元年（1862年）至三年（1864年），左宗棠在英法侵略军的协助下，攻下杭州，控制了整个浙江。同治二年（1863年）至同治三年（1864年），李鸿章在戈登“常胜军”的支援下，连克无锡、苏州、常州，控制了上海和苏南。天京已成为一座孤城，完全陷于了清军的重重包围之中。1864年6月3日，洪秀全病死。为了独吞战胜的果实，7月19日，曾国荃督部疯狂进攻，天京城破。湘军进入天京后，实行了野蛮屠杀和抢掠，“秦淮河尸首如麻”。忠王李秀成被俘，在写完几万言的供词后，即被曾国藩杀害灭口，以掩盖湘军在天京大肆抢掠的罪行。不久幼天王和洪仁王干在江西被捕杀。
曾国藩挽救清朝统治，镇压太平天国运动的梦想终于实现了。
湘军与太平军作战共达12年之久。湘军由初战失败到最后胜利，其间绝不是一帆风顺的。曾国藩本人也几经危机．险些丢掉性命。
即使在政坛上，曾国藩也远非一帆风顺。尽管他本人对清政府一直忠心耿耿，但清廷和满洲贵族对他却始终疑忌重重。清朝自满族入主中原，军政大权一向操纵在满族贵族手里。统治者对汉人实力的兴起十分警惕。咸丰四年（1854年），曾国藩率湘军攻陷武汉时，咸丰帝大为高兴，对群臣说：“想不到曾国藩一个书生，还能建此巨功大勋。”汉军大臣机祁高藻当即献媚道：曾国藩一个在籍侍郎，只是一个独夫，一个独夫在乡里居然一呼而从者万人，恐不是国家的福份。咸丰被他提醒，脸色突变。从此不敢轻易给曾国藩实权。
因此曾国藩统率湘军，长期以来只有兵部侍郎的虚衔，并无地方行政实权。因而地方州县官吏并不把他放在眼里，各省督抚大员对他更是处处掣肘，时加窘谑。曾国藩编练湘军，在征兵、筹饷、用人等方面都曾备尝艰辛。这也是影响湘军初期战斗力的一个因素。咸丰七年（1857年），曾国藩的父亲去世。曾国藩乘机带弟弟国华、国荃奔丧回籍，大有急流勇退之意。次年，太平军攻破江南、江北大营，并占领浙江、苏南等清廷重要的富裕之区。当此危难之际，江南已不再有满清嫡系军队。不得已，清廷才肯授予曾国藩实权。“辛酉政变”后，慈禧太后上台，继续重用曾国藩，授曾国藩两江总督，节制四省军政。曾国藩的一些门生故吏如左宗棠、李鸿章等人也担任要职。曾国潘因此成为清朝最大的实力派。而清朝政府的权力，也由此开始逐步由满族贵族向汉族地主阶级转移。
曾国藩饱读经史，深知“自古平江南之策，必踞上游之势，建瓴而下乃能成功。”在战略上，他先取武汉三镇以扼长江上游，解除后顾之忧，而后步入江西，取九江，克安庆，围天京，以期决胜。在他同太平军12年的作战经历中，尽管其军事屡受挫折，在政治上遭排挤，但他仍然坚持这一战略思想。简直可以称得上是败而能振，愈挫愈奋，锲而不舍。
石达开攻江西，陈玉成攻安徽，李秀成取江浙，都曾给清军造成巨大压力，但却始终不能打乱其战略部署。甚至在发生了第二次鸦片战争时，英法联军进攻北京，他的主子咸丰帝谕令他抽调湘军北援京师，他也千方百计敷衍，拒绝率军北上。而战争的进程与最终结局，正好符合了曾国藩的战略构想。
当然，曾国藩镇压太平天国的成功，还与他对外妥协退让，竭力争取外国侵略者的支持与合作有关。他认为，当时中国内部太平天国、捻军、苗民等起义日益加剧，清政府应集中力量镇压内乱，尽量与洋人相安无事，不可别开祸端。
不仅如此，他还赞成“借师助剿”。咸丰十一年（1861年），太平军深入浙东，进逼上海。曾国藩就主张借洋兵守沪城。
继而由外国侵略者组织的所谓“常胜军”、“常捷军”、“常安军，便纷纷出现于苏浙战场，联合镇压太平天国运动。
值得一提的是，曾国藩除了勾结外国侵略者“借师助剿”之外，还积极主张学习西方科技文化，仿造洋枪洋炮，并亲自参与、倡导这一活动，成为中国洋务运动的开创者之一。