1851年(咸丰元年)1月， 洪秀全在广西桂平金田村组织起事。5月，曾国藩在刘蓉、罗泽南等人的推动下，上《敬陈圣德三端预防流弊疏》批评咸丰皇帝。咸丰帝没有读完，就愤怒地将奏折摔到了地上，立刻召见了军机大臣要定他的罪，若非祁寯藻、季芝昌等人苦苦为他求情，他很可能陷于不测之罪。曾国藩了解这一情况后，心里非常紧张，立刻对此次谏争之举上奏自责，从此再不敢对皇帝本人和朝廷的根本决策说长道短。

1852年(咸丰二年)，曾国藩因母丧在家。这时 太平天国运动已席卷半个中国，尽管清政府从全国各地调集大量八旗军、绿营官兵来对付 太平军，可是这支腐朽的武装已不堪一战。因此，清政府屡次颁发奖励 团练的命令，力图利用各地的地主武装来遏制太平军势力的发展，这就为曾国藩的 湘军的出现，提供了一个机会。

1853年(咸丰三年)，借着清政府急于寻求力量镇压太平天国的时机，他因势在其家乡湖南一带，依靠师徒、亲戚、好友等复杂的人际关系，建立了一支地方 团练，称为湘勇。8月，曾国藩获准在 衡州练兵，“凡枪炮刀锚之模式，帆樯桨橹之位置，无不躬自演试，殚竭思力” ，并派人赴 广东购买 西洋 火炮，筹建 水师。

1867年(同治六年)3月，在江南制造总局下设造船所试制船舰。同时拟设译书馆。5月，会同李鸿章将江南制造总局由虹口迁高昌庙，征地扩迁，规制大增。六月，补授体仁阁大学士。1868年(同治七年)4月，奉上谕改授为武英殿大学士。5月31日，至上海视察江南制造成总局。8月，奉命调任直隶总督。9月，江南造船厂试制的第一艘轮船驶至江宁，曾登船试航，取名“恬吉”。12月，曾国藩抵达北京，拜见慈禧太后与同治皇帝。

1870年(同治九年)， 两江总督 马新贻被平民 张汶祥刺杀于后，朝廷命曾国藩再任两江总督，前往 南京审理该案。1871年(同治十年)8月19日，挈李鸿章联衔会奏《拟选子第出洋学艺折》。九月，视察水陆各营防务、训练情况。十一月抵达上海。

1872年(同治十一年)2月27日，曾国藩领衔上奏，促请对“派遗留学生一事”尽快落实。并提出在美国设立“中国留学生事务所”，推荐 陈兰彬、 容闳为正副委员常驻 美国管理。在上海设立幼童出洋肄业局，荐举 刘翰清“总理沪局选送事宜”。3月1日，时发脚麻之症，舌蹇不能语。

3月20日，曾国藩午后在南京西花圃散步，突发脚麻， 曾纪泽扶掖回书房，端坐三刻逝世。朝廷闻讯，辍朝三日。追赠太傅，谥文正，祀京师昭忠、贤良祠。6月25日，灵柩运抵长沙。7月19日，葬于长沙南门外之金盆岭.1873年(同治十二年)12月13日，改葬于善化县(今 望城区)湘西平塘伏龙山。与夫人欧阳氏合葬。