1861 年 8 月，咸丰帝驾崩。年仅 6 岁的同治帝继位。11 月，慈禧发动宫廷政变，宣布垂帘听政。早在 1860 年 5 月，太平军第二次攻破江南大营之后，清军在长江下游已经失去了最后一支主力。虽说 1861 年湘军收复了上游的安庆，但由于太平军的猛烈攻势，江南的地主和豪绅纷纷逃到了上海。为了自家利益，云集上海的豪绅阶级开始设想种种办法以求自保。他们派出代表钱鼎铭等一行人，前去安庆面请曾国藩派兵援沪。钱鼎铭拿出当年春秋时期楚国贵族申包胥请求秦兵援助的招式，每日到曾国藩处痛哭，弄得曾国藩一看见他就头疼。钱鼎铭还提出，上海的豪绅愿意每月筹集军饷 60 万两给湘军。但是曾国藩考虑上海地处偏远，又恐分兵不利，所以没有答应他们的要求。钱鼎铭是个公关的良才，他利用自己的父亲是李文安同年的关系，开始转而游说李鸿章，并终于把李鸿章说动了心。李鸿章劝说曾国藩，说现在湘军军费紧张，上海豪绅肯每月给我们60万两，能帮我们很大的忙。另外保住上海，对我们也是好事，我们何必要将他们拒之门外？于是，曾国藩同意派兵入沪。曾国藩对于入沪人选进行了仔细的分析，开始，他选派自己的弟弟曾国荃。可是，曾国荃一心想拿攻克天京的首功，对上海之事根本没有兴趣。曾国藩又邀请湘军老将陈士杰出山，可是陈士杰以老母需要照顾为理由，拒绝了曾国藩。曾国藩想来想去，最后，把这个任务交给了李鸿章。
1861 年 12 月，曾国藩考虑湘军无可分之兵，于是命令李鸿章招募新兵援助上海。李鸿章想到上海人地生疏，不如直接回老家安徽招募淮勇。其实曾国藩很早之前就有建立淮军的计划，此次让李鸿章担当此任，应了天时地利人和。李鸿章有在安徽帮办团练的基础，加上在曾国藩身边多年，耳濡目染，学习到很多带兵之道，所以信心百倍，觉得自己一定能做好这件事情。
李鸿章招募淮军，首先想到的是老家合肥东乡的团练，但遗憾的是自己的旧部早已星散了。于是，他想起以前合肥西乡的一些办的不错的团练来。当时西乡三山的一些民办团练比较有名。他们分别是：周公山下的张树生、张树珊兄弟的张老圩；大潜山北的刘铭传的刘老圩；大潜山西南的唐氏兄弟的唐老圩；大潜山南的董凤高董老圩；紫蓬山的周氏兄弟的周老圩。此外还有一些官办的团练，如紫蓬山就有解先亮带领的叶志超等人。在上述团练队伍中，最能打仗的是张氏兄弟、刘铭传和周氏兄弟的三支。先此，他们三人曾效仿刘关张桃园三结义，发誓要做出一点功业来。当听说李文安的儿子李鸿章在辅佐曾国藩，张树生曾写信给曾国藩表达过豪情壮志。当时，曾国藩看完信后，对李鸿章说，此人犹如东晋的祖逖。张树生年龄较大，得过廪生的功名，是三个人中间的老大。
李鸿章在安庆招募的团练中，最早编练的就是张树生统率的树字营，刘铭传统率的铭字营。随后是周氏兄弟的盛字营和李鹤章招募的人。还有三河潘鼎新和庐江吴长庆的队伍分别被编为鼎字营、庆字营。树、铭、鼎、庆等各支队伍到达安徽安庆集合后，曾国藩提出要接见这些团练的头目。在张树生和刘铭传等十几个人来到曾国藩的大厅之后，曾国藩一直躲在屏风后面两个多小时就是不出来，暗中观察他们的反应。这些人当中，刘铭传表现的最为愤怒，一直在大骂，而张树生表现的最有耐心。曾国藩认为这两个都是不错的将才。由于招来的人马大部分是新勇，缺乏实际作战经验，人数也不多，自然不足以保护上海。于是，李鸿章又从曾国荃那里挖来了程学启的开字两营，并请求曾国藩从湘军中调拨兵力给自己。这样，淮军初具规模，有了 13 个营，共6500人。李鸿章学习曾国藩训练湘军的方式，训练淮军。
1862年4月，淮军在李鸿章的率领下，分批乘船前往上海。李鸿章从此开始了统率淮军的漫漫征程。湘军和淮军最初没有太大的区别，但是由于曾国藩、李鸿章二人性格不同，带兵策略不同，慢慢地湘军和淮军也有了很大的区别。但有一点是相同的，湘军和淮军都是以将领为中心，先立官，然后由官招兵。这样，湘军和淮军慢慢地就成了“曾家军”和“李家军”，别人根本无法指挥调遣。他们各自拥兵一方，势力惊人。
在组建淮军的过程中，由于急于求成，队伍中成份复杂。李鸿章在任命统领时，看重能力，至于他们是否出身贫寒，是否有文化，都不是很在意。他鄙弃那些空有一肚子才学而不知世事之人，也不认为出身贫贱就低人一等，他甚至敢于任用盐贩子出身的人和太平军的降将。可见，李鸿章以后形成的最根本的治世思想——“务实”——这时候就已经开始有所体现了。
点击收藏 小提示：按键盘CTRL+D也能收藏哦！