鹹豐十年,也就是1860年，李鴻章接到曾國藩命令，統帶淮揚水師，後來湘軍攻破了安慶，曾國藩稱其"才可大用"，這支淮揚水師便是大名鼎鼎的淮軍的水上作戰部分。
當初為了成立淮揚水師，曾國藩可謂煞費苦心。由於清朝故步自封，沒有跟上世界工業革命的腳步，不會製造洋槍洋炮的技術，隻能通過一些通商口岸和商業上的渠道與外國人進行溝通交易。所謂水師，就是水軍，若想與外國列強一爭高低，守住通商海港，就缺不了先進的炮艦，隻有火力充足才能成為與列強談判的資本。
英國是第一個經曆工業革命的國家，發現並研究出了蒸汽機的使用，利用蒸汽可以推動龐大的器械運作，遠航蒸汽炮艦便是其中的一個重大發明，大大提高了英國的海上戰鬥力，為他們遠渡重洋侵略中國提供了便利，這也是導致鴉片戰爭爆發的原因之一。
起初，淮揚水師的組建和李鴻章並無關係，隻是後來曾國藩任命他擔任淮揚水師的統帥。剛開始時，曾國藩就想建立一支係統的、正式的海上作戰部隊，首先需要槍支彈藥，其次需要購買幾艘蒸汽炮艦，隻有具備了這些才能讓水師初具規模。曾國藩把組織淮揚水師的相關事項交給了他的兒子曾紀澤處理。
對於購買遠航蒸汽炮艦，曾紀澤偏向於向美國購買。首先，美國價格給的低，而且在質量方麵有所保障，可是礙於英國對清朝的影響力和其在世界軍事科技上仍處於領先地位，曾紀澤約見了當時英國駐上海的領事，表達了準備購買炮艦的意願，領事聽後非常高興，大清朝的財富很強大，他們肯花錢，英國領事自然雙手讚成，可是當聽說清朝方麵從美國購買槍支炮彈時，英國領事露出不滿的表情。
曾紀澤為了緩和局麵，謙遜有禮地回答道："領事大人，當下正值多事之秋，我方政府國庫緊縮，考慮到英美兩方的槍炮價格，我們隻好選擇更加經濟的一方，並不是對貴國的技術沒信心，否則也不會找您購買大型的炮艦了，請您見諒，您放心，今後我們還有很多方麵可以合作。"
曾紀澤深知外國佬的實力，他們對清朝這塊傳說中遍地金磚的國度垂涎已久，倘若外國列強火力全開，大清朝定會支離破碎，遼闊的土地也會成為別人的殖民地，老百姓成為流離失所的奴隸，所以不論進口先進武器還是談判，清朝官員都不由自主地放低身段，至於平時高傲的尊嚴也全都收斂起來了，麵對列強這些猛虎，清政府仿佛一隻小貓，溫順可憐。
可是，事情沒這麽簡單就結束。英國領事貪心不減，進一步提出擴張英國租界的要求，好像非得從中國傷痕累累的身上再剜掉一塊肉，為此領事還美其名曰："擴張租界可以促進中英貿易合作，也表現出深深的誠意。"
曾紀澤聽後心生憤怒，可是他又不好發作，隻好忍氣吞聲，將這個"皮球"踢給了遠在京城的慈禧太後，他不冷不熱地回複英國領事："我隻是一介小小巡撫，無法決定領土歸屬這樣的大事，您若真有此意就去找皇上商議吧！"
英國領事眼見曾紀澤鴨子嘴硬不肯鬆口，心中惱火的同時采取了直接報複，於是在賣給曾紀澤七艘當時最先進的蒸汽炮艦時大做文章，狠狠抬高價格，先是讓江蘇衙門交付巨額定金，然後又以改善軍艦技術為由把價格硬生生提高了三成。
雖然知道這是英國人無恥的報複措施，但建立淮揚水師迫在眉睫，不得不盡數答應下來，蒸汽炮艦購買下來，卻也讓中英兩方關係變得更加僵硬緊張，兩方不歡而散。
這七艘蒸汽炮艦後來便成了淮揚水師的主要戰鬥力，再加上曾國藩從湘軍水師中調撥過來的三千水勇和四十艘舊式舢板構成了淮揚水師，曾紀澤任命黃翼升為水師提督。
但是，雖然這支水師在名義上是曾紀澤建立的，但除了蒸汽炮艦，幾乎所有兵力都和湘軍有著密切的聯係，因此淮揚水師與曾國藩、彭玉麟等人更加親近，後來曾國藩重用李鴻章，將淮揚水師的統率權交給了他，並傳授他訓練水軍的一些方法和經驗。
李鴻章將水師的領導權剛剛攫牢，沒想到一個更大的餡餅砸到了他的頭上。
鹹豐十一年，也就是1861年，曾國藩的弟弟曾國荃所率湘軍的一支，在安慶地區與太平軍經過了一場惡戰。湘軍旗開得勝，安慶複歸。安慶是重要的據點。由此，被太平天國占領的其他幾座城池被迫與金陵分割開來，成為一座一座散落的孤城。
太平天國的首都，金陵之勢日孤，處在了清兵的包圍當中。於是，清政府派重兵從兩麵包圍了金陵城。欽差大臣向榮在金陵城東郊孝陵衛，建起了江南大營。另一位欽差大臣琦善在距離金陵不遠的揚州郊外，建起了江北大營。
然而，這種大好形勢沒有持續多久，天王洪秀全就派其部將李秀成、李世賢等從城內突圍，成功摧毀了向榮的江南大營。接著又分兵幾路前進，遍擾江浙一帶。這樣一來，遍地開花的太平軍，牽製湘軍，使其無法兼顧作戰，削弱了湘軍的戰鬥力。
戰火硝煙彌漫。浙江淪陷，江蘇南部地區控製在清政府手中的僅剩下揚州和上海兩座城市。江南地區的豪紳地主，看見形勢不妙，紛紛拖家帶口，逃離故土，躲避到已經形同孤島的上海。為求得暫時的安穩，這些豪紳共同出資籌備創辦了"中外會防局"，依賴的西方雇傭軍來穩定上海的時局。
可是太平軍步步緊逼，人數有限的西方雇傭軍，已不足以應付太平軍的威脅。於是，清政府遂派湖北巡撫錢寶琛之子錢鼎銘等人前往安慶，尋求曾國藩的支援。
錢鼎銘的父親錢寶琛和曾國藩與李文安的關係一樣，都是同年進士，關係不錯，算起來錢鼎銘還要喊曾國藩一聲伯父，曾國藩最重感情，他被一把鼻涕一把淚的錢鼎銘所打動，況且錢鼎銘還撒下一記重重的魚餌，上海鄉紳富豪們答應每年籌集60萬兩白銀作為湘軍軍餉，這對糧草不足的湘軍來說簡直是雪中送炭，曾國藩當下便答應下來。
曾國藩原準備派遣其弟曾國荃帶兵前往上海駐守支援，可是曾國荃正在忙於處理攻打天京的事宜，騰不出時間，曾國藩一時間想不到合適的人選，便隻好厚下臉皮，給在家鄉照顧老母的湘軍大將陳士傑寫了書信，但一向孝順的陳士傑不願離開病重的老母親。
陳士傑是他手下的宿將、也是他的同鄉，29歲時通過拔貢，被選職為戶部七品官。1851年，即鹹豐元年投入鎮壓農民起義的鬥爭，成為鎮壓團丁的首領。鹹豐三年，加入曾國藩湘軍。以後，一直率領鄉勇平定家鄉的各種農民暴動。陳士傑平素以辦事穩健、有謀而得到曾國藩的信任。
當曾國藩將任務下達給陳士傑時，陳士傑低著頭，跪在地上，半天不吭聲。曾國藩急了，叫陳士傑說明原因。陳士傑一抬頭，早已老淚縱橫。他說："微職上有90歲的老母，萬一在戰場上丟了性命，老母是萬萬承受不了這種打擊的，因此......"
曾國藩聞言，已知道陳士傑心中的難處。看來隻有讓李鴻章去了。於是，曾國藩找到了他的門生李鴻章。兩人商議此事，李鴻章知道自己的機會來了，於是主動表達要為老師分憂解難的願望。
兩人一拍即合。後來，曾國藩向上推薦了李鴻章。這個姍姍來遲的機會，像一輛行駛在崎嶇之途的車，左右顛簸，搖搖晃晃，它路過早有準備的李鴻章。李鴻章抓住了機會，便開始著手招募兵將，籌劃組建淮軍。
李鴻章回到安徽廬州,他將要在當地參照湘軍的建製，組建一支訓練有素、戰鬥力非凡的淮軍，然後率領他的淮軍，揮師南下，痛擊長江下遊一帶氣焰囂張的太平軍，他要好好殺殺他們的銳氣，把他們統統打趴下。
這是李鴻章一直以來從未放棄的理想。如此堅定不移、忠貞不渝的理想，而今終於有機會實現。李鴻章自然還得感謝他的老師曾國藩的鼎力推薦和支持。
臨走之前，曾國藩對李鴻章又做了一番諄諄教誨。
曾國藩一直是個謹小慎微的人，為保萬無一失，他把組建湘軍時有關的營伍製度、組織紀律、武器配備、薪資糧餉等東西，悉數灌輸給了李鴻章，以備其參考使用。
"少荃，招募和訓練淮勇並不容易，也不是一朝一夕的事情，你要耐下性子好好幹。從前，你在安徽有過督辦團練的經驗，人熟地熟，也可以參考你過去的一些好的經驗嘛。現在，太平軍禍害鄉鄰、四處橫行，正當國家缺兵少將之際，你好好幹，如果幹出了成績，自然就不愁沒有出頭之日。"
"謹遵師命。"李鴻章感恩戴德，拜別了老師。
當時兩淮地區較為混亂，戰事不斷，為了自保，老百姓不得不結寨培養自己的軍隊，長時間下來，甚至超過了很多朝廷兵力，李鴻章正是看中了這裏的人力資源，便把淮軍招募兵力的主意打在了兩淮地區的老百姓身上。
1861年，西鄉團練頭目得知曾國藩擔任兩江總督，李鴻章在湘軍幕府中共事，就寫了一道文帖請知府張樹聲轉交給曾國藩，帖子中詳細地分析了安徽的形勢，並表達了投靠效忠的意願。
曾國藩閱讀後大為讚同，親筆批示"獨立江北，真祖生也"。李鴻章在兩淮地區也頗有影響力，因此很順利就招募到了不少強壯精悍的鄉兵，隻需加以規矩，輔以簡單的訓練就可在戰場上與太平軍一較高下。
通過張樹聲，李鴻章先後招募了合肥西鄉三山諸部，然後又以廬江進士劉秉璋為紐帶，與三河的廬江團練頭目潘鼎新、吳長慶取得聯係，他向劉秉璋、潘鼎新、吳長慶三人同時發出邀請，進入淮軍一起共事，由於潘鼎新和劉秉璋都曾是李文安的門生，而吳長慶的父親也和李文安是舊交，此時李鴻章振臂一呼，這三人立刻舉手呼應，答應進入淮軍編製。
1862年春節剛過，李鴻章便命令淮軍最早的四字營"樹、銘、鼎、慶"火速趕往安慶參加集訓，另外他還命令三弟李鶴章回鄉召集舊部訓練，李鶴章回到安徽合肥，將這個消息傳播開來，頓時響應聲不絕於耳，李勝、張紹棠、德模、王學懋，甚至李文安的舊部吳毓蘭、吳毓芬等人紛紛要求加入淮軍。
淮軍四字營率先來到安慶，曾國藩親自接見檢閱，他非常重視這次的軍隊建設，為了便於管理，他還認真製定營規，並從湘軍總部調來有經驗的將領和士兵輔以訓練，增強淮軍實力，甚至有好幾個營被完整地從湘軍遷到了淮軍。
他們分別是屬於湘軍的"春"字營和"濟"字營、程學啟的"開"字兩營、湖南新勇"林"字兩營以及"熊"字營和"垣"字營，其中還有兩營親兵是曾國藩送給李鴻章建立淮軍的"贈嫁之資"。
安徽人程學啟，原本是太平天國一位能征善戰的將領，因為在太平天國遭受排擠，受到了不公平的待遇，這位鐵血漢字後來索性投靠了湘軍營，成為曾國藩弟弟曾國荃的部下。
程學啟是個久經沙場、作戰經驗豐富的悍將，智勇雙全，名氣冠絕當時。程學啟領導的"開"字兩營兵力最為強盛，而且士卒大多是安徽籍，後來大名鼎鼎、流芳百世的北洋水師提督丁汝昌當時就在其中。
最終，經過編製，李鴻章組建的淮軍擁有十四個營的兵力，每營正勇505人，長夫180人，共685人。1862年2月，曾國藩在李鴻章陪同下再次前來檢閱經過集訓的14個營的精兵。
那時，淮軍6000多人的隊伍已經訓練完備。初具規模的淮軍，整整齊齊，排好了隊伍，集結於安慶城內，等待著風塵仆仆趕來的曾國藩和李鴻章，等待他們最終的檢閱。
這一刻，標誌著淮軍正式成立。李鴻章和他的老師曾國藩闊步向前，兩人麵對訓練有素、整齊劃一的淮軍隊伍，心裏充滿了自豪之感。淮軍既已建成，保衛上海的任務，自然而然落到了他們頭上。曾國藩就派李鴻章親率隊伍趕赴上海。
當時，上海的地方官紳們聽說淮軍既已練成，不日就要前來上海的大好消息後，高興得一蹦三尺高，紛紛籌措銀兩，慷慨解囊，為淮軍攢起了路費。
安慶距離上海很遠，如果走陸路，必得經過太平天國的領地--天京，也就是金陵城。這就無法避免要與太平軍形成正麵衝突。然而淮軍始建，人數尚不足萬，勢單力薄，無法跟太平軍展開激烈爭鬥。因此，要去上海，以當時的環境所迫，隻能選擇水路前往。
於是，上海地方官紳為表誠意，一共籌措了80萬兩白銀。為掩人耳目，他們雇傭了7艘英國輪船，在船上插了大英帝國的米字旗，從長江入海口出發，迅速駛往安慶，悄悄去迎接已在那兒等待了多日的淮軍將領及其6000多人的部從入滬。
輪船一共往返來回三次，終於運完了6000多人。同治元年三月三十日，李鴻章及其親率的淮軍6000多人順利抵達上海。
輪船停泊在上海碼頭。上海當地的老百姓很納悶，他們看見了一支奇怪的隊伍，尚不知是敵是友。輪船上走下來的士兵，腳穿芒鞋，衣不蔽體，頭上裹著髒兮兮的頭巾，後背上印著一個大大的"勇"字。
淮軍初到上海，因為裝扮奇特，有幾分乞丐模樣，因此得到了一個特別的稱謂--"叫花子軍"。這就是後來成為清政府主力國防軍的淮軍，當時因為人數不足萬，規模太小，尚且隻能叫作淮勇。
因為募勇有功，李鴻章在這一年迎來了事業上的一次騰飛。在淮軍抵達上海的幾天以後，他得旨署理江蘇巡撫，替下了原來的江蘇巡撫薛煥。不久以後得旨，改為實授。李鴻章順利榮升江蘇巡撫。
當時，守衛上海的外國雇傭軍叫常勝軍，也叫叫洋槍隊，他們跟太平天國的太平軍打過幾仗，試探了兩下子，全都以失敗告終，灰頭土麵地逃竄回來。常勝軍頭領華爾是美國人，來自美國的馬薩諸塞州。
那時的華爾，剛剛從中美洲的墨西哥流浪來到上海，在上海找到了自己擅長的營生。華爾招募在上海的外國人，組成了洋槍隊，希望幫助清政府鎮壓遍地四起的太平軍。
當時清政府也是病急亂投醫，實在沒有辦法，內患遍地，隻能放手讓一個隻上過幾個月軍事學校卻完全沒有多少實踐經驗的洋人為自己分一點憂，解一點難。
李鴻章親率淮軍抵達上海後，為便於管理和統一指揮、調度，在清政府命令下，華爾所率的洋槍隊，歸到了李鴻章的部下，成為淮軍的分支。在一些大的事情上，洋槍隊還得聽從李鴻章的命令。
當時的上海洋槍隊，實在看不起這支自安慶前來的"叫花子軍"。他們對李鴻章也隻是表麵服從，背地裏議論，口服心不服。及至後來，淮軍奮勇拚殺，愈戰愈勇，打得太平軍節節敗退之時，洋槍隊才開始對他們的頂頭上司李鴻章產生了由衷的佩服之意。
淮軍剛到上海時，事態比較嚴峻，太平軍已經展開了第二次大規模進攻，上海是當時最大的通商口岸、貿易集聚地，江南財富大都聚集於此。
當時的上海在行政區劃上隸屬江蘇。李鴻章很快將原來駐守上海的大清綠營兵替換成自己的淮軍，逐步對上海實施全麵而有效的控製。李鴻章帶領他的"大褲腳兵"剛到上海時，對美國人華爾率領的洋槍隊很感興趣，經常探尋這支常勝軍作戰的奧秘。
細心的李鴻章發現，洋槍隊的特點，首先是進退都排著整齊的隊列；第二，不論進攻還是防守，官兵都默不作聲，隻是快速地活動著手中的家夥，瞅準敵人，百步之外的對手會在槍響之後應聲倒地，而洋槍隊官兵自始至終一聲不吭。
這給李鴻章的印象太深刻了。他所帶領的淮軍，實踐證明是大清國內最優秀的軍隊之一，比起湘軍的文氣，淮軍更注重實效。湘軍大營中的不少將官受湘軍首領曾國藩的影響，無論是打了勝仗還是敗仗，戰後都喜歡吟幾句文縐縐的詩，這是頗有趣的現象。
可在李鴻章淮軍大營中，從將官到士兵，很少有人來這一套。平時，隻能聽到主帥的指令，拚命，流血，為的是與主帥的那份感情。衝殺之時，淮軍一律是吼聲震天，殺聲動地。曾國藩就說過，戰鬥的取勝之道，在於人心，而不是在於武器。李鴻章的淮軍在這一點上，做得尤其出色。
但自從看了華爾的洋槍隊後，李鴻章深深感受到：大清軍隊的失敗，就敗在洋槍和火炮上，而不見得是人心。他把自己的這一發現立即寫信告訴恩師曾國藩，稱隻要有了洋槍和輪船，一切敵人都不足為慮；稱這就是中國古人說的"欲先工其事，必先利其器"。
李鴻章既要保住這裏的繁榮昌盛又要抵禦擊退來勢凶猛的太平軍，著實傷透了腦筋，他一直堅持曾國藩的教導"以練兵學戰為性命根本，吏治洋務皆置後圖"，沉下心來後也確實想出不少方案，但當時被雇用來的外國雇傭兵看到淮軍的裝備後嘲笑，就連一些懇求援助的上海士紳也不抱希望，非常不看好李鴻章新成立的淮軍。可是李鴻章卻不以為然，他說道："軍貴能戰，待吾破敵懾之。"
果然，1862年下半年，在李鴻章的領導下，淮軍在虹橋、北新涇和四江口三次惡戰後大獲勝利，成功守衛了上海，也讓那些嘲笑淮軍的人閉上了嘴，對李鴻章和他的部隊刮目相看。
守護上海的戰役取得了巨大勝利，此等大捷震驚朝野，1863年2月李鴻章又兼署通商大臣，李鴻章從此逐步得到朝廷的賞識，開始了他風光的後半生。