1861年4月底、5月初，就是鹹豐十一年三月底，太平天國侍王李世賢（1834至1865年，廣西藤縣人）率部由江西玉山進入浙境，這是太平軍四人浙江中規模最大的一次。5月，李世賢率軍進克金華府城，此後倚此為重要據點，建立侍王府。接著，攻克武義、蘭溪、永康。
八九月間，太平軍陸密部攻占東陽、黃呈總部進駐諸暨牌頭。
在此期間，駐嘉興的陳炳文部攻占石門、海鹽、平湖一帶，穩定嘉興外圍。9月下旬，李秀成也率部由贛人浙。
此後，太平軍兵分幾路出擊浙江全境：李世賢一支攻溫州，其右路連克遂昌、鬆陽、處州、青田，左路經給雲克仙居。台州、黃岩、太平（今溫嶺）、樂清；李秀成部將陸順德一支經桐廬、富陽攻占蕭山、紹興；李世賢部將黃呈忠、範汝增率領的軍隊攻下諸暨、臨縣後，一路經上虞、餘姚、慈溪，一路經新昌、奉化，兩路圍護，於12月9日，就是十一月初八日，進占寧波。李秀成所率的一路經桐廬。臨安攻克餘杭，進逼杭州，並用箭射諭勸降。
此時的杭波西隻存一被圍之湖城，東隻存一彈丸之海寧，清軍各路諸將紛紛退保杭州。
11月上旬，太平軍攻破城外饅頭山及望江門、峰期門、鳳山門外的清軍營地。接著，在鳳凰山、清波門一帶挖地道，又在海潮寺王鳳凰山頂沿線架木城，圍攻杭州。
經過數十天的長圍久攻，杭州城內到11月初就糧盡，一升米價值一兩銀，還無處可買。滿街饑民哀號不絕，餓殍遍地，凡草根、樹皮、水草、浮萍、舊牛皮箱等物，無不取食，餓極了的人們甚至將人屍分割煮食。
杭州城被圍缺糧之際，胡雪岩和湖州豪紳趙炳防受王有齡委派，微服冒險赴上海采運糧米和軍火。可是還沒等他們返城接濟，大局已不可支。
12月29日（十一月二十八日）上午，李秀成督令譚紹光、鄧光明、陳炳文、董容海等部，從望江、鳳山、候潮、清波四個城門扒城而人，第二次克複杭州。兩天後，又攻破不聽勸降、負隅頑抗的旗營。浙江巡撫王有齡、杭州將軍瑞昌失城自殺，署布政使阿趾、按察使寧增綸。學政張錫慶、鹽運使莊煥文、糧道退福、浙江提督饒廷選、總兵文瑞等高、中級將官幾十人均死。
再說胡雪岩從上海采辦軍需軍糧後，押著貨船，聯帆20餘艘，駛人錢塘江來。然而，他最終沒有進城，個中原委，有三種說法：
一是胡亞光《安定遺聞》，說胡雪岩的船行至江上，杭州城破已二日，他思忖事已至此，不如將糧械報效別路清軍。
二是許謠光《江目集》中的說法，許在書中有"聞杭州告陷書感"一詩；"滬速收洋米，錢江阻颶風。紳畝胡與趙，空自效公忠。"按此說法，胡雪岩、趙炳磷是遭颶風撲舟而沒能入城。
三是張蔭實吳斷《杭城辛酉紀事詩》的說法："海角雲帆動日催，香模萬科載將來。隻愁訪道重圍困，連日官軍打不開。"
據作者在詩後的按語，杭州將圍時，城內官外曾建議王有齡築博城、上壘直接江幹，以備糧道被切斷，但王有齡沒有采納。所以，胡雪岩"由海道運糧至江於，......糧至，不能衝圍而人"。這一說法與民國《杭州府誌》中"光場航海運糧兼備子藥力圖援應，由海道人錢塘江，為重圍所困，不得達遂"的記載完全一致。