東晉時的朝廷安於統治江南，忙於爭權奪利，無心收複北方被匈奴占領的廣大地區。被占領地上的人民有家難回，苦不堪言。
祖逖和好友劉琨在司州當小吏，兩人眼看著國家內憂外患，人民流離失所，不禁為國家的前途擔憂。他們常常一起談論天下大事，立誌要擔負起拯救民族於危難之中的重任。
他們互相勉勵，決心抓緊時間，苦練本領，約定每天清晨一起起來練劍。有一次，他倆一起談論天下的形勢，一直到後半夜，兩人越說越激憤，都睡不著覺。躺了一會兒，雞就開始叫第一遍了。聽到雞叫，祖逖再也躺不住了，他對劉琨說：“聽，雞叫得多麽嘹亮啊，好像是戰場上的鼓聲一樣讓人振奮，我們起來去練劍吧！”於是兩人起來穿好衣服，來到院子當中，他們把滿腔的**，全部傾注在寶劍上，越練越有勁。
就這樣，不論盛夏嚴寒，他們每天雞叫就起來舞劍，練就了一身好武藝。
後來，祖逖向晉元帝要求北伐，元帝給了他一些給養和布匹，讓他自己招兵買馬。於是祖逖帶著人橫渡長江，他在江心用船槳打著船幫，對大家發誓：“若不收回中原，我決不再過這條江！”
祖逖在江北製造兵器，招兵買馬，很快就聚集了幾千人。經過了艱苦的戰鬥，收複了黃河以南的全部領土。