曹家被抄家的第二年，即雍正六年（1728 年）的秋天，禁不住新任江寧織造隋赫德的再三催逼與驅趕，曹雪芹陪著祖母、母親和嬸娘，以及嬸娘的兒子曹震，丫鬟錦兒、秋月、夏雲等，帶著僅有的一些衣物行李，終於灑淚告別江寧，登程北上了。
這回被遣返北京，走的是漫漫水路。從江寧水西門外秦淮河邊上船，循江而東。船兒在滾滾東流的江水裏行進，搖晃顛簸。曹雪芹不免心事浩渺，時時湧起被抄家的餘悸。
船要行到瓜州渡口，再轉入大運河逆水北上。沿途所見，金山的寶塔，揚州的瘦西湖，都是曹雪芹曾經遊曆流連過的舊地，如今物是人非，再沒有當年的心境了。
這次出行不是出外探親，更不是隨父輩家人升遷赴任，而是被抄了家，攆出了世居的江寧，怎能不叫人觸景傷懷、悵惘悲切呢？何況父親曹頫尚待罪京中，審察未結，此一去命運如何，恐怕是凶多吉少了！
曹雪芹立在船頭，望著漸行漸遠的石頭城，無端吟誦出唐代詩人杜牧的《泊秦淮》來：
煙籠寒水月籠沙，夜泊秦淮近酒家。
商女不知亡國恨，隔江猶唱**。
他覺得這首詩很符合他此刻的心境，雖然他此刻有的隻不過是亡家之恨。皇上將曹家召回北京，是有來由的。因為曹雪芹的曾祖曹璽出任第一任江寧織造，就是從京城派去的，曹家在京中原有舊宅。
曹雪芹一行回京城以後，才弄清楚父親曹頫因“騷擾驛站”
案獲罪，現正“枷號”在押。
所謂的“騷擾驛站”案，就是有人告發曹頫於雍正四年（1726年）的秋天，奉命押送江寧、蘇州、杭州三處織造的龍衣進京，在途經山東長清縣等地方時，向當地官員索取夫馬、程儀、騾價等銀兩超過規定，並引起了很大的影響。
且不必說這個事實到底如何，即使確有這等小小的揩油行為，在當時天下烏鴉一般黑的腐敗官場裏，豈不隻是小事嗎？
不值得大驚小怪。但是，欲加之罪，何患無辭，為了窮治異己，“莫須有”三字，足以置人於死地。
另一宗案子，是曹頫還牽進所謂奸黨。上麵曾查到曹頫間接替雍正皇帝的死敵皇子胤禵寄存過一對鍍金獅子。好在後經進一步調查，並沒有發現曹頫卷入過什麽陰謀勾當，曹家不過是皇室的包衣奴隸，似也興不起多大風浪，因此就不再追究。
曹頫於雍正七年（1729 年）總算是又一回沾了浩**天恩，被釋放了出來。
曹家在京有兩處住所，被抄家後留給他們的是崇文門外蒜市口老宅十七間半和家仆六人。這就是曹雪芹一家老小初回北京後的落腳地方，可謂很是寒酸。
後來又發還了早年曹璽居住過的名叫“芷園”的一處老屋，地址在內城東南角泡子河附近，即現今東城區建國門內大街北貢院一帶。
那裏庭院清幽，屋宇寬敞，有鵲玉軒、春帆齋、懸香閣等雅名別致的建築，曹寅在詩集裏多有吟詠。曹雪芹有時翻讀祖父的《楝亭詩鈔》，依詩覓蹤，心裏發思昔日的幽情，自然會生出許多感喟，於是作詩：
小院清陰合，長渠細溜穿。
西窗荷葉大如盤，煙雨尋常作畫看。
盡管如今的芷園已經沒有了昔日的勃勃生機，然而，畢竟見物思人，勾引出“詩中有畫，畫中有詩”的興味來，曹雪芹還是喜歡上了這一處地方。
更使他感到快慰的是，這裏也有祖父遺留的相當豐富的藏書，一如江寧西園裏的書庫。有了這些精神食糧，他覺得生活不那麽淒苦和鬱悶了。
曹家在遷回北京以後，隨著時間的推移，雍正皇帝的權勢越來越鞏固，政治迫害至少在表麵上稍稍有所放鬆，被抄家的壓力減緩了不少。曹家的幾支重要宗族姻親，有的減了刑，有的複了職，還有的連得晉升。
雍正九年（1731 年），曹寅的妹夫傅鼐由被貶謫的地方召還，恢複了職銜，又入宮侍起居了。訥爾蘇之子、曹雪芹的姑表兄平郡王福彭，於雍正十年任鑲藍旗滿洲都統，次年得以在軍機處行走，開始參與朝廷的機要事情處理了，繼而又被提升為定邊的大將軍。
這些人事變動，對曹家是有利的，骨肉至親，或明或暗總會給予一些照應的。尤其是福彭，曹雪芹的祖母李氏是他的外祖母，李氏健在之日，他對曹家處境上給予保護，生活上予以關照，自是分內的事。
再者，曹頫的族兄曹頎和堂伯父曹宜，在前次抄家之禍中並沒有受到株連，仍然算是京中的殷實富戶。
曹頎在宮內任侍衛，一直得到雍正皇帝的寵信，曾屢次獲得賞賜禦書“福”字。曹宜則在雍正十一年（1733 年）晉升為正三品大員，內務府正白旗護軍參領。這對曹頫一門，至少在感情上會是一種安慰和依傍。如果抄家的案由特別嚴重的話，這些同宗均在九族之列，是很難幸免的。