曹雪芹在右翼宗學的歲月是他長大成人後生活最穩定的階段，隨著一些變故發生，也行將結束了。乾隆十五年（1750 年），內務府對右翼宗學實行改組，不但人事方麵要進行調整，校址也將遷到宣武門內絨線胡同新址。
曹雪芹與敦敏、敦誠兄弟們日日剪燭快談、聯吟結社的事，終於引起了宗學的注意。試想，一個當差的內務勤雜人員，竟吸引了那麽多位學生在他周圍，這豈不是跟宗學的正統教育分庭抗禮嗎？再說，皇室子弟崇拜一個包衣奴才成何體統。
此外，恐怕還有一個原因，曹雪芹孤傲狂放，他的詩文談吐，確比不少有功名、有頭銜的教師高明得多，這樣下去，其他教師還會有臉麵嗎？如此種種，宗學終於借了個因由，把曹雪芹掃地出門了。
曹雪芹失業了，沒有了正當的職業，就意味著沒有飯吃了。
曹雪芹從此進入了十分困難的流浪的時期，這種處境也是他後半生的基本狀況。
他是一個公子哥兒出身的人，不懂得生計的事，也無經營之門路，甚至連衣食也不能自理，是需要人服侍的廢物。這就是他自謂的天下無能第一了。
他很快就陷入了缺衣少食、舉目無援的困境。在極端的困窘折磨著他的時候，他發出了“富貴不知樂業，貧窮難耐淒涼”
的感慨。
當時潦倒的曹雪芹，所能想出來的辦法就是求親告友，忍辱負重地求一個寄食借住之地，暫且勉強苟活。
平郡王府是第一處可以托身寄命的所在。姑母會疼憐他，收容他。平郡王府多一個半個吃閑飯的窮親戚，原算不得一回事。有些難堪之言，遭受下邊人的白眼……這些世態炎涼的人間相，曹雪芹領會了。
不幸的是，平郡王福彭早在乾隆十三年（1748 年）便去世了。福彭死後，府中情況已大不如前。曹雪芹在平郡王府勉強住了一段時間，眼看無法再住下去，隻好向姑母辭行，來到了嶽父母家。
然而他在嶽父母家的經曆並不很愉快。也許就有些像《紅樓夢》中封肅這個人對待他的女婿甄士隱那樣：今見女婿這等狼狽而來，心中便有些不樂……士隱乃讀書之人，不慣生理稼穡等事……肅每見麵時，便說些現成話，且人前人後，又怨他們不善過活，隻一味好吃懶做等語。士隱知投人不著，心中未免悔恨……這種局麵自然不能久長，曹雪芹漸漸與嶽父母家斷絕了來往。
在無親友可投時，曹雪芹不得不住在廟院裏。曹雪芹小時去過的古廟臥佛寺，那時是賞景，如今成了貧無可歸的曹雪芹的寄居處。
住處勉強有了，可是三餐沒著落。曹雪芹就靠寫小說來維持生計。可是寫小說是要用紙的，而他連紙也無錢去買。他就把舊曆書拆開，翻轉了頁子作為稿紙，每夜一個人挑燈寫作。
比寄食生涯略為強一些的，是他後來有了在富貴人家做西賓，也就是當家庭教師的機會。由於人人都知道他才學最富，罕與之匹，於是被“明相國”府請去做了西賓。
明府的主人明亮本人是通文墨的，能作小詩句，還能畫幾筆墨竹。但他對曹雪芹這樣**不拘的人，未必喜歡，再加上旁人的嫉妒和誣謗，給曹雪芹加上了一個有文無行的罪狀。不久，明亮就把曹雪芹辭掉了。
被相府辭退了的曹雪芹，聲名大壞，沒人再敢請他了。曹雪芹在京城內已無立足容身之地。曹雪芹做西賓時繼續寫人人皆知的《石頭記》，不少人愛看他的書稿，及至看不到下文時，就來催促他快些接寫下去。
曹雪芹每當此時，就對催書的人說：“你給我弄來南酒、燒鴨，我吃飽喝足，就給你續寫下一回！”