曾孝穀回四川之後的境況也是非常糟糕，東南沿海受西方文明影響之深尚且演話劇沒人看呢，更別想在老牛破車的西南地區教別人吃不著穿不著的藝術了。在成都的教書情況在他的一封信裏麵有詳細的說明：“弟濫竽圖畫教授一部分，無標本，無繪具，無參考品，教師日持商務印書館《鉛筆畫》一冊，摹寫其畫於黑板，令諸生從而臨之，此一教法也。……正式之寫生教授無之，色彩論、遠近法、人體畫法、構圖學說，一皆無之，其關於藝術之種種修養方法，更無人過問。”這簡直與李叔同當時的情況成天壤之別。
經亨頤請李叔同來杭兼任杭州兩級師範美術與音樂課時，李叔同提出的條件是：每個學生都要有一架風琴，繪畫室石膏頭像、畫架不能有缺。當時學校缺錢，市場缺貨，經亨頤回複李叔同每人一架風琴實在難以辦到，李叔同的答複也幹脆得很：“你難辦到，我怕遵命。”於是經亨頤無奈，想盡一切辦法，弄到了200架大小不等的風琴，排滿禮堂四周、自修室和走廊，然而還是隻達到要求的一半。經亨頤算是盡力了。他把李叔同請到學校看這些大大小小顏色不同的風琴密密麻麻地擺著，至此李叔同答應任職。受人之托忠人之事，李叔同每周三天南京三天杭州來回奔波，辛苦得很。
然而這世上比辛苦更無奈的是壓根沒有辛苦的機會，曾孝穀就是這樣。
曾孝穀回國的時候帶了一位日本妻子，後來生下一個女孩名世琛。後來，曾孝穀遣日妻回國，自己留在成都撫養女兒。他甚至都不知道該怎麽疼這個生逢亂世從小無母的女兒，十多歲的時候還背著她走路。孝穀先生後來又娶了繼室，繼室帶來了前夫的兒子女兒。他們的生活不算寬裕，曾孝穀為了一些租金，把自己住的獨院的廂房也給租出去了。成都的老畫家屈義林先生回憶，有次在小店裏用餐，碰見孝穀先生也在店裏過午，他為孝穀君付了一些費用，後來曾孝穀送了他一把工筆桃花折扇，題詩有雲：“桃花扇底風流事，都付毫端遣寂寥。”孝穀先生1937年去世的時候甚至無錢下葬，屈義林先生送了曾家一些安葬費。
曾孝穀去世後，歐陽予倩到成都去找孝穀先生的獨女曾世琛。孝穀先生的繼室指著自己的女兒說，她就是曾孝穀的女兒。歐陽予倩卻搖頭說，他在曾孝穀給他的信裏見過照片，這不是他的女兒。後來歐陽予倩就走了，他最終沒能見到孝穀君的獨女。由此可知孝穀先生的獨女與繼母在一起過得並不如意。世琛老人直到晚年都不能原諒，提起孝穀先生的繼室總說，那不是繼室，那是姨太太。
他的一生就是這麽不盡如人意，想踐行自己的話劇觀念卻碰上了文明新戲的時代，想好好地教繪畫卻連石膏模型都沒有，隻能把畫畫在黑板上。他的身後事也不怎麽盡如人意，無錢下葬，到了如今甚至沒多少人知道他了。
凡人的生活就是這麽讓人喪氣，胸懷抱負的人總是彈鋏而歌的多些，提攜玉龍為君死的少些。林山腴悼曾孝穀的挽聯雲：“杜甫一生逢亂世，鄭虔三絕少知音！”世間的機遇沒有那麽慷慨地把每個有準備的人都給砸一遍，世間的伯樂也不會盡職盡責地把千裏馬找得一個不剩。很多話拿來自勵，當作微薄生活的精神饋贈還可以，拿來當事實看，就真不盡如此了。浮於水麵的光鮮固然是好的，我們看不到的情感與遭遇往往才是生活的本來麵孔。
曾孝穀一生不如意又逢國破如此，大不知國家如何，小不知幼女何托。好在他的獨女世琛老人走過了那些年月得以安享晚年，可惜孝穀君不知道身後的事情。
下雨的時候，他就在日本的旅館裏唱中國歌，那是二十多年前的事情了。他去世的時候準會想起那些個他年夜雨獨傷神的時候。