惲既失爵位，家居治產業，起室宅，以財自娛。歲餘，其友人安定太守西河孫會宗，知略士也，與惲書諫戒之，為言大臣廢退，當闔門惶懼，為可憐之意，不當治產業，通賓客，有稱譽。惲，宰相子，少顯朝廷，一朝以晻昧，語言見廢，內懷不服，報會宗書曰：
惲材朽行穢，文質無所底，幸賴先人餘業得備宿衛，遭遇時變以獲爵位，終非其任，卒與禍會。足下哀其愚，蒙賜書，教督以所不及，殷勤甚厚。然竊恨足下不深惟其終始，而猥隨俗之毀譽也。言鄙陋之愚心，若逆指而文過，默而息乎，恐違孔氏各言爾志之義，故敢略陳其愚，唯君子察焉！
惲家方隆盛時，乘朱輪者十人，位在列卿，爵為通侯，總領從官，與聞政事，曾不能以此時有所建明，以宣德化，又不能與群僚同心並力，陪輔朝廷之遺忘，已負竊位素餐之責久矣。懷祿貪勢，不能自退，遭遇變故，橫被口語，身幽北闕，妻子滿獄。當此之時，自以夷滅不足以塞責，豈意得全首領，復奉先人之丘墓乎？
伏惟聖主之恩，不可勝量。君子游道，樂以忘憂；小人全軀，說以忘罪。竊自思念，過已大矣，行已虧矣，長為農夫以沒世矣。是故身率妻子，戮力耕桑，灌園治產，以給公上，不意當復用此為譏議也。夫人情所不能止者，聖人弗禁，故君父至尊親，送其終也，有時而既。臣之得罪，已三年矣。田家作苦，歲時伏臘，亨羊炰羔，斗酒自勞。家本秦也，能為秦聲。婦，趙女也，雅善鼓瑟。奴婢歌者數人，酒後耳熱，仰天拊缶而呼烏烏。其詩曰：「田彼南山，蕪穢不治，種一頃豆，落而為萁。人生行樂耳，須富貴何時！」是日也，拂衣而喜，奮褎低卬，頓足起舞，誠淫荒無度，不知其不可也。
惲幸有餘祿，方糴賤販貴，逐什一之利，此賈豎之事，汙辱之處，惲親行之。下流之人，眾毀所歸，不寒而慄。雖雅知惲者，猶隨風而靡，尚何稱譽之有！董生不云乎？「明明求仁義，常恐不能化民者，卿大夫意也；明明求財利，常恐困乏者，庶人之事也。」故道不同，不相為謀。今子尚安得以卿大夫之制而責僕哉！
夫西河魏土，文侯所興，有段干木、田子方之遺風，漂然皆有節概，知去就之分。頃者，足下離舊土，臨安定，安定山谷之間，昆戎舊壤，子弟貪鄙，豈習俗之移人哉？於今乃睹子之志矣。方當盛漢之隆，願勉旃，毋多談。