时荧惑守南斗，上乃废西州旧馆，使子尚移居东城以厌之。怀文曰：“天道示 变，宜应之以德。今虽空西州，恐无益也。”不从，而西州竟废矣。大明二年，迁 尚书吏部郎。时朝议欲依古制置王畿，扬州移治会稽，犹以星变故也。怀文曰： “周制封畿，汉置司隶，各因时宜，非存相反，安民宁国，其揆一也。苟民心所安， 天亦从之，未必改今追古，乃致平壹。神州旧壤，历代相承，异于边州，或罢或置， 既物情不说，容亏化本。”又不从。三年，子尚移镇会稽，迁抚军长史，行府州事。 时囚系甚多，动经年月，怀文到任，讯五郡九百三十六狱，众咸称平。
入为侍中，宠待隆密，将以为会稽，其事不行。竟陵王诞据广陵反，及城陷， 士庶皆裸身鞭面，然后加刑，聚所杀人首于石头南岸，谓之髑髅山。怀文陈其不可， 上不纳。扬州移会稽，上忿浙江东人情不和，欲贬其劳禄，唯西州旧人不改。怀文 曰：“扬州徒治，既乖民情，一州两格，尤失大体。臣谓不宜有异。”上又不从。
怀文与颜竣、周朗素善，竣以失旨见诛，朗亦以忤意得罪，上谓怀文曰：“竣 若知我杀之，亦当不敢如此。”怀文默然。尝以岁夕与谢庄、王景文、颜师伯被敕 入省，未及进，景文因言次称竣、朗人才之美，怀文与相酬和，师伯后因语次白上， 叙景文等此言。怀文屡经犯忤，至此上倍不说。上又坏诸郡士族，以充将吏，并不 服役，至悉逃亡，加以严制不能禁。乃改用军法，得便斩之，莫不奔窜山湖，聚为 盗贼。怀文又以为言。斋库上绢，年调钜万匹，绵亦称此。期限严峻，民间买绢一 匹，至二三千，绵一两亦三四百，贫者卖妻兒，甚者或自缢死。怀文具陈民困，由 是绵绢薄有所减，俄复旧。子尚诸皇子皆置邸舍，逐什一之利，为患遍天下。怀文 又言之曰：“列肆贩卖，古人所非，故卜式明不雨之由，弘羊受致旱之责。若以用 度不充，顿止为难者，故宜量加减省。”不听。
孝建以来，抑黜诸弟，广陵平后，复欲更峻其科。怀文曰：“汉明不使其子比 光武之子，前史以为美谈。陛下既明管、蔡之诛，愿崇唐、卫之寄。”及海陵王休 茂诛，欲遂前议，太宰江夏王义恭探得密旨，先发议端，怀文固谓不可，由是得息。
时游幸无度，太后及六宫常乘副车在后，怀文与王景文每陈不宜亟出。后同从 坐松树下，风雨甚骤。景文曰：“卿可以言矣。”怀文曰：“独言无系，宜相与陈 之。”江智渊卧草侧，亦谓言之为善。俄而被召俱入雉场，怀文曰：“风雨如此， 非圣躬所宜冒。”景文又曰：“怀文所启宜从。”智渊未及有言，上方注弩，作色 曰：“卿欲效颜竣邪？何以恆知人事。”又曰：“颜竣小子，恨不得鞭其面！”上 每宴集，在坐者咸令沈醉，怀文素不饮酒，又不好戏调，上谓故欲异己。谢庄尝诫 怀文曰：“卿每与人异，亦何可久。”怀文曰：“吾少来如此，岂可一朝而变。非 欲异物，性所得耳。”
五年，乃出为晋安王子勋征虏长史、广陵太守。明年，坐朝正，事毕，被遣还 北，以女病求申。临辞，又乞停三日，讫犹不去。为有司所纠，免官，禁锢十年， 既被免，买宅欲还东。上大怒，收付廷尉，赐死，时年五十四。三子：淡、渊、冲。
弟怀远，为始兴王浚征北长流参军，深见亲待。坐纳王鹦鹉为妾，世祖徙之广 州，使广州刺史宗悫于南杀之。会南郡王义宣反，怀远颇闲文笔，悫起义，使造檄 书，并衔命至始兴，与始兴相沈法系论起义事。事平，悫具为陈请，由此见原；终 世祖世不得还。怀文虽亲要，屡请终不许。前废帝世，流徙者并听归本，官至武康 令。撰《南越志》及怀文文集，并传于世。
史臣曰：昔娄敬戍卒，委辂而迁帝都；冯唐老贱，片词以悟明主。素无王公卿 士之贵，非有积誉取信之资，徒以一言合旨，仰感万乘。自此山壑草莱之人，布衣 韦带之士，莫不踵阙县书，烟霏雾集。自汉至魏，此风未爽。暨于晋氏，浮伪成俗， 人怀独善，仕贵遗务。降及宋祖，思反前失，虽革薄捐华，抑扬名教，而辟聪之路 未启，采言之制不弘。至于贱隶卑臣，义合朝算，徒以事非己出，知允莫从。昔之 开之若彼，今之塞之若此，非为徐乐、严安，偏富汉世，东方、主父，独阙宋时， 盖由用与不用也。徒置乞言之旨，空下不讳之令，慕古饰情，义非侧席，文士因斯， 各存炫藻。周朗辩博之言，多切治要，而意在摛词，文实忤主。文词之为累，一至 此乎！