怀文少好玄理，善爲文章，爲楚昭王二妃诗，见称于世。 爲江夏王义恭东合祭酒。丁父忧，新安郡送故丰厚，奉终礼毕， 余悉班之亲戚，一无所留。文帝闻而嘉之，赐奴婢六人。服阕， 除尚书殿中郎。隐士雷次宗被征居锺山，后南还庐江。何尚之 设祖道，文义之士毕集。爲连句诗，怀文所作尤美，辞高一座。 随王诞镇襄阳，出爲后军主簿，与谘议参军谢庄共掌辞令，领 义成太守。
元嘉二十八年，诞当爲广州，欲以怀文爲安南府记室，先 除通直郎。怀文固辞南行，上不悦。弟怀远纳东阳公主养女王 鹦鹉爲妾，元凶行巫蛊，鹦鹉豫之，事泄，怀文因此失调，爲 治书侍御史。
元凶弑立，以爲中书侍郎。孝武入讨，呼之使作符檄，固 辞。劭大怒，会殷冲救得免。托疾落马，间行奔新亭，以爲竟 陵王诞骠骑录事参军、淮陵太守。时国哀未释，诞欲起内斋。 怀文以爲不可，乃止。寻转扬州中从事史。时议省录尚书，怀 文以爲非宜，上议不从。迁别驾从事史。
及江夏王义恭迁西阳王子尚爲扬州，居职如故。时荧惑守 南斗，上乃废西州旧馆，使子尚移居东城以厌之 。怀文曰 ： “天道示变，宜应之以德,今虽空西州，恐无益也。”不从，而 西州竟废。
大明二年，迁尚书吏部郎，时朝议欲依古制置立王畿，扬 州移居会稽，犹以星变故也。怀文曰：“周制封畿，汉置司隶， 各因时宜，非存相反。安人定国，其揆一也。苟人心所安，天 亦从之。未必改今追古，乃致平一。神州旧壤，历代相承，异 于边州，或置或罢。既物情不悦，容亏化本。”又不从。
三年，子尚移镇会稽。迁抚军长史，行府州事。时囚系甚 多，动经年月，怀文到任，讯五郡九百三十六狱，衆咸称平。 入爲侍中，宠待隆密。竟陵王诞据广陵反，及城陷，士庶 皆裸身鞭面然后加刑，聚所杀人首于石头南岸，谓之髑髅山。 怀文陈其不可，上不纳。
孝武尝有事圆丘，未至期而雨晦竟夜。明旦风霁，云色甚 美，帝升坛悦。怀文称庆曰：“昔汉后郊祀太一，白日重轮， 神光四烛。今陛下有事兹礼，而膏雨迎夜，清景丽朝，斯实圣 明幽感所致，臣愿与侍臣赋之。”上笑称善。
扬州移会稽，上忿浙江东人情不和，欲贬其劳禄，唯西州 旧人不改。怀文曰：“扬州徙居，既乖人情，一州两格，尤失 大体。”上不从。
怀文与顔竣、周朗素善，竣以失旨见诛，朗亦以忤意得罪。 上谓怀文曰：“竣若知我杀之，亦当不敢如此。”怀文默然。 又尝以岁夕与谢庄、王景文、顔师伯被敕入省，未及进，景文 因谈言次称竣、朗人才之美，怀文与相酬和。师伯后因语次白 上，叙景文等此言。怀文屡经犯忤，至此上倍不悦。
上又坏诸郡士族以充将吏，并不服役，至悉逃亡。加以严 制不能禁，乃改用军法，得便斩之。莫不奔窜山湖，聚爲盗贼。 怀文又以爲言。
斋库上绢年调钜万疋，绵亦称此，期限严峻。人间买绢一 疋至三二千，绵一两三四百，贫者卖妻子，甚者或自缢死。怀 文具陈人困，由是绵绢薄有所减，俄复旧。
子尚等诸皇子皆置邸舍，逐什一之利，爲患遍天下。怀文 又曰：“列肆贩卖，古人所非。卜式明不雨之由，弘羊受致旱 之责。若以用度不充，故宜量加减省。”不听。
孝建以来，抑黜诸弟，广陵平后，复欲更峻其科。怀文曰： “汉明不使其子比光武之子，前史以爲美谈。陛下既明管、蔡 之诛，愿崇唐、卫之寄。”及海陵王休茂诛，欲遂前议 。太 宰江夏王义恭探得密旨，先发议端，怀文固请不可，由是得息。
时游幸无度，太后六宫常乘副车在后。怀文与王景文每谏 不宜亟出，后因从坐松树下，风雨甚骤。景文曰：“卿可以言 矣。”怀文曰：“独言无继，宜相与陈之。”江智深卧草侧， 亦谓之善。俄而被召俱入雉场，怀文曰：“风雨如此，非圣躬 所宜。”景文又曰：“怀文所啓宜从。”智深未及有言，上方 注弩，作色曰：“卿欲效顔竣邪 ？何以恒知人事。”又曰 ： “顔竣小子，恨不得鞭其面。”
上每宴集，在坐者咸令沈醉。怀文素不饮酒，又不好戏， 上谓故欲异己。谢庄尝诫怀文曰：“卿每与人异，亦何可久。” 怀文曰：“吾少来如此，岂可一朝而变 。非欲异物，性之所 不能耳。”
五年，出爲晋安王子勋征虏长史、广陵太守。明帝坐朝正 事毕，被遣还北，以女病求申，临辞又乞停三日，讫犹不去， 爲有司所纠，免官，禁锢十年。既被免，卖宅还东。上大怒， 收付廷尉赐死。
弟怀远爲始兴王浚征北长流参军，深见亲待。坐纳王鹦鹉 爲妾，孝武徙之广州。刺史宗悫欲杀之，会南郡王义宣反，怀 远颇闲文笔，悫起义，使造檄书，并衔命至始兴，与始兴相沈 法系论起义事。事平，悫具爲陈请，由此见原。终孝武世不得 还。前废帝世归，位武康令，撰南越志，及怀文文集并传于世。 怀文三子：淡、深、冲。
冲字景绰，涉猎文义，仕宋历位抚军正佐，兼记室。及怀 文得罪被系，冲兄弟行谢，情哀貌苦，见者伤之。柳元景欲救 怀文，言于孝武曰：“沈怀文三子涂炭不可见，愿陛下速正其 罪。”帝曰：“宜急杀之，使其意分。”竟杀之。元景爲之叹 息，冲兄弟以此知名。累迁司徒录事。