有一个吉进，他见他有才学，道：“王兄，我看你肚里来得，怎守着这把锄头柄？做不官来，便做个吏。你看如今来了这此鞑官，一些民情不知，好似山牛，凭他牵鼻。告状叫准便准，叫不准便不准；问事说充军就充军，说徒罪就徒罪。都是这开门按钞、大秤分金。你怎么守死善道？”
王孟端仰天哈哈大笑道：“你看，如今做官的什样人，我去与他作吏？你说吏好，不知他讲公事谈天说地；论比较缩脑低头，得几贯枉法钱，常拼得徒流绞斩；略惹着风流罪，也不免夹打敲捶。挨挨挤挤，每与这些门子书手成群；摆摆摇摇，也同那起皂隶甲首为伍。日日捧了案卷，似草木般立在丹墀。何如我或笑、或歌、或行、或住，都得自快，这便是燕雀不知鸿鹄志了。”
后边丧了妻，也不复娶。把田产托了家奴管理，自客游钱塘。与一个钱塘卢太，字大来交好，一似兄弟一般。又连着个诗酒朋友：青田刘伯温。他常与伯温、大来，每遇时和景明，便纵酒西湖六桥之上，或时周游两峰、二竺，登高陟险，步履如飞。大来娇怯不能从，孟端笑他道：“只好做个文弱书生。”
一日，席地醉饮湖堤，见西北异云起。众人道是景云。正分了个‘夏云多奇峰’韵，要做诗。伯温道：“什么景云！这是王者气，在金陵。数年后吾当辅之。”惊得坐客面如土色，都走了去。连卢大来也道：“兄何狂□(易)如此？”也□□□(吓走了)。只有王孟端陪着他，捏住酒盅不放。伯温跳起身歌道：
云堆五彩起龙纹，下有真人自轶群，
愿借长风一相傍，定教麟阁勒奇勋。
王孟端也跳起来歌道：
胸濯清江现[木蒥]纹，壮心宁肯狎鸥群，
茫茫四字谁堪与？且让儿曹浪策勋。
两个大醉而散。
闲中两人劝他出仕,道：“兄，你看如今在这边做官的：不晓政事，一味要钱的，这是贪官；不惟要钱，又大杀戮，这是酷官；还又嫉贤妒能，妄作妄为，这是蠢官。你道得是行我的志么？丈夫遇合有时，不可躁进。”
更数年，卢大来因人荐入京，做了滦州学正。刘伯温也做了行省都事。只是伯温又为与行省丞相议论台州反贼方国珍事，丞相要招，伯温主剿。丞相得了钱，怪伯温阻挠他，劾道：“擅作威福。”囚禁，要杀他。王孟端便着家人不时过江看视。自己便往京师为他申理。
此时脱脱丞相当国。他间关到京，投书丞相道：
法戒无将，罪莫加于已著；恶深省事，威□□□□(岂贷于倒)谋？枕戈横槊，宜伸忠义之心；卧鼓弢弓，适长□□(奸顽)之志。海贼方国珍，蜂虱余蠕，疮痏微毒。揭竿□□(斥清)，疑如蚁斗床头；弄楫波涛，恰似沤漂海内。固宜减兹朝食，何意愎彼老谋？假以职衔，是叛乱作缙绅阶级，列之仕路，衣冠竟盗贼品流。欲弥乱而乱弥增，欲除贼而贼更起。况复误入敌彀，坚拒良图。都事刘基，白羽挥奇，欲尽舟中之敌；赤忱报国，巧借几前之筹。只慷慨而佐末谈，岂守阃而妄诛戮。坐以擅作威福，干法不伦；竟尔横付羁囚，有冤谁雪？楚弃范增，孤心膂将无似之；宋杀岳飞，快仇雠谅不异也！伏愿相公，秤心评事，握发下贤。谓叛贼犹赐之生全，宁幕僚混加之戮辱？不能责之剿捕，试一割于铅刀。请得放之田里，使洗愆于守剑。敢敷尘议，乞赐海涵。
书上。脱脱丞相看毕，即行文江浙丞相，释放刘伯温。又荐他做翰林承旨。王孟端道：“此处。不久，将生荆棘，□(走)狐兔，排贤嫉正，连脱公还恐不免，我缘何在此？”且往滦州探望卢大来。
只见卢大来两边相见。卢大来诉说：“此处都是一班鞑子。不省得我汉人言语，又不认得汉人文字，哪个晓尊师、重傅？况且南人不服水土，一妻已是病亡，剩下两个小女，无人抚养。我也不久图南回，所苦又是盘费俱无。方悔仕路之难。”
王孟端道：“你今日才得知么？比如你是个穷教职，人虽不忌你的才，却轻你甘清受淡，把一个豪杰肝肠，英雄的胸次都磨坏了。你还有志气，熬不过来，求归。有那些熬不过，便去干求这些门生，或是需索这些门生。勒拜见、要节礼，琐琐碎碎，成何光景？又如刘伯温，有志得展，人又忌他的才。本是为国家陈大计，反说他多事，反说他贪功，这个脏肮之身，可堪得么？我如今去便遨游五岳、三山，做个放人。归只饮酒做诗，做了废士什要紧？五斗折腰，把这笑与陶渊明笑。兄且宁耐□□□(安目下呵)遍走齐鲁诸山，再还钱塘，探望伯温。”就别了卢大来。大来不胜凄怆。
他走登州，看海市；登泰山，□(登)南天门，过东、西二天门，摩秦无字碑；踞日观，观日出，□□(倚秦)观望陕西；越观望会稽；上丈人、莲花诸峰，□□□□(石经、桃花)诸峪；过黄□(岘)、雁飞众岭；入白云、水廉、黄花、□□□□(各洞，盥漱)、玉女、王母、白龙各池，又憩五大夫松下，□□□(听风声)。然后走阙里，拜孔庙，遨游广陵、金陵、姑苏，半载方到家。