虞世南又上疏曰："汉家即位之初，便营陵墓，近者十馀岁，远者五十年，方始成就。今以数月之间，而造数十年事，其於人力，亦以劳矣。汉家大郡五十万户，即日人众，未及往时，而工役与之一等，此臣所以致疑也。"
又公卿上奏，请遵遗诏，务从节俭，太宗乃令中书侍郎岑文本谓曰："朕欲一如遗诏，但臣子之心，不忍顿为俭素。如欲称朕崇厚之志，复恐百代之后，不免有废毁之忧。朕为此不能自决，任卿等平章，必令得所，勿置朕於不孝之地。"因出虞世南封事，付所司详议以闻。
司空房玄龄等议曰："谨按汉高祖长陵高九丈，光武陵高六丈，汉文、魏文并不封不树，因山为陵。窃以长陵制度，过为宏侈；二文立规，又伤矫俗。光武中兴明主，多依典故，遵为成式，实谓攸宜。伏愿仰遵顾命，俯顺礼经。"诏曰："朕既为子，卿等为臣，爱敬罔极，义犹一体，无容固陈节俭，陷朕於不义也。今便敬依来议。"於是山陵制度，颇有减省。