嘗有所薦，其人來謝，安世大恨，以為舉賢達能，豈有私謝邪？絕井複為通。有郎功高不調，自言，安世應曰：「君之功高，明主所知。人臣執事，何長短而自言乎！」絕不許。已而郎果遷。莫府長史遷，辭去之官，安世問以過失。長史曰：「將軍為明主股肱，而士無所進，論者以為譏。」安世曰「明主在上，賢不肖較然，臣下自修而已，何知士而薦之？」其欲匿名跡遠權勢如此。
為光祿勳，郎有醉小便殿上，主事白行法，安世曰：「何以知其不反水漿邪？如何以小過成罪！」郎淫官婢，婢兄自言，安世曰：「奴以恚怒，誣汙衣冠。」告署適奴。其隱人過失，皆此類也。
安世自見父子尊顯，懷不自安，為子延壽求出補吏，上以為北地太守。歲余，上閔安世年老，複征延壽為左曹、太僕。
初，安世兄賀幸于衛太子，太子敗，賓客皆誅，安世為賀上書，得下蠶室。後為掖庭令，而宣帝以皇曾孫收養掖庭。賀內傷太子無辜，而曾孫孤幼，所以視養拊循，恩甚密焉。及曾孫壯大，賀教書，令受《詩》，為取許妃，以家財聘之。曾孫數有征怪，語在《宣紀》。賀聞知，為安世道之，稱其材美。安世輒絕止，以為少主在上，不宜稱述曾孫。及宣帝即位，而賀已死。上謂安世曰：「掖廷令平生稱我，將軍止之，是也。」上追思賀恩，欲封其塚為恩德侯，置家塚二百家。賀有一子蚤死，無子，子安世小男彭祖。彭祖又小與上同席研書，指欲封之，先賜爵關內侯。故安世深辭賀封，又求損守塚戶數，稍減至三十戶。上曰：「吾自為掖廷令，非為將軍也。」安世乃止，不敢複言。遂下詔曰：「其為故掖廷令張賀置守塚三十家。」上自處置其裏，居塚西鬥雞翁舍南，上少時所嘗遊處也。明年，複下詔曰：「朕微眇時，故掖廷令張賀輔道朕躬，修文學經術，恩惠卓異，厥功茂焉。《詩》雲：『無言不仇，無德不報。』其封賀弟子侍中關內侯彭祖為陽都侯，賜賀諡曰陽都哀侯。」時，賀有孤孫霸，年七歲，拜為散騎、中郎將，賜爵關內侯，食邑三百戶。安世以父子封侯，在位大盛，乃辭祿。詔都內別臧張氏無名錢以百萬數。
安世尊為公侯，食邑萬戶，然身衣弋綈，夫人自紡績，家童七百人，皆有手技作事，內治產業，累織纖微，是以能殖其貨，富於大將軍光。天子甚尊憚大將軍，然內親安世，心密於光焉。
元康四年春，安世病，上疏歸侯，乞骸骨。天子報曰：「將軍年老被病，朕甚閔之。雖不能視事，折沖萬里，君先帝大臣，明于治亂，朕所不及，得數問焉，何感而上書歸衛將軍富平侯印？薄朕忘故，非所望也！願將軍強餐食，近醫藥，專精神，以輔天年。」安世複強起視事，至秋薨。天子贈印綬，送以輕車介士，諡曰敬侯。賜塋杜東，將作穿複土，起塚祠堂。子延壽嗣。
延壽已曆位九卿，既嗣侯，國在陳留，別邑在魏郡，租入歲千余萬。延壽自以身無功德，何以能久堪先人大國，數上書讓減戶邑，又因弟陽都侯彭祖口陳至誠，天子以為有讓，乃徙封平原，並一國，戶口如故，而租稅減半。薨，諡曰愛侯。子勃嗣。為散騎、諫大夫。
元帝初即位，詔列侯舉茂材，勃舉太官獻丞陳湯。湯有罪，勃坐削戶二百，會薨，故賜諡曰繆侯。後湯立功西域，世以勃為知人。子臨嗣。
臨亦謙儉，每登閣殿，常歎曰：「桑、霍為我戒，豈不厚哉！」且死，分施宗族故舊，薄葬不起墳。臨尚敬武公主。薨，子放嗣。
鴻嘉中，上欲遵武帝故事，與近臣遊宴，放以公主子開敏得幸。放取皇后弟平恩侯許嘉女，上為放供張，賜甲第，充以乘輿服飾，號為天子取婦，皇后嫁女。大官私官並供其□，兩宮使者冠蓋不絕，賞賜以千萬數。放為侍中、中郎將，監平樂屯兵，置莫府，儀比將軍。與上臥起，寵愛殊絕，常從為微行出遊，北至甘泉，南至長楊、五莋，鬥雞走馬長安中，積數年。
是時，上諸舅皆害其寵，白太后。太后以上春秋富，動作不節，甚以過放。時數有災異，議者歸咎放等。於是丞相宣、御史大夫方進奏：「放驕蹇縱恣，奢淫不制。前侍御史修等四人奉使至放家逐名捕賊，時放見在，奴從者閉門設兵弩射吏，距使者不肯內。知男子李遊君欲獻女，使樂府音監景武強求不得，使如康等之其家，賊傷三人。又以縣官事怨樂府遊徼莽，而使大奴駿等四十余人群党盛兵弩，白晝入樂府攻射官寺，縛束長吏子弟，斫破器物，宮中皆奔走伏匿。奔自髡鉗，衣赭衣，及守令史調等皆徒跣叩頭謝放，放乃止。奴從者支屬並乘權勢為暴虐，至求吏妻不得，殺其夫，或恚一人，妄殺其親屬，輒亡人放弟，不得，幸得勿治。放行輕薄，連犯大惡，有感動陰陽之咎，為臣不忠首，罪名雖顯，前蒙恩。驕逸悖理，與背畔無異，臣子之惡，莫大於是，不宜宿衛在位。臣請免放歸國，以銷眾邪之萌，厭海內之心。」
上不得已，左遷放為北地都尉。數月，複征入侍中。太后以放為言，出放為天水屬國都尉。永始、元延間，比年日蝕，故久不還放，璽書勞問不絕。居歲餘，征放歸第視母公主疾。數月，主有瘳，出放為何東都尉。上雖愛放，然上迫太后，下用大臣，故常涕泣而遣之。後複征放為侍中光祿大夫，秩中二千石。歲余，丞相方進複奏放，上不得已，免放，賜錢五百萬，遣就國。數月，成帝崩，放思慕哭泣而死。
初，安世長子千秋與霍光子禹俱為中郎將，將兵隨度遼將軍范明友擊烏桓。還，謁大將軍光，問千秋戰鬥方略，山川形勢，千秋口對兵事，畫地成圖，無所忘失。光復問禹，禹不能記，曰：「皆有文書。」光由是賢千秋，以禹為不材，歎曰：「霍氏世衰，張氏興矣！」及禹誅滅，而安世子孫相繼，自宣、元以來為侍中、中常侍、諸曹散騎、列校尉者凡十餘人。功臣之世，唯有金氏、張氏，親近寵貴，比于外戚。
放子純嗣侯，恭儉自修，明習漢家制度故事，有敬侯遺風。王莽時不失爵，建武中曆位至大司空，更封富平之別鄉為武始侯。
張湯本居杜陵，安世武、昭、宣世輒隨陵，凡三徙，複還杜陵。
贊曰：馮商稱張湯之先與留侯同祖，而司馬遷不言，故闕焉。漢興以來，侯者百數，保國持寵，未有若富平者也。湯雖酷烈，及身蒙咎，其推賢揚善，固宜有後。安世履道，滿而不溢。賀之陰德，亦有助雲。