武来归明年，上官桀、子安与桑弘羊及燕王、盖主谋反。武子男元与安有谋，坐死。
初，桀、安与大将军霍光争权，数疏光过失予燕王，令上书告之。又言苏武使匈奴二十年不降，还乃为典属国，大将军长史无功劳，为搜粟都尉，光颛权自恣。及燕王等反诛，穷治党与，武素与桀、弘羊有旧，数为燕王所讼，子又在谋中，廷尉奏请逮捕武。霍光寝其奏，免武官。
数年，昭帝崩，武以故二千石与计谋立宣帝，赐爵关内侯，食邑三百户。久之，卫将军张安世荐武明习故事，奉使不辱命，先帝以为遗言。宣帝即时召武待诏宦者署，数进见，复为右曹典属国。以武著节老臣，命朝朔望，号称祭酒，甚优宠之。
武所得赏赐，尽以施予昆弟故人，家不余财。皇后父平恩侯、帝舅平昌侯、乐昌侯、车骑将军韩增、丞相魏相、御史大夫丙吉皆敬重武。武年老，子前坐事死，上闵之，问左右：“武在匈奴久，岂有子乎？”武因平恩侯自白：“前发匈奴时，胡妇适产一子通国，有声问来，愿因使者致金帛赎之。”上许焉。后通国随使者至，上以为郎。又以武弟子为右曹。武年八十余，神爵二年病卒。
甘露三年，单于始入朝。上思股肱之美，乃图画其人于麒麟阁，法其形貌，署其官爵、姓名。唯霍光不名，曰大司马大将军博陆侯姓霍氏，次曰卫将军富平侯张安世，次曰车骑将军龙额侯韩增，次曰后将军营平侯赵充国，次曰丞相高平侯魏相，次曰丞相博阳侯丙吉，次曰御史大夫建平侯杜延年，次曰宗正阳城侯刘德，次曰少府梁丘贺，次曰太子太傅萧望之，次曰典属国苏武。皆有功德，知名当世，是以表而扬之，明著中兴辅佐，列于方叔、召虎、仲山甫焉。凡十一人，皆有传。自丞相黄霸、廷尉于定国、大司农朱邑、京兆尹张敞、右扶风尹翁归及儒者夏侯胜等，皆以善终，著名宣帝之世，然不得列于名臣之图，以此知其选矣。
赞曰：李将军恂恂如鄙人，口不能出辞，及死之日，天下知与不知皆为流涕，彼其中心诚信于士大夫也。谚曰：“桃李不言，下自成蹊。”此言虽小，可以喻大。然三代之将，道家所忌，自广至陵，遂亡其宗，哀哉！孔子称“志士仁人，有杀身以成仁，无求生以害仁”，“使于四方，不辱君命”，苏武有之矣。