乾道二年，迁户部郎官、主管左曹，总领淮东军马钱粮。会大军仓给粮，径乘小舆往察之，给米不如数，捕吏寘于理。初，代者以乏兴罢，交承，为缗钱仅二十万，明年奏计乃四倍，且以其赢献诸朝。帝嘉之。拜司农少卿，进直龙图阁、江西转运兼权知江州。
时朝廷还岳飞家赀产多在九江，岁久业数易主，吏缘为奸。彦直搜剔隐匿，尽还岳氏。复为司农少卿，总领湖北、京西军马钱粮，寻兼发运副使。会时相不乐，密启换武，授利州观察使、知襄阳府，充京西南路安抚使。
七年，授鄂州驻札御前诸军都统制。条奏军中六事，乞备器械、增战马、革滥赏、厉奇功、选勇略、充亲随等，朝廷多从之。先是，军中骑兵多不能步战，彦直命骑士被甲徒行，日六十里，虽统制官亦令以身帅之，人人习于劳苦，驰骋如飞。事闻，诏令三衙、江上诸军仿行之。
八年，丐归文班，乃授左中奉大夫，充敷文阁待制、知台州。丐祠养亲，提举佑神观、奉朝请。进对言："顷自岳飞为帅，身居鄂渚，遥领荆襄，田师中继之，始分鄂渚为二军，乞复旧。"又乞并京西、湖北转运为一司，分官置司襄阳，可一事体，帝善之。迁刑部侍郎。
明年，兼工部侍郎，同列议：大辟三鞫之弗承，宜令以众证就刑，欲修立为令。彦直持不可，白丞相梁克家曰："若是，则善类被诬，必多冤狱。且笞杖之刑，犹引伏方决，况人命至重乎？"议卒格。以议夺吴名世改正过名不当，降两官。
会当遣使于金，在廷相顾莫肯先，帝亲择以往，闻命慨然就道。方入境，金使蒲察问接国书事，论难往复数十，蒲察理屈，因笑曰："尚书能力为主。"既至，几罹祸者数，守节不屈，金卒礼遣之，帝嘉叹。迁吏部侍郎，寻权工部尚书，复中大夫，改工部尚书兼知临安府。方控辞，以言罢，提举太平兴国宫，寻提举佑神观、奉朝请。
寻知湿州，首捕巨猾王永年穷治之，杖徙他州。奏免民间积逋，以郡余财代输之，然以累欠内帑坊场钱不发，镌一官。海寇出没大洋劫掠，势甚张，彦直授将领土豪等方略，不旬日，生禽贼首，海道为清。枢密奏功，进敷文阁学士，以弟彦质为两浙转运判官，引嫌易泉府。丐祠奉亲，差提举佑神观，仍奉朝请，特令佩鱼，示异数也。
入对，乞搜访靖康以来死节之士，以劝忠义。又上荐举乞选人已经关升、实历六考、无赃私罪犯者，杂试以经术法律，限其员额，定其高下，俾孤寒者得以自达，定为改官之制。又乞令州郡守臣任满日，开具本州实在财赋数目，具公移与交代者，并达台省，庶可核实，以戢奸弊，帝悉嘉纳。
淳熙十年夏旱，应诏言，迩者滥刑，为致旱之由。明年，入对，论三衙皆所以拱扈宸居，而司马乃远在数百里外，乞令归司。久之，再为户部尚书。会岁旱，乞广籴为先备。又乞追贬部曲曾诬陷岳飞者，以慰忠魂。以言降充敷文阁学士。帝追感世忠元勋，遣使谕彦直，且谓彦直有才力，言者诬之。彦直感泣奏谢。寻提举万寿观，有疾，帝赐之药。进显谟阁学士、提举万寿观。
尝摭宋朝事，分为类目，名《水心镜》，为书百六十七卷。礼部尚书尤袤修国史，白于朝，下取是书以进，光宗览之，称善。进龙图阁学士、提举万寿观，转光禄大夫致仕。卒，特赠开府仪同三司，赐银绢九百，爵至蕲春郡公。
论曰：古人有言："天下安，注意相；天下危，注意将。"宋靖康、建炎之际，天下安危之机也，勇略忠义如韩世忠而为将，是天以资宋之兴复也。方兀术渡江，惟世忠与之对阵，以闲暇示之。及刘豫废，中原人心动摇，世忠请乘时进兵，此机何可失也？高宗惟奸桧之言是听，使世忠不得尽展其才，和议成而宋事去矣。暮年退居行都，口不言兵，部曲旧将，不与相见，盖惩岳飞之事也。昔汉文帝思颇、牧于前代，宋有世忠而不善用，惜哉！