会郑锦入漳、泉，耿继祚方攻建昌溃营遁。上知闽中有变，命王撤温州之围取福建，之芳乃建议直捣仙霞关，曰：“进取之路，不在温、处而在衢。虽九玉死守河西难猝破，然其南江山，西则常山，皆间道可袭。我兵一进，使彼首尾受敌，即河西之垒不能独完。”王至衢州，从之芳议。遂进兵大溪滩，复江山，九玉走，欲别取道夺仙霞。诸将受之芳密檄，急据关夹击，其将金应虎等穷蹙降。
王师下福建，临行，之芳启曰：“王但饬诸军勿虏掠，即长驱入，兵可不血刃也。”未几精忠降，温、处贼皆溃散。精忠所署置总兵马鹏、汪文生、陈山，将军程凤等犹踞玉山、铅山、弋阳、德兴，之芳请会剿。时吴三桂兵寇吉安、袁州，江西兵不能东，乃独遣兵复玉山，文生遁；自白沙关趋德兴，擒鹏；遣游击郭守金等复铅山、兴安、弋阳、贵溪诸县。上嘉之芳剿贼邻省有功，加兵部尚书衔。
十六年，遣参将蒋懋勋等败贼玉山椒岩，山降。先是文生、凤皆乞降，而凤病死，其妻王玉贞籍所属六万八千馀人就抚，而精忠将林尔瞻犹拥众石垅。之芳令懋勋等扼要隘，自以数十骑入寨，往抚慰之，尔瞻乃降。十七年，击贼子午口，克八仙、老鼠诸洞，贼寨悉平。郑锦寇濒海，遣将严守御，败之於庙岭湖，又败之於温州。锦将詹天枢诣世凯降。十八年，檄定海总兵牟大寅斩锦将童耀等孝顺洋，夺获船只、器械以还。
之芳练世故，沉几善谋。康亲王师将行，问之芳：“所策固万全乎？”之芳曰：“军已发，犹豫则士气沮。”乃诣王曰：“虏在吾目中久，明日捷书至矣！”前军捷书果至，杰书大喜，以为神。在杭州，与将军图喇约为兄弟。精忠既叛，语图喇勿纵兵暴民。有满兵犯法，之芳缚诣图喇，以军法治之，一军肃然。浙乱平，疏请蠲被兵州县额赋，安辑流亡，甚有威惠。所拔偏裨，皆累功至方镇，而之芳以督臣不叙。久之，追论大溪滩破贼功，授拖沙喇哈番，准袭一次。
入为兵部尚书，调吏部。二十六年，授文华殿大学士。二十七年，御史郭琇疏劾大学士明珠，谓内阁票拟，皆听明珠指挥，上既罢明珠，并命之芳休致。三十三年，卒於家，谥文襄。
之芳既卒，圣祖思其功，尝谕群臣曰：“人能效命，即为勇士。耿精忠叛，时之芳为总督，虽不谙骑射，执刀立船首，率众突前破敌。彼时同出征者，还京皆称其勇。今承平久，善射，能约束士卒，尚不乏人。若屡经战阵者，甚难得也！”世宗命立贤良祠，谕曰：“德若汤斌、功若之芳者，祀之。”乾隆间，录勋臣后，命予恩骑尉，世袭。
论曰：图海始阻撤藩之议，及其鹰扬西土，绥靖秦陇，卒收底川之绩。川军入滇，遂竟全功。之芳力扼三衢，敌虽东略，终不能得志仙霞。下闽之功，与有劳焉。虽曰遭时盘错，抑亦圣祖驭材之效哉？并践纶辅，易名曰襄。呜呼，伟矣！