第二弟诹之奔关右，兄弟五人皆拘系。齐神武问云：“诹之何在？”答曰： “昔吴、蜀二国，诸葛兄弟各得尽心，况让之老母在此，君臣分定，失忠与孝，愚 夫不为。伏愿明公以诚信待物。若以不收处物，物亦安能自信？以此定霸，犹却行 而求道耳。”神武善其言，兄弟俱释。
历文襄大将军主簿，兼中书舍人。后兼散骑常侍聘梁。文襄尝入朝，让之导引， 容仪醖籍，文襄目之曰：“士礼，佳舍人也。”迁长兼中书侍郎，领舍人。齐受禅， 静帝逊居别宫，与诸臣别，让之流涕歔欷。以参掌仪注，封宁都县男。帝欲以为黄 门侍郎，或言其体重不堪趋侍，乃除清河太守。至郡未几，杨愔谓让之诸弟曰： “我与贤兄交款，企闻善政，适有人从清河来，云奸吏敛迹，盗贼清靖。期月之期， 翻更非速。”
清河有二豪吏田转贵、孙舍兴，久吏奸猾，多有侵削，因事遂胁人取财，计赃 依律不至死，让之以其乱法，杀之。时清河王岳为司州牧，遣部从事案之。侍中高 德政旧与让之不协，密奏言：“当陛下受禅之时，让之眷恋魏朝，呜咽流涕，比为 内官，情非所愿。”既而杨愔请救之，云罪不合死。文宣大怒，谓愔曰：“欲得与 裴让之同冢邪！”于是无敢言者，事奏，竟赐死于家。
让之次弟诹之，字士正。少好儒学，释褐太学博士。尝从常景借书百卷，十许 日便返。景疑其不能读，每卷策问，应答无遗。景叹曰：“应奉五行俱下，祢衡一 览便记，今复见之于裴生矣。”杨愔阖门改葬，托诹之顿作十余墓志，文皆可观。 让之、诹之及皇甫和、和弟亮，并知名于洛下。时人语曰：“诹胜于让，和不如亮。” 司空高乾致书曰：“相屈为户曹参军。”诹之复书不受署。沛王开大司马府，辟为 记室。迁鄴后，诹之留在河南。西魏领军独孤信入据金墉，以诹之为开府属，号曰 “洛阳遗彦”。信败，诹之居南山，洛州刺史王元轨召为中从事。西师忽至，寻退， 遂随西师入关。周文帝以为大行台仓曹郎中。卒，赠徐州刺史。
次谳之，字士平。七岁便勤学，早知名。累迁司徒主簿。杨愔每称叹曰：“河 东士族，京官不少，唯此家兄弟，全无乡音。”谳之虽年少，不妄交游，唯与陇西 辛术、赵郡李绘、顿丘李构、清河崔赡为忘年友。昭帝梓宫将还鄴，转仪曹郎。尤 悉历代故事，仪注、丧礼皆能裁正。为许昌太守，客旅过郡，皆出私财供给，人间 无所预。代下日，为吏人所怀。仕周，卒伊川太守。
次谋之，字士令。少有风格，邢邵每云“我裴四”。武成为开府，辟为参军， 掌书记。
次讷之，字士言。纯谨有局量。弱冠为平原公开府墨曹，掌书记，从至并州。 其母在鄴，忽得心痛，讷之是日不胜思慕，心亦惊痛，乃请急而还。当时以为孝感。 文宣践阼，幸晋阳。皇太子监国；留讷之与杜台卿并为斋帅，领东宫管记。转太子 舍人，奏中书舍人事。卫尉杜弼被其家客诬云“有怨言，诽讪时政”。并称讷之与 弼交好，亦知之。坐免官。卒，天统中追赠平州刺史。
长子曰樊，出后让之。次子矩，最知名。
矩字弘大，襁褓而孤；及长，好学，颇爱文藻，有智数。世父让之谓曰：“观 汝神识，足成才士，欲求宦达，当资干世之务。”矩由是始留情世事。仕齐，为高 平王文学。齐亡，不得调。隋文帝为定州总管，补记室，甚亲敬之。以母忧去职。 及帝作相，遣使驰召之，参相府记室事。受禅，迁给事郎，奏舍人事。伐陈之役， 领元帅记室。既破丹阳，晋王广令矩与高颎收陈图籍。
明年，奉诏巡抚岭南。未行而高智慧、汪文进等作乱，吴、越道闭。上难遣矩 行，矩请速进，上许之。行至南康，得兵数千人。时俚帅王仲宣逼广州，遣其部将 周师举图东衡州，矩与大将军鹿愿赴之。贼立九栅，屯大庾岭，共为声援。矩进击 破之。贼惧，释东衡州，据原长岭，又击败之。遂斩师举，进军自南海拔广州，仲 宣惧而溃散。矩所绥集者二十余州，又承制署渠帅为刺史县令。及还，上大悦，命 升殿劳苦之，谓高颎、杨素曰：“韦洸将二万兵，不能早度岭，每患其兵少。裴矩 以三千弊卒径至南海，有臣若此，朕亦何忧。”以功拜开府，赐爵闻喜县公，赉物 二千段。除户部侍郎，迁内吏侍郎。
时突厥强盛，都蓝可汗妻大义公主即宇文氏女，由是数为边患。后因公主与从 胡私通，长孙晟先发其事，矩请出使说都蓝，显戳宇文。上从之，竟如其言。公主 见杀后，都蓝与突利可汗构难，屡犯亭鄣。诏太平公史万岁为行军总管，出定襄道， 以矩为行军长史，破达头可汗于塞外。万岁被诛，功竟不录。上以启人可汗初附， 令矩抚慰之。还，为尚书左丞。其年，文献皇后崩，太常旧无仪注，矩与牛弘、李 百药等据齐礼参定。转吏部侍郎，名为称职。炀帝即位，营建东都，矩职修府省， 九旬功就。
时西域诸蕃多至张掖与中国交市，帝令矩掌其事。矩知帝方勤远略，诸胡至者， 矩诱令言其国俗山川险易，撰西域图记三卷，入朝奏之。其序曰：
臣闻禹定九州，导河不逾积石。秦兼六国，设防止于临洮。故知西胡杂种，僻 居遐裔，礼教之所不及，书典之所罕传。自汉氏兴基，开拓河右，始称名号者有四 十六国。其后分立，乃五十五王。仍置校尉、都护，以存招抚。然叛服不恆，屡经 征战。后汉之世，频废此官；虽大宛以来，略知户数，而诸国山川，未有名目。至 如姓氏、风土、服章、物产，全无纂录，世所弗闻。复以春秋递谢，年代久远，兼 并诛讨，互有兴亡。或地是故邦，改从今号；或人非旧类，同袭昔名。兼复部人交 错，封疆移改，戎狄音殊，事难穷验。于阗之北，葱岭以东，考于前史，三十余国。 其后更相屠灭，仅有十存，自余沦没，扫地俱尽，空有丘墟，不可记识。
皇上应天育物，无隔华夷；率土黔黎，莫不慕化。风行所及，日入以来，职贡 皆通，无远不至。臣既因抚纳，监知关市，寻讨书籍，访采胡人。或有所疑，即详 众口，依其本国服饰仪形，王及庶人各显容止，即丹青摸写为《西图域记》，共成 三卷，合三十五国。仍别造地图，穷其要害，从西顷以去，北海之南，纵横所互， 将二万里。谅由富商大贾，周游经涉，故诸国之事，罔不偏知。复有幽荒远地，卒 访难晓，不可凭虚，是以致阙。而二汉相踵，西域为传，户人数十，即称国王，徒 有名号，有乖其实。今者所编，皆余千户，利尽西海，多产珍异。见山居之属，非 有国名及部落小者，多亦不载。
发自燉煌，至于西海，凡为三道，各有襟带。北道从伊吾经蒲类海、铁勒部、 突厥可汗庭，度北流河水、至拂菻国，达于西海。其中道从高昌、焉耆、龟兹、疏 勒，度葱岭，又经汗、苏勒沙那国、康国、曹国、何国、大小安国、穆国，至波 斯，达于西海。其南道从鄯善、于阗、硃俱波、喝盘陀，度葱岭，又经护密、吐火 罗、挹騑、忛延、漕国，至北婆罗门，达于西海。其三道诸国，亦各自有路，南北 交通。其东安国、南婆罗门国等，并随其所往，诸处得达。故知伊吾、高昌、鄯善 并西域之门户也，总凑燉煌，是其咽喉之地。
以国家威德，将士骁雄，泛濛汜而扬旌，越昆仑而跃马，易如反掌，何往不至。 但突厥、吐谷浑分领羌胡之国，为其拥遏，故朝贡不通。今并因商人，密送诚款， 引领翘首，愿为臣妾。圣情含养，泽及普天，服而抚之，务在安辑。故皇华遣使， 弗动兵车，诸蕃既从，突厥可灭。混一戎夏，其在兹乎。不有所记，无以表威化之 远也。
帝大悦，赐物五百段，每日引矩至御坐，亲问西方之事。矩盛言胡中多诸宝物， 吐谷浑易可并吞。帝由是甘心，将通西域，西夷经略，咸以委之。
后迁黄门侍郎，复令往张掖，引致西蕃，至者十余国。大业三年，帝有事于恆 岳，咸来助祭。帝将巡河右，复令矩往敦煌，矩遣使说高昌王麹伯雅及伊吾吐屯设 等，啖以厚利，导之使入朝。及帝西巡，次燕支山。高昌王、伊吾设等及西蕃胡二 十七国谒于道左，皆令佩金玉，被锦罽，焚香奏乐，歌舞喧噪。复令张掖、武威士 女盛饰纵观，填咽周互数十里，以示中国之盛。帝见而大悦。竟破吐谷浑，拓地数 千里。并遣兵戍之，每岁委输巨亿万计。诸蕃惧慑，朝贡相续。帝谓矩有绥怀略， 进位银青光禄大夫。