唐军行至单于府北面，天色将晚于此安营扎寨，四周壕沟全部挖好，裴行俭却下令移驻崇冈。唐军将士认为军队已安营，不应该惊扰，裴行俭却催促唐军赶快转移。当夜暴雨降临，原本营地积水一丈多深，唐军将士们无不叹服。唐军与突厥军于黑山（今内蒙古巴林右旗小罕山）交战，裴行俭统帅唐军连战连捷，杀伤敌军不计其数；突厥部将杀死可汗阿史那泥熟匐，带其首级前来投降；接着唐军擒获突厥首领阿史那奉职，突厥余部败走依狼山。裴行俭班师回朝后，突厥首领阿史那伏念自称可汗，与阿史德温傅联合再次起兵，召集突厥余部。次年，裴行俭再次统兵出征突厥，统兵驻扎于代州（今山西忻州）的陉口（今山西雁门道），巧施反间计使阿史那伏念与阿史德温傅互相猜忌。 阿史那伏念将妻儿与辎重留在金牙山，统帅轻骑兵偷袭右武卫将军曹怀舜；裴行俭派遣部将何迦密从通漠道进军，部将程务挺从石地道偷袭金牙山。阿史那伏念与右武卫将军曹怀舜签订合约后返回金牙山，发现妻儿与辎重全部被擒，军中将士也沾染疾病，于是统兵向北逃去。裴行俭派遣副总管刘敬同与程务挺统兵追杀，阿史那伏念请求捉拿阿史德温傅以自救，但仍旧犹豫不决，认为唐军距离遥远，便疏于防范；唐军将领刘敬同率军偷袭，阿史那伏念狼狈逃走，然后抓获阿史德温傅，派人向裴行俭请降。裴行俭没有泄露此事，派人给阿史那伏念送去密信，数日后，唐军营寨外烟尘滚滚，裴行俭派遣使者前去慰劳，阿史那伏念擒获阿史德温傅前来投降，由此彻底荡平东突厥余部。高宗李治派遣户部尚书崔知悌慰劳唐军，侍中裴炎嫉妒裴行俭的战功，对其战功没有上报高宗李治，并斩杀投降的阿史那伏念；裴行俭不认可杀降的做法，因此称病退休，高宗李治册封其为闻喜县公。