李广不向卫青告辞就启程了，心中非常恼怒地前往军部，领兵与赵食其合兵后从东路出发。军队没有向导，有时迷路，结果落在卫青之后，卫青与单于交战，单于逃跑，卫青没能活捉单于只好收兵。卫青南行渡过沙漠，遇到李广与赵食其领。李广谒见大将军后回自己军中。

卫青派长史送给李广干粮和酒，顺便向李广、赵食其询问迷路情况，卫青要给汉武帝上书报告军情。李广没有回答。卫青派长史急令李广幕府人员前去受审对质。

李广说：“校尉们无罪，是我迷失道路，我现亲自到大将军幕府去受审对质。”到大将军幕府，李广对他的部下说：“我从少年起与匈奴作战七十多次，如今有幸随大将军出征同单于军队交战，可是大将军又调我的部队走迂回绕远的路，偏偏迷路，难道不是天意吗?况且我已六十多岁，毕竟不能再受那些刀笔吏的污辱。”于是就拔刀自刎了。李广军中将士都为之痛哭。百姓听到这个消息，不论认识李广否，不论老少都为之落泪。

李广死时，他长子李当户、次子李椒都已经过世，仅留下幼子李敢。李敢当时是霍去病的部下，因立有战功被封为关内侯，听说父亲死讯，认为是卫青陷害李广，因此闹事打伤卫青。卫青本人并不追问李敢，但卫青的外甥霍去病却不能接受部属殴打自己舅舅，后来借甘泉宫狩猎的机会射杀了李敢。

李广的孙子李陵，少年因才能出众而受到汉武帝赏识。后来不愿随李广利部下效命，自荐以五千步兵出击匈奴，但是身陷重围兵败投降。汉武帝得知李陵叛降后族灭李家，李氏从此衰败，陇西人士皆以李氏为耻。