公元前１２９年，李广从卫尉调升为将军，领兵北出雁门（山西代县西北），攻打匈奴。这一次，匈奴兵多势盛，打败了汉军，活捉到李广。匈奴首领单于一向听说李广本领高强，命令部下说：“如果捉得李广，一定要活的给我送来。”匈奴兵俘虏了李广，见他受了重伤，就让他躺在一张网里，挂在并排的两匹马中间抬着走。走了十几里，李广一路装死。当他偷眼看见旁边有个年轻的匈奴人骑着一匹好马时，就突然纵身一跳，跳到那青年的马上，夺了他的弓箭，把那青年推下马去，快马加鞭，向南飞驰而去。李广一口气跑了几十里，又会合了军中的残余部队，带着他们退入雁门。当时，匈奴派了几百名骑兵追捕李广，李广一面飞跑，一面拿着那夺过来的弓箭转身射杀了不少追兵，才得以脱险。李广回到京城，朝廷将他交送执法官审问，查明李广损失的军队太多，本人又曾被敌人俘虏，论罪该判死刑。后来李广缴纳了赎罪金，才改判为削职为民。
转眼间，李广在家住了几年。他和从前颍阴侯的孙子灌强都住在兰田县南山脚下，常常到山中去打猎。一天晚上，李广带着一名随从骑马出门游玩，跟人家在田野间一起饮酒，回家的时候，路过霸陵亭。霸陵县尉喝醉了酒，吆喝着拦住了李广，不准他过去。李广的随从对他说：“这位是前任李将军。”县尉说：“就是现任的将军夜间也不准通行，何况还是从前的呢！”勒令李广在那里住了一夜。过了不久，匈奴兵又侵入边境，杀死辽西太守，打败了将军韩安国。韩安国被调到右北平（河北建昌县东），不久，因病去世。武帝又起用李广，派他接任右北平太守。