当时，匈奴的人也比较谨慎，害怕李广有援军，李广也将计就计，佯装自己是诱敌深入的饵。所以，匈奴人也不敢轻易靠近。双方僵持一夜之后，匈奴人认为此地距离汉军大本营太近，选择了撤退，李广也因此回到了城池。这件事不仅暴露了李广做事不严谨，易冲动上头的缺点，更暴露了李广治军的致命缺点。整整一天一夜的时间，城内的士兵竟然没有派兵救援李广，甚至连派个斥候出来打探消息都没有。
主将丢了，他们跟没事人一样悠闲自在，可见李广的统军能力如何。反观与李广同时代的程不识，虽然个人武力不及李广，但由他镇守的边关，匈奴人压根就不靠近。为啥，这哥们向来以治军严格为名，手底下的士兵严格遵循将令，令行禁止，匈奴人来了，根本讨不到便宜。而李广呢，很多士兵都嫌弃跟随程不识太辛苦，所以选择跟随李广，李广也以恩义结交士兵，对待手下的士兵就向亲朋好友一样。
当然，我不是说这种组织形式不好，但这种形式仅限于指挥小团对作战，带兵数量上限太低，根本无法指挥大兵团作战。也因此，李广在边疆的发展也始终郁郁不得志，不断地在北部边疆雁门、代郡、云中等地抵抗匈奴，根本无法实现从将到帅的蜕变，从而进入权力权力核心。至于封侯，那更是可望而不可及的事情了。当然，命运此时并没有放弃李广，还是给了他机会的。
公元前141年，汉景帝去世，汉武帝刘彻登基。命运又一次向李广伸出了援手。由于李广在北部边疆作战勇猛，时常率军出关，攻杀匈奴人，所以朝廷中有人举荐李广，汉武帝也提拔了李广做未央宫禁军的长官。公元129年，继马邑之谋后，汉武帝终于开启了反击匈奴的第一战。此战，作为汉帝国的试水之战，汉武帝一视同仁，分别给了卫青、李广、公孙贺、公孙敖四人一万骑兵。
然而，此战只有卫青大获全胜，公孙贺无功而返。公孙敖损失7000人马，被判处死刑，在缴纳大量赎金后，勉强保住了性命，但也被贬为庶民。至于李广，他是四路中最惨的那个，全军覆没，自己也是靠着装死才逃过一劫，侥幸捡回了一条命。回到汉朝后和公孙敖的遭遇一样，被判死刑，缴纳赎金后被贬为庶民。在被贬之后，李广的身上还发生了一件事匪夷所思的事情。
有一次，李广带人出城狩猎，结果玩到晚上才准备回家。到了霸陵亭时，霸陵尉喝阻李广，禁止夜间入城，结果李广的手下喊话说，这是前任李将军。霸陵尉反口一句话，现任将军也不行，更何况前任。如此，李广在霸陵亭外露宿了一宿。这件事之后，李广怀恨在心，时时刻刻惦记着报复严格遵循国家律法的霸陵尉。后来，由于右北平太守被匈奴杀死，汉武帝又给了李广一次机会，启用李广做了右北平太守。
