卫伉的这个列侯爵位更多地还是象征意义高于实际意义，但却使得卫氏一门算上霍去病一共出了五位列侯，旷古绝今！卫氏三兄弟也开创了汉王朝历史上的先河，成了年龄最小的首封、非承袭列侯，将他们十七岁封侯的表兄霍去病远远地甩在了身后。霍去病英年早逝，卫伉失侯随着卫青和霍去病的崛起，卫氏外戚势力也成了汉武帝最为忌惮的对象。
因为对匈奴的作战仍在继续，汉武帝又不得不倚重卫、霍，不得已只能采取权力平衡的策略，将卫、霍并重，让二人相互牵制以维持一种微妙的权力平衡。元狩六年，霍去病英年早逝，汉武帝卫、霍相互牵制的权力布局化为泡影。自此，卫青成了汉武帝唯一的防备和忌惮对象！一年之后的元鼎元年，卫青的儿子首当其冲。卫伉因“矫制不害”失侯。
从卫伉襁褓封侯来看，彼时他不过也就十岁上下，一个十岁的孩子“矫制”，能假传什么圣旨？又有谁信？就算按一些人的说法，十岁以内算“襁褓之中”，彼时的卫伉也不超过十八岁，这已经是极限了……再加上“不害”二字，这假传圣旨根本没有造成任何后果！说到这里想必大家也都能想明白是怎么回事了——欲加之罪，何患无辞？说白了，就是汉武帝找个借口收回给卫青家的几个列侯爵位罢了！否则，“矫制”这样的重罪又怎么可能仅仅是削爵那么简单？与此同时，卫伉的两个弟弟也被汉武帝找借口削去了列侯爵位。
彼时霍去病刚刚去世，卫青还在世。汉武帝此举目的非常明确，就是给卫青上眼药！明着告诉卫青最高能摆正自己的位置，否则能够削掉卫青儿子的爵位，同样能削掉卫青的长平侯！当然，卫青也是相当聪明的一个人，处处示弱、处处隐忍，这才消除了汉武帝的疑心，免去了进一步被清洗的危险……卫青辞世，卫伉再次为侯元封五年，卫青在战战兢兢、如履薄冰中离开了人世，虽然没有遭到汉武帝清洗，但卫青晚年的日子并不好过。
但汉武帝对卫青还算是善始善终，并没有秋后算账。在卫青去世之后，汉武帝依照常例，允许卫青的一个儿子承袭长平侯爵位。这时候，本就是庶长子又与平阳公主“母子”关系不错的卫伉幸运地再次成为了列侯，承袭了卫青的长平侯爵位。但是，这个时候的卫氏家族早已不是当年的卫氏家族了，长平侯也不再是当年卫青的长平侯了……二次失侯，卫氏衰落在承袭长平侯爵位以后，卫伉几乎就是在家混日子，史籍中唯一一次提及卫伉参与“军国大事”就是太初三年与游击将军韩说一道屯兵五原。
在这次领兵之后仅仅一两年，卫伉便因为“阑入宫禁”（史载：无符籍妄入宫曰“阑”）被削去了长平侯爵位，完为城旦（史载：“完”即保留须发，城旦为刑罚名称，一种类似兵役守边塞的刑罚，为期五年）。换言之，卫伉这一次罪名还不小，是“死罪”降级处理，这才削去了爵位发配“充军”去了，而且得“充军”五年！看来老爹卫青不在了，卫伉已经不太罩得住了……由此也可见，卫氏家族再这个时候基本上已经到了近乎历史最低谷了。
