却说武帝元狩三年秋，匈奴伊稚斜单于起兵复仇，分为两路，每路各有胡骑数万，攻入右北平、定襄两处，杀掠人民千余人而去。单于得胜回国，料想汉兵必定来攻，遂与赵信计议。
赵信兵败降胡，单于因其在汉年久，熟知中国情形，甚加宠任，封之为自次王，以其姐嫁之，又筑城使之居住。赵信便教单于度过沙漠迁居北方，勿近边塞引诱汉兵深入，乘其疲困击之，必能取胜。单于听从其计，便将人畜悉数移至漠北居住。武帝闻单于移居之计，便召卫青、霍去病等议道：“赵信为单于设计北迁，以为我兵不能远度沙漠。我今大发士卒多备粮食，剿灭匈奴在此一举。”元狩四年春，武帝乃命大将军卫青、骠骑将军霍去病，各率马兵五万、步兵数十万、公私之马十四万匹，分道前进。武帝见霍去病胆略过于卫青，便选取敢战深入之兵给霍去病，命霍去病兵出代郡，卫青兵出定襄，约期度过沙漠共击匈奴。二将所领人马数目相同，惟霍去病部下却无裨将，遂用李广之子李敢等为大校，以当裨将。李广见武帝大举伐胡，却不命其为将，心中不悦，遂自向武帝请行。武帝道：“将军年纪已老，不可再临战阵。”李广一再固请，武帝沉吟良久方才应允，遂拜李广为前将军，与左将军公孙贺、右将军赵食其、后将军曹襄俱属于大将军卫青。卫青与霍去病领命，带同将士择定吉期出发。