常胜军起源于辽朝末年天祚皇帝时期，其初创时被称为怨军。辽朝末年，女真崛起，阿骨打领导女真族人民反抗辽朝的残暴统治，为此辽朝屡次派兵弹压。然而，辽朝军队屡战屡败，伤亡惨重。因此，天祚皇帝下令招募辽军死难将士的后裔及一些流离失所的老百姓充兵，组成了怨军。辽朝统治者企图雇佣这些人为亲人报仇雪恨，攻打女真，恰恰相反，这些雇佣军反倒变成了统治者的一个极为沉重的包袱。赡养这支军队的费用姑且不论，怨军经常打家劫舍，犯上作乱，弄得辽朝统治者非常头疼。
宣和四年(1122),朝廷根据跟金国的海上之盟约大兵压境辽边境，金朝军队在辽朝北面节节胜利，南边我军声势浩大，已兵临燕京城下。常胜军首领郭药师自知燕山府难守，于是率部投降我朝。辽朝灭亡后，按照宋金海上之盟的约定：宋金联合夹攻辽朝后，宋朝收复燕云 六州之地，燕云之地的汉族归属宋朝。契丹、吴等民族则迁徙到金朝的统辖区内。常胜军士兵均属这些民族，理应归属金朝。但在常胜军的归属问题上，朝廷和金国出现了两种截然不同的态度。
原来以为常胜军镇守辽朝涿州时，应该属于辽朝的精锐部队，其军事实力极为强大，但士兵数量有限。郭药师投降后，常胜军在朝廷的竭力扶植下，其力量迅速壮大起来。朝廷放手让郭药师在燕山地区招兵买马，因而常胜军的人数很快增加，与此同时，朝廷还将燕山府的政治、经济、军事大权毫无保留地交给了降将郭药师。虽然朝廷曾派遣王安中出任燕山府知府，但大权旁落，燕山府的实权被牢牢掌握在郭药师之手，目前看颇有尾大不掉之势。
由于朝廷对常胜军的宽容态度使常胜军更加骄横跋扈，肆无忌惮。他们在燕山地区大肆劫掠百姓财产，使燕山地区民不聊生，于是这些地区的人民对朝廷颇有意见。目前朝廷将防御燕山地区和抵抗金军入侵的希望完全寄托在常胜军身上，使河北地区的边防形势更为恶化，这对朝廷来说，无疑是致命的现实。常胜军的存在加重了朝廷的经济负担，使冗兵冗费问题更加严重。同时使河北、河东、京东地区的社会经济遭到罕见的摧残。原来朝廷计划用燕山地区富民田宅养活常胜军，但事实上目前看是不可能的，朝廷为此付出了巨大的经济代价。