金国拿下了燕京。由于燕京要还给北宋，只有张觉所在的平州，以及附近的营州和滦州是金人一直不肯放弃的。这三个州还在辽国将领手中，面平州又是三州中最重要的一个，金国人决定招降张觉。当时，江国的大臣左企码、康公司等人都已经投降了金人，他们都认识张觉。阿骨打询问张觉的状况，康公强认为张觉虽然狂妄，但缺乏智谋，不如首先把他稳住，然后慢慢处理。如果直接对他用兵，是逼迫他立刻造反。于是金国任命张觉继续担任平州节度使。
康公粥求自前住平州劝说，张觉决定投靠金国。在辽国尚存时，燕京是国家的南京。但后来燕京还给了北宋，所以金国就将平州设为南京，张觉作为南京主官，也被授予了象征宰相的同中书门下平章事的职位。
宜和五年(公元1123年)五月，金国皇帝完颜阿骨打去世，继承帝位的是他的弟弟完颜吴乞买。吴乞买即位后，将辽国的大臣都送回到原辽国境内的南京(平州)，其中有四位最主要的大臣分别是左司马，曹勇义、虞仲文和康公司。张觉却已经决定叛离金国。在当时，残辽势力的发展恰好进入一个小高潮期。残辽势力主要分布在西北和东北两个方向。在西北，天祥帝又在大漠之南聚集力量开始进行军事骚扰，而在东北，辽国大将萧幹跑到了奚人的地盘上自称皇帝，随时想打回燕山以南。五月十四，张觉试图与残辽势力联合，于是将四位大臣抓起来，宜判十大罪状后将他们杀掉，举起了叛乱的大旗。营平滦三州纷纷脱离了金国的控制。
张觉的叛乱给刚刚生效的宋金和约带来了两个麻烦。第一个麻烦是，当初金国将许多燕京地区的老百姓带走，重新安置在了平州地区，张觉下令这些老百姓可以根据个人意愿回到他们的家乡。百姓们于是拖家带口重新踏上了归家之路，回到燕京的家后却发现，他们的土地都已经分配给了郭药师的常胜军，成了军屯土地。没有了土地，老百姓有的就近安置，有的跑到了更远处，脱离了官方的户籍。老百姓不知道，宋金和约有关于追踪因战争逃散的难民的协议，不管是哪一方的人民逃到对方的领地，对方都有义务将其送回。按照协议，这些从平州逃回的百姓都必须送还给金国，可困难的是，由于缺乏必要的统计方法，北宋政府并不知道有多少人回来了，也不知道他们在哪儿。
第二个麻烦是关于张觉本人的。张觉叛离金国后发现，残辽势力并没有像他想象的那么强大，如果不想被金国击败，必须投靠更大的靠山。张觉派出了几位说客前往燕京长官王安中处，试图说服北宋接纳他。如果北宋接纳张觉，就意味着彻底背离了宋金和约。和约中规定，双方的疆界不得变更，也不得接纳对方的叛将。