刘知远从小就不喜欢活动，非常的严肃而且很少说话，长大之后开始给李嗣源打工，做了他的部下。
李嗣源与梁人在德胜对阵时，石敬瑭被梁军袭击，战马铠甲的皮条断了，刘知远就把自己骑的马给了石敬瑭，自己则骑上石敬瑭断了铠甲的马，并且还不慌不忙地留在后面断后，石敬瑭因此很感激刘知远，认为刘知远很勇敢。
李嗣源登上帝位时，石敬瑭担任北京留守，因为刘知远从前有救自己的功劳，所以请李嗣源把刘知远调到自己这里（奏移麾下），担任牙门都校。
李从厚跑路时，在路上碰到了石敬瑭，于是一起到了卫州，在邮亭里休息。当时李从厚身边的人想谋害石敬瑭，刘知远悄悄派卫士石敢在袖子里藏着铁锤站在石敬瑭后面，发生叛乱时，石敢拥着石敬瑭躲进一间屋子里，用大木头将门顶住，石敢不久就被人杀害了，刘知远及时带人杀死了李从厚身边的人，才使石敬瑭免于被杀。
契丹国王灭了晋朝之后，下令改晋国为大辽国，同月，刘知远派王峻拿降表到了契丹，契丹国王立刻褒扬嘉奖，称刘知远为儿子。又赐给刘知远一根木拐。按照契丹的礼仪，只有尊贵的大臣才能得到这种赏赐。王峻拿着木拐，契丹人看见他都纷纷避让。当王峻回到太原后，刘知远才知道契丹政治混乱，于是想开始商量建国立号的事（乃议建号焉）。
河东行军司马张彦威与他的文武将吏等人，认为中原没有主人，并且刘知远的威望越来越高，所以写信劝刘知远登上帝位，但刘知远谦让没有答应，此后众官又多次上书，一个接一个地恳切请求，刘知远才答应了。
刘知远在太原宫受册封，登上帝位，国号称“汉”。刘知远因为晋朝皇室全都被契丹迁到了北方，非常的愤慨惋惜。刘知远准备率领兵马奔赴土门，想要到寿阳迎回石重贵，但听说石重贵已经走了，刘知远只好带着人回去。
契丹听说刘知远已经建国了，于是马上下令剥夺了刘知远的官职爵位。
刘知远派史弘肇带兵讨伐代州，因为代州刺史王晖背叛晋朝归顺契丹。史弘肇一鼓作气攻下了代州，将王晖斩首示众。
当时晋州留后刘在明去拜见契丹，安排骆从朗管事，刘知远派张晏洪、辛处明等人去通知晋州，刘知远已经称帝了，但骆从朗却将张晏洪等人囚禁在了晋州城。晋州大将药可俦在官府杀死了骆从朗，州民们也一起协力杀死了赵熙，三军将领请张晏洪做留后，辛处明做都监。然后张晏洪上奏，晋州发生了叛乱，骆从朗和赵熙被人杀死，所以晋州最后也归了刘知远。
当时契丹以本族人朗五做了澶州节度使，但契丹人生性贪婪暴虐，官吏、百姓都苦不堪言。王琼是澶州水运什长，于是勾结了夏津强盗首领张乙，两人加起来有一千多人，半夜搞突然袭击，从南城杀死守卫将领，弄断了用船搭成的浮桥，攻进了北城，朗五只能据守牙城来抵抗他们。不过几天后契丹的救兵赶到，王琼战败而死。
延州留后高允权派判官李彬上奏刘知远说：“本道节度使周密被三军将士驱逐，以高允权担任留后一职，所以上表请求归顺。丹州都指挥使高彦珣杀死契丹任命的刺史，占据州城也归顺了刘知远。
契丹国王杀害了相州留后梁晖。梁晖年轻时曾做过强盗，碰上契丹人攻入汴州，梁晖就收集人马，先攻入了磁州，而且马上派使者和刘知远联系。梁晖得知相州有一些兵器，而且又没人防守，于是趁着晚上与他的人马翻越城墙攻入相州，杀死了几十个契丹人，夺取武器兵甲数上万件，因此占据了相州城。
契丹国王先派相州节度使高唐英带兵征讨他。不久之后契丹国王亲自来到城下，第四天就攻陷了相州城，于是屠杀了全城。第二天，契丹国王就回到北方去了，命令高唐英镇守相州，高唐英检查城中活下的人口时，仅得到男男女女共七百人而已。等到了王继弘镇守相州，向刘知远报告在城中得到的白骨就有十多万副，契丹人杀害了多少百姓，从这些白骨的数量就可以知道。
河阳留后武行德率领全城归顺刘知远。当初，契丹国王准备用船只装着武器库的兵甲器械，想搬到北方，于是派奉国都虞候武行德的部队护送，还拨给军士一千多人带着家属们一起上路。到河阴时，军士发生叛乱夺了兵器，杀了契丹的监察使者，众人都推选武行德做首领，与河阴驻军会合，河阳伪节度使崔廷勋带兵抵抗武行德，被打败了，武行德马上追击败兵，崔廷勋直接弃城跑路，武行德因此占据了河阳城。
当时的伪西京留守刘晞也放弃了洛阳，直接跑了。洛阳巡检使方太自己暂时掌管留守事务。不久，方太就被武行德杀死了。
崔廷勋率领契丹人在河阳攻打武行德，武行德出战却被崔廷勋打败。武行德虽然吃了败仗，却仍然被刘知远封为河阳节度使。