柴荣决定在李晏口设立静安军，靠胡卢河建造营垒。因为之前贝州、冀州的边界与契丹的领土接壤，平时敌人的骑兵过河向南，一路畅通无阻，就导致北部边界的百姓无法安居乐业。柴荣根据地形制定了对策，派王彦超、韩通等人带兵在李晏口修建营垒，以兵守垒，工程尚未完成时，契丹就带兵来了，但被王彦超等人打退了。营垒建好后扼守着要害之处，从此敌人的骑兵即使来了，也不敢过河，边境人民就可以放心的耕田放牧了。
然后柴荣决定整顿寺庙，因为柴荣最近阅读各州的报告，看到不断有僧人犯法的事，这都是因为没有规章的约束，并且还有很多私自出家的僧人和尼姑，新建的寺院也在不断的增多，这种情况在穷乡僻壤更加的严重。很多流亡的叛兵都去当和尚以逃避惩罚，穷凶极恶的强盗也躲到寺院以此来隐瞒罪行。
所以想要兴盛佛教，就要恢复以前的规章制度，各道州府，凡有赐名号的寺院一切照旧，那些没有赐名号的寺院，一律关门大吉，寺院中的佛像和僧人尼姑，全迁到准许保留的寺院中去。天下各县城内，如果没有赐名号的寺院，那就在关闭的寺院中，挑选功德房最多的寺院，僧人、尼姑寺院各保留一所。并且今后不准再修建寺院，王公贵戚以及各道节度使今后也不准上奏请求创建寺院和开设戒坛。
男女如果想要出家的，应该由其父母、祖父母决定，孤儿就由同族的伯叔兄长决定，才能被允许出家。但是犯罪和受过刑罚的人，背弃父母的人，逃亡的奴婢、奸细、强盗、畏罪潜逃之人，都不准削发出家。如果有寺院擅自收容他们，他本人和师主、三纲、主事的僧尼甚至连隔壁同住的僧人，都要一起接受处罚。”
柴荣这样一搞，不久就收到了整顿的结果，保留的寺院有二千六百九十四所，废除的寺院有三万三百三十六所，登记的僧人尼姑有六万一千二百人。
整顿好了寺院，柴荣决定开始南征。以李穀为淮南道前军行营都部署，以王彦超为行营副部署，命令韩令坤等十二位将领带兵跟随。柴荣还特意发了一道诏书通知淮南各州县说要收拾他们了。
没过多久潞州上奏，在祁县打败了河东贼军。王景也上奏说：“收复了凤州还抓获了节度使王环”。
李穀接着上奏说：“先锋都指挥使白延遇在来远镇打败了淮南贼军，又在寿州城下打败了淮南贼军二千人，还在山口镇打败了淮南贼军一千多人”。
当时王景还把抓到的凤州节度使王环送到了京城，柴荣不仅当场释放了王环，还送衣服送马，最后还封王环做了右骁卫将军。