后来，李克用的儿子李存勖终于打败了后梁，于公元923年建立了后唐政权。李存勖早就知道张全义多年替朱温置办军需品，十分恼恨，想把他全家杀掉。张全义也知道自己的处境极其危险，便准备了上千匹好马，送给李存勖的刘皇后，请她帮忙说话，自己又上表请罪，乞求哀怜，并表示愿意替他治理洛阳，李存勖觉得他还有用，就赦免了他。后来，张全义又不失时机地表示自己的忠心，李存勖许多活动的必需品都由他圆满地置备起来，弄得李存勖十分高兴。他这种善于体贴巴结的习惯竟然打动了刘皇后，要求拜他为义父。就这样，李存勖仍让他做了河南尹，还任他为中书令，封他为齐王，又做了李存勖的岳父，张全义又在新朝站稳了脚跟。后唐庄宗李存勖荒淫无耻，且不善治国，只知重用武夫和名门士族出身的人，不知重用文人和有才能的庶族出身的人，因而很快衰败下去。