任凭檀道济竭力镇压，也是无法约束。而且郭子仪、庞德、曹文诏率领的数万曹军骑兵衔尾追击，让檀道济不敢停下来整顿军纪，只能任由那些汉人离去。到了上谷境内之时，已经仅剩七八千人。
面对着漫山遍野的曹军步卒，王保保弃城而走，向上谷仓惶撤退。下场与檀道济如出一辙，许多汉人刚刚出城，就四散溃逃，扔掉甲胄回老家去了。甚至有百夫长带着成编制的小股队伍奔渔阳方向投奔唐军去了，因为他们深知做了汉奸之后曹操肯定容不下他们，只剩下投靠李唐一条生路。
王保保率军在前面逃窜，十余万曹军在后面五六里的地方咬着尾巴穷追不舍，让王保保也无力约束溃兵，既然军心已散，只能任他们溃逃而去。
“陛下，大势已去，放弃上谷，退回草原吧？”慕容恪一瘸一拐的劝谏铁木真。
铁木真站在上谷城头，望着不远处冲天的尘埃，只能叹息一声：“罢了，罢了，留得青山在不怕没柴烧，退兵回草原。待将来时机成熟之时，再卷土重来！”
随着铁木真一声令下，城里的三万守军紧急撤出了上谷城。作为他们屯马的城池，除了两万五千骑兵之外，尚有三万多匹备用战马，也从上谷城池中一起赶了出来。