可时间不长，杨国忠随着地位的上升、他的权力欲不断膨胀，不甘心再寄人篱下，要做人上人，开始凯觎李林甫手中的相权了。
就李林甫来说，当初拉拔杨国忠，意在打倒太子，保护自己，他看中杨国忠有靠山，但误认为他没有什么能耐，只能充当打手而已。通过杨国忠对一系列冤案的处理，他觉得原来的看法错了，这个人不简单，尤其在施展阴谋诡计方面，其狠毒绝不亚于自己。
“他也挺会琢磨人。”李林甫这样说。他喜欢把玩弄或施展阴谋称作“琢磨”。根据长期官场斗争经验，他意识到杨国忠的危险，特别是杨国忠现正步步高升，威权日重，已经成为自己的直接威胁，没办法，还得伺机铲除他。
真是强中自有强中手，杨国忠初时党附李林甫，只是想把他一块作为向上爬的垫脚石。现在自己羽毛渐丰，李林甫的存在不仅是不必要的，而且已成为自己向上爬、进一步扩大权力的障碍。翅膀硬了，不飞干什么？！