一天，王安石派谢景温把苏轼请来，要与他面对面地做一次“深谈”。王安石怒责苏轼说：“你站在司马光一边，指斥新法，是何居心？”苏轼一听，火往上冒，反问道：“你这话从何说起？”王安石说：“仁宗在时，你主张改革时弊，反对因循守旧，是何等坚决，现在我行新法，你为什么要伙同司马光来反对我？”苏轼怒道：“你口口声声说我同司马光站在一起，可知我也反对司马光的泥古不化？你不审时度势，反倒急功好利，贸然推行新法，必遭天下人之拒。”就这样，两人的谈话破裂了。
不久，王安石新党中的重要成员谢景温上书诬告苏轼，说他扶丧返川时，利用官船贩运私盐。后虽经查无此事，但苏轼已厌恶了朝廷的党争，想到外地去任地方官。这时，新党正想排斥异己就把他贬到了杭州，任杭州通判。
苏轼在杭州、徐州辗转数年，兴水利，救水灾，为民做了许多好事。元丰二年（公元1079年），苏轼又从徐州迁至湖州。这时，朝廷里的斗争也很激烈。王安石提拔起来的一伙人，钩心斗角，相互倾轧。熙宁八年（公元1075年）二月，王安石被神宗复用，任他为宰相，吕惠卿多年的蓄谋化为泡影，为了当宰相，吕惠卿竟把他和王安石的私人信件交给了神宗。吕惠卿本是靠阿附王安石才当上副宰相的，因而，两人的来往信件很多。在王安石写给吕惠卿的信件中，有的用了“无使上知”的字样，神宗一见，觉得王安石在搞阴谋诡计，十分恼怒，就罢了他的宰相职务，命其永远不得返朝。这样一来，过去曾经支持过王安石变法的“新进勇锐”之人吕惠卿、李定、舒亶等人就独霸了朝权。