华东野战军在豫东战后经过了一个多月的整训补充，8月10日提出下一步作战的三个方案，一是在豫皖苏地区作战，以歼灭第5军为主要目标；二是集中主力攻占济南；三是攻济打援同时进行。粟裕倾向于第三方案。首先，攻占济南可使华东野战军解除南进的后顾之忧，有利于中原决战的顺利进行；其次，济南已是孤城，虽然国民党军部署有重兵，但内外隔绝，士气低落，只要集中兵力，不难一鼓而下；再次，国民党援军离济南在数百公里开外，前进需时，便于部署阻击。粟裕的提议得到了中共中央的同意。8月12日，中共中央军委电示：“攻城打援分工协作，以达既攻克济南，又歼灭一部援敌之目的。”根据国民党军的部署情况，粟裕决定以山东兵团司令员许世友指挥所部担任攻城任务；集中华东野战军主力担任打援任务，并以津浦路方向为重点，在兖州、滕县及其以东地区集结了7个纵队（包括中原野战军1个纵队），另以2个纵队位于鲁西南金乡、城武地区，准备阻击商丘、砀山方向的援军，1个纵队为预备队。8月20日，华东野战军召开前委扩大会议，决定：“以攻济为主要目的，并求歼援敌之一部；部署上，以足够兵力攻城，以主力打援。"28日，军委复电，指示：“依情况发展，如援敌进得慢，而攻城进展顺利，又有内应条件，则可考虑增加攻城兵力，先克城，后打援；如援敌进得快，则应以全力先打援，后攻城。"9月2日，粟裕发出作战预备命令。