1948年11月3日，刘峙在徐州“剿总”司令部召开军长以上将领会议，作战厅长郭汝瑰作了战情分析，认为解放军可能会全力攻打黄百韬的第7兵团。会后，黄百韬向刘峙建议：以徐州为中心，集结各兵团对东、西、南、北4个方向备战，实行深沟高垒，各兵团互相衔接的乌龟战术。
但是刘峙这个总司令毫无主见，只是说要先请示蒋介石。在沈阳解放后（11月2日） ， 蒋介石一度决定放弃徐州，坚守海州地区。

蒋介石在召见驻海州的第九绥靖区司令官李延年时说：“中原将有大战，有些城市据点可能主动放弃，这是战略需要，唯独青岛和连云港是不会放弃的，青岛和连云港是转换战略的两把钥匙，我相信你，把这两把钥匙交给你，望好自为之。”为了加强海州的兵力，蒋介石还承诺，第7兵团的第100军将由徐州开连云港，归第九绥靖区建制。

李延年回到海州后，加强部署和检查防御设施，他不怕守海州而害怕放弃海州。海州即使被三面进攻，李延年也觉得无所畏惧，因为万不得已时可以从海上逃走，如果放弃海州，李延年认为十之八九是要把部队拉到徐州，那反而有在途中被解放军歼灭的危险。

但是，蒋介石变卦实在是太快了，到了11月4日，他又突然改变原定作战计划，决定放弃海州，在徐州和解放军决战。蒋介石让第九绥靖区的44军西调徐州（划入第七兵团），让黄伯韬兵团掩护第九绥靖区部队西撤完毕后再向徐州集结。

黄伯韬兵团一开始是打算从11月5日就开始向徐州集结，但由于蒋介石给了掩护第九绥靖区部队西撤的任务，而李延年直到5日夜才接到撤退的命令，6日才下令部队撤退，黄伯韬只好率部队在新安镇等待。

蒋介石的这一番操作，可以说是害苦了了第7兵团。本来，黄百韬在11月5日上午10时接到命令，要第7兵团于6日凌晨开始撤至运河以西，接替李弥第13兵团防线。但是，到了当晚8时半，黄百韬又接到命令，行动推迟，原地待命以接应李延年的第九绥靖区部队，待第9绥靖区部队渡过运河后，7兵团部队再西移。

黄伯韬忠实地执行蒋介石的命令，焦急地等待第九绥靖区部队，但李弥却并没有等待黄伯韬，而是率13兵团向徐州撤退了。在这个时间，一向谨慎的黄伯韬犯了一个极大的错误：对西撤途中通过运河的困难不曾预料，未预先架设桥梁。

6日黄昏，黄伯韬对手下将领介绍军情时，悲愤地说：“共军的部署就是想先打我们第七兵团，现在兵团战略位置非常不利，在新安镇打则孤军无援，如西进，到不了徐州就会被包围。而且徐州工兵团到现在也没有前来架设运河桥梁，我已命第63军从窑湾镇强渡，其余各军明早西行，转进太迟了。要掩护第44军从海州西撤，不能贻误戎机，否则全兵团将被围，陷全局于不利。国防部作战计划一再变更，处处被动，正是将帅无才，累死三军。这次会战如垮，什么都输光了，将来怎么办？国事千钧重，头颅一掷轻，个人生死是不足惜的。”

6日晚，黄伯韬又叫卫士去请李以劻（总统府特派战地视察官），黄伯韬对李以劻说：“据可靠消息，共军陈毅主力十多个纵队均南下，先头已到郯城、邳县、费县地区集结，南下时分无数纵队急行，由此判断，共军不让我兵团西撤集结，先打我兵团是肯定了。你和吉公（李延年号吉甫）明早速行，以免路上出岔子。”

黄百韬已经预感到结局不妙了，他悲观地说：“作战厅郭汝瑰、许朗轩、张宗良等人作出这样计划来，使人伤心，大军作战，随时变卦，动摇军心，影响士气，难道他们不知道么？陈毅主力达30多万，如果集中来攻，李兵团必败。尤以西撤途中，侧面遭到攻击，随地应战，立足未定，各个击破，最堪忧虑。请告刘老总（刘峙）注意，要其他兵团快点集结，迟了就会误大事。如我被围，希望别的兵团来救。古人说，胜则举杯相庆，败则出死力相救，我们是办不到的。这次战事与以前战役性质不同，是主力决战，关系存亡，请告老总，注意激励各级战场指挥官，否则同归于尽，谁也走不了。”

李以劻告辞时，黄伯韬说的最后一句话是：“国民党是斗不过共产党的，人家对上级指示奉行到底，我们则阳奉阴违。”

之后，黄伯又对手下军长陈士章说：“现在恐怕撤退不及了。”

7日早晨，黄百韬兵团开始按100军、64军、兵团司令部、25军、44军的顺序西撤。另外一个63军则由新安镇向西南的窑湾撤退。

在新安镇往徐州途中，有大运河横隔，由于黄百韬没有预先架设浮桥，导致这一带只有一座铁路桥可以通过运河，黄伯韬兵团除63军外，其余4个军近10万人，再加上国民党地方人员，同经一座铁桥，拥挤不堪。很多人被挤落水里，有的部队为了抢过运河，甚至用机枪开路。

10日，黄伯韬让第七兵团停留于碾庄圩地区休整。而解放军华野各纵则从碾庄圩北、东、南3个方向向黄伯韬兵团迫近。各纵队在“全歼黄兵团，活捉黄伯韬”的战斗口号鼓舞下，加速行军。

11日下午，华野13纵切断了碾庄圩与徐州之间的陇海线，将黄伯韬与李弥两兵团分割开来，如此一来，黄百韬插翅难逃了。