1937年 12月，侵华日军华中方面军占领南京，华北方面军占领济南后，就想打通津浦路，勾通两大方面军的联系，于是便分别从南北两个方向对徐州进行试探性进攻。南路日军1938年 2月中旬，曾北进至怀远、蚌埠、临淮关、盱眙一线，隔淮河与中国军队形成对路。北路日军第 10师一团一由泰安沿津浦路南下，第 5师一团一由潍县经诸城、沂水、临沂向东南突击，企图与第 10师一团一会攻徐州。
3月中下旬，日军第 5师一团一两次猛攻临沂，都遭中国军队张自忠第 59军和庞炳勋第 3军一团一顽强抗击，无法与第 10师一团一会合。第 10师一团一于 3月 16日攻占滕县后继续南下，20日占领枣庄、韩庄，沿大运河北岸逼近台儿庄。台儿庄是陇海铁路支线上的一个小站，距徐州只有30多千米。中国第 5战区司令长官李宗仁为确保徐州东北门户，令孙连仲第 2集一团一军 3个师守卫台儿庄正面，令汤恩伯第 20军一团一在台儿庄至韩庄间运河南岸布防，向敌侧背攻击。3月 24日，日军第 10师一团一濑谷支队开始向台儿庄进攻，中国军队誓死坚守。双方短兵相接，依托街屋，激烈争夺，伤亡狼藉。至31日，中国军队将冒进到台儿庄的日军全都包围，日第2军急令扳本支队由临沂附近向台儿庄增援，途中遭截击，增援未成。
4月3日，中国军队向被围日军展开反击，第 2集一团一军由城内向城外冲杀，第 20军一团一在城外击敌侧背。濑谷支队孤立无援，负隅顽抗。至 7日晨，日军 l万多人被歼，小部突围逃走。中国军队伤亡 7千人。这次作战，沉重打击了日军嚣张气焰，鼓舞了全中国军民斗志，被称为台儿庄大捷。台儿庄这个大运河之畔的小城镇，从此闻名全国。
