经过平津、忻口、淞沪、南京等战役，中国军队虽遭受重大损失，丢掉了华北大部和长江三角洲地区，但中国军队的主力仍然存在；而且由德国大使出面进行的“调停’，因为日本要价太高，也被国民政府所拒绝。这是日本所料想不到的。同时，日军在华北和上海、南京等地作战的胜利，又使他更加骄横自矜，不可一世，认为只要继续用兵，消灭掉中国军队主力即可迫使中国国民政府投降。这样，在攻占南京后，日军便又发动了以攻占徐州为目标的战役，企图打通津浦铁路，沟通南北两大战场，攻取武汉，进一步迫使国民政府投降。

日军占领南京后，华中方面军即派出第十三师团由镇江、南京渡长江，攻占扬州、仪征、六合、滁州等地。次年1月26日，日华中方面军在取得大本营的同意，正式命令第13师团从滁州、全椒地区出发，分3路北进，把矛头指向蚌埠。但这时日本大本营又考虑到在华战线太长和兵力不足的实际情况，提出将进攻中原的作战推迟到新编师团投入战场后再实施。可华北方面军，特别是第十、第五师团，骄矜自负，极力主张向前推进，一举攻下徐州。于是华北方面军的矾谷廉介第十师团和本川旅团于1937年12月25日占领济南后，在次年1月上旬继续南下，接连攻占肥城、泰安、兖州，曲阜、邹县、济宁，把进攻矛头直指滕县；同时，日军板垣第五师团东出胶济路，于2月中旬沿台潍公路南下，准备夺取鲁南重镇临沂，迂回台儿庄，然后两师团南下合围徐州。

徐州地处津浦与陇海铁路交叉点，扼苏、鲁、皖、豫四省要冲，是中原和武汉的重要屏障，自古为兵家必争之地。为加强以徐州为中心的津浦铁路的防御力量，国民政府军事委员会在1937年 10月任命李宗仁为第五战区司令长官，驻守徐州。 次年1月，蒋介石又在开封召开军事会议，逮捕了为保存实力，丢失山东省大片土地的山东省主席韩复榘，予以正法。

当南线日军围攻蚌埠时，李宗仁调集了于学忠第五十一军、刘士毅第三十一军及廖磊第二十一集团军共4个军9个师，8万人左右，到南线御敌。南线各军按照李宗仁的命令，闪开正面，在津浦路西侧山地隐蔽待机，及至日军进至明光，风阳，临淮关、蚌埠一线兵力分散时，突然向敌侧后发动猛攻，迫使敌退回淮河南岸。这样，在南线形成敌我对峙的态势。

北线沿津浦路南下进攻滕县的敌矶谷第十师团濑谷支队和沿台潍公路南下进攻临沂的板垣第五师团坂本支队，则分别在滕县和临沂区遭到中国守军的坚决抵抗。3月16日凌晨，敌人在强烈的炮火和飞机掩护下，向滕县城发起猛攻。守卫滕县的川军第二十二集团军第四十一军 (军长孙震)第一二二师5个营3000余人，在师长王铭章指挥下，与敌血战3天，最后全部壮烈牺牲，滕县陷落。进攻临沂的敌坂本支队，在临沂以北汤头地区遭到庞炳勋第三军团和前来增援的张自忠第五十九军3个师3万余人的坚决抵抗。使日军苦战经旬，付出重大伤亡，也未能攻克临沂城。滕县和临沂战斗，为台儿庄战役赢得了时间。

日军濑谷支队攻陷滕县后，更为骄横，全然不顾坂本支队在临沂受阻，继续冒险前进．3月18日在攻下临城后，直扑韩庄、峄县，沿枣台支线进攻台儿庄。台儿庄位于徐州东北30公里的运河北岸，北连津浦路，南接陇海路，是徐州北部的门户。这时，能不能守住台儿庄，成为徐州会战的关键所在。

第五战区司令部，利用滕县、临沂战斗的时机，调整了军队部署。派孙连仲第二集团军3个师防守台儿庄地区，池峰城第三十一师守备台儿庄主阵地，黄樵松第二十七师和张金照第三十师部署在台儿庄外围东、西两侧；汤恩伯团则留置日军侧后的峄县地区，准备在敌进入台儿庄时，南北夹击，歼敌于运河之畔。

3月23日，濑谷以其步兵第六十三团第二营为基干，配属野炮1个营，组成台儿庄派遣队，沿台(儿庄)枣(庄)铁路支线南下，在泥沟车站与中国守军的警戒哨接战。