日军遭到重大伤亡后，开始龟缩固守。
这一天，国军空军3架轰炸机再次继续轰炸了峄县，也配置孙桐萱第3集团军对峄县的牵制性攻击，该处日军惶恐不已。
4月2日，日军63联队在台儿庄内的进攻仍无进展，此时汤恩伯军团已经分三路猛烈攻击日军外围。此时按照常理，日军第10师团长矶谷廉介应该命令部队赶快撤退，但矶谷廉介过于傲慢，他认为处境虽然艰难，但国军不堪一击，完全可以占领台儿庄以后，再回头击溃汤恩伯军团，下令日军继续强攻台儿庄。
为了这次进攻，矶谷廉介下令在外围激战的赤柴八重藏第10联队放弃和孙连仲集团军张金照30师的缠斗，集中兵力协同63联队进攻台儿庄。在獐山附近的日军第10联队迅速杀到台儿庄以东地区，以40余门火炮、近40辆坦克及步兵连续出击，企图摧毁防守在台儿庄东郊黄樵松27师和池峰城31师的阵地。
矶谷廉介再三告知濑谷启，如果短时间内不能占领台儿庄，就有可能被国军包围。他要求濑谷启集中全部火力，尽全力孤注一掷的进攻，不能再有任何保留。
这样一来，进攻台儿庄核心阵地的日军数量猛增到整整一个旅团1万多人，如果加上兰陵镇附近的坂本支队1万人，在台儿庄附近十几公里内已经密密麻麻聚集了近3万日军，而且全部是日军最精锐的部队。
孙连仲在台儿庄附近的3个师此时都已经伤亡过半，孙连仲咬牙命令27师全力拦截濑谷支队第10联队，池峰城31师全力阻挡濑谷支队62联队，张金照30师迅速回头，支援另外两个师的作战。
27师从4月4日开始，遭受日军赤柴八重藏第10联队最疯狂的一次猛攻，紧挨台儿庄东北郊之孟庄、边庄、裴庄、后堡、五圣堂，涛沟桥一带之阵地短时间被日军重炮轰击超过2000多发炮弹，阵地完全被摧毁，守军几乎全军覆没。
27师在台儿庄以东、东南的二线阵地之赵庄、刘庄、东庄、黄林庄，赵村一带遭受炮击较少，但却遭遇日军飞机和坦克的联合攻击，随后日军步兵潮水一样冲锋。
27师全师官兵以必死决心坚守阵地，一些阵地被日军炮火完全击毁，国军士兵就用战友遗体垒起来作为工事。
27师在4日战斗结束后，全师仅剩2000人，伤亡已经超过三分之二，却死死的阻挡了第10联队，让他没有一兵一卒进入台儿庄内。
如果说27师艰难，池峰城的31师就更艰难一倍。
此时坚守在台儿庄内的第31师，下属4个团6000多人仅剩余1400人，而且这1400人几乎人人带伤。
城防团团长王震激战中受伤，该团1500人现在仅剩300多人，由代理团长王冠五继续指挥。此时各股冲入庄内的国军援军还有几百人，这样庄内国军还有约千人的兵力。
代理团长王冠五召集敢死队长仵德厚营长，敢死队连长王范堂等人商量，要求大家不要管是否还有援军，坚持战斗到全军覆没为止。
庄内国军坚守每一寸土地，每一个阵地上除非国军战士全部殉国，不然日军是绝对没有可能占领的。
对于国军这些表现，一向信奉武士道精神，宣扬玉碎战（也就是战斗到最后一个人）的日军也极为钦佩。
第10联队关于这一次作战的“战斗详报”中，有这样一段记载：
国军27师的第80旅，昨日以来，其战斗精神，其决死勇战的气概，无愧于蒋介石对他们的极大信任。他们凭借着散兵壕，全部顽强抵抗直至最后。该敌在狭窄的散兵坑内，重叠相枕，力战而死之状，虽是敌人，观其壮烈之态，亦为之感叹。战斗中曾使翻译劝其投降，但无一应者。敢于战至尸山血海，此种精神并非独为皇军所特有。
由临沂前来增援的坂本支队，当日到达台儿庄以东约5到6公里地区也被国军汤恩伯部死死阻拦住。
坂本支队由于连日作战超过一个月，官兵都非常疲惫，加上伤亡过大，全军战斗力降到了低点。
坂本支队在台儿庄东南约5公里的大石埠、蒲汪一带遭到刚刚赶到战场的中央军周碞第75军第6师的猛烈阻击（该军下属第6师和第13师，前身为北伐时期孙传芳的浙军第2师，也是一支中央军劲旅，刚刚参加过淞沪会战，伤亡过半），顿时停步不前。
由于坂本支队没有攻陷临沂，这一路都是走的小路山路，全军仅带了几天弹药。此时刚一开打，弹药就基本用光，他们被迫向第10师团求援，要求借用一部分弹药。
当时第10师团其实补给也基本被切断，自己粮弹也很困难。但毕竟坂本支队是来救援他们的，再困难也要支援他们。濑谷支队咬牙调拨了一批弹药给坂本支队，随后自己也陷入补给用尽的绝境。
此时国军情况再次好转，东北军57军111师王肇治第333旅，原晋绥军商震32军李兆锳第139师，归属汤恩伯指挥的周碞75军第6和第13师，在微山湖一线休整的曹福林原韩复榘第3集团军一部，纷纷赶到战场，滇军卢汉60军4万大军也离台儿庄不远了。
而日军由于孤军深入，再也抽调不出一兵一卒支援了，台儿庄战役胜利的天平已经偏向国军一边。
汤恩伯的进攻和台儿庄的敢死队
4月1日，汤恩伯见坂本支队已经进入台儿庄的包围圈，下令20军团全线进攻台儿庄，并且要求孙连仲也发动反攻支援。
濑谷支队此时已经是强弩之末，大部分兵力陷入台儿庄一线，已经无力回顾。而增援而来的坂本支队由于在临沂损失很大，弹药也严重不足，战斗力削弱严重，非常危险。
于是这时候出现了开战以来少有的一个局面，汤恩伯的中央军在反攻中，居然取得了局部火力上的优势。
汤恩伯部分三路出击，一部直捣台儿庄方向日军，一部切断日军后退道路，一部则攻击扫平日军外围其他据点。
在傅庄汤恩伯部的25师一个团将坂本支队几百人包围，他们在苏罗通20毫米机关炮和德制75毫米山炮配合下，将这股日军全歼。苏罗通机关炮击毁日军轻重机枪火力点，由于射程相差太大，日军根本威胁不到机关炮。而德制博福斯75毫米山炮将日军坚固火力点一个个摧毁，然后国军步兵再奋勇冲锋，日军自然无力抵抗。
于此同时，坂本支队其他各部也都遭受猛烈打击，被迫向台儿庄方向溃败。
25师145团配属75毫米博福斯山炮1连，在刘庄包围了坂本支队数百人。
由于被包围的日军重武器弹药消耗殆尽，已经无法开火，国军首先以山炮，迫击炮，苏罗通机关炮猛烈压制日军阵地，然后以步兵强攻。激战一天，刘庄日军全军覆没，单单被俘的伤兵就有上百人，国军这个团伤亡不过近百人，仅仅是日军伤亡的三分之一。
此次之所以获胜，在于国军兵力火力都压到了日军。由此可见，如果国军具有能够和日军抗衡的武器，再经受日军一样比较严格的训练，还是完全可以击败日军的。
在如此绝境下，此时的日军居然还不知死活。
4月3日，在台儿庄附近的第10师团濑谷启少将得知第5师团坂本支队到达台儿庄外5公里距离，很快就要赶到台儿庄。濑谷支队此时已经伤亡6000多人，占整个支队兵力的三分之一。遭受如此重大伤亡，如果不能占领台儿庄，反而被坂本支队乘机捡了便宜，濑谷启少将如何向师团长矶谷廉介交代。
于是，濑谷启命令主攻台儿庄的63联队和10联队孤注一掷发动进攻，限当天务必占领台儿庄。
63联队当时伤亡过半，10联队伤亡也超过三分之一，但事情到了这种地步，也只能彻底拼了。
63联队集中所有可以使用的兵力，从东门地区猛烈向西攻击，前进了约100米并占领了东南的寨门。
与此同时，日军濑谷支队步兵第10联队主力向台儿庄以东迂回，向南攻占了台儿庄东南约2公里大运河边的黄庄，并准备强渡运河。但第10联队被孙连仲的独立第44旅拼死击退，包抄切断台儿庄守军退路的目的没有实现。
不过此时台儿庄附近的孙连仲集团军伤亡非常大，也到了崩溃的边缘，庄内184团和各股增援的国军总数不过几百人，而且几乎全部带伤，阵地不可避免的被日军占领了一部分。
经过3日白天一天激战，台儿庄已经被日军占领了三分之二，国军庄内残部被压制在一块狭小的区域，眼见就要全军覆没了。
此时濑谷启少将急于抢功，赶忙发布了第10师团已经攻占台儿庄的声明。第10师团师团长矶谷廉介心中其实清楚台儿庄并没有完全被占领，但他装作不知道，也向军部报告已经占领台儿庄。
与此同时，日本同盟社记者在报纸上刊登：山东国军精锐部队已经被击溃，日军将台儿庄完全占领。
让濑谷启和矶谷廉介都没有想到的是，这个声明后来成为一个极大的大笑话。
此时池峰城的31师伤亡超过7成，余者还大多是轻伤员，阵地上几乎没有兵了。
池峰城亲自去阵地巡视，发现阵地上幸存国军战士各个疲惫不堪，东倒西歪的躺在战壕上。由于长达二周的激战，白天抵抗日军进攻，晚上还要主动进攻肉搏，他们已经劳累到了极点。并且由于日军火力封锁，守军每天顶多吃一顿饭，伤员也送不下去，轻伤员更缺乏医疗，又饿又累又伤，情况相当悲壮。
池峰城也是身经百战的老将军，他目睹这样的战况，认为如果继续打下去，恐怕1，2天31师就会全军覆没。他电话给孙连仲求援，要求放弃台儿庄撤退到大运河南边去。
没想到，孙连仲立即大声对他吼道：什么？你要撤退？好啊，如果你撤退，就带着脑袋来见我（被枪毙的意思），我就提着脑袋去见李长官。
池峰城只好挂断电话，准备继续死守。
虽然这样训斥池峰城，其实孙连仲自己的想法也跟池峰城差不多，这样继续打下去，跟随他10年的子弟兵恐怕一个也别想活命，孙连仲这支西北军也就完了。
他电话给李宗仁说：目前第2集团军伤亡超过7成，眼见就拼光了。能否请李长官让第2集团军退到运河南边去，给我们西北军留一点种子，这也是长官您的大恩大德。
李宗仁知道汤恩伯已经全面反攻，日军到了崩溃的边缘，这时候的所谓猛攻不过是垂死挣扎。
他坚定的说：战役已经到了最关键的时刻，现在就看谁能够坚持最后五分钟。汤恩伯军团明天就可以杀到台儿庄，你的第2集团军绝对不允许撤退，违者从上到下一律军法严惩。我明天会亲自到台儿庄督战。
听到李宗仁如此坚定的口气，孙知道绝对不存在撤退的可能，于是也毫不犹豫的说：请李长官放心，我们第2集团军一定全力坚持住，整个集团军打完拼光为止。
顿了一顿，李宗仁又说：我知道你们很艰难，但一定要坚持到明天。你把剩下的预备队全部用上，一定要顶住，不然就功亏一篑了；川军，中央军，西北军之前付出的这么大牺牲也就毫无意义。根据我的经验，在目前情况下，你们不但要守住，还要主动出击。不然光是被动挨打，恐怕坚持不了多久。日军现在也已经筋疲力尽，反攻还是有希望获胜的，赶快使用预备队。
孙连仲呼呼喘着粗气说：仗打到这个地步（已经伤亡七成），哪还有什么预备队可用。
李宗仁说：你召集所有能动的士兵，包括勤务兵，炊事员，马夫，担架兵，全部给我上。重赏之下必有勇夫，我拨给你们十万大洋巨款，奖给他们。
孙连仲只得同意了，他放下电话召集身边的军官们说：李长官命令我们死守，不允许一兵一卒后撤。你们听好了，如果当兵的死光了，你们就去填上。如果你们都填光了，老子就来填。一个集团军打完为止，绝对不后撤。有敢退过运河者，不管军衔，一律杀无赦。
孙连仲随后命令池峰城师长，立即炸毁台儿庄南边大运河的浮桥，断绝庄内官兵后退的道路，做背水一战态势。
同时孙连仲命令立即组织敢死队反击台儿庄内的日军。
池峰城立即拆毁了运河浮桥，并且派兵架起机枪把守，只要有人试图通过，一律开枪射杀。
可是对于组织敢死队反击台儿庄内的日军，池峰城感到非常困难。
因为经过3日一天激战，庄内伤亡巨大的国军已经筋疲力尽，他们用尽一切力量勉强守住了三分之一的庄内阵地。庄内总指挥184团团长王冠五估计，如果日军再这样进攻一天，庄内国军肯定全军覆没，一人也不会幸存。
现在拼命防守尚且不能成功，如何谈得上主动进攻呢？
让池峰城没有想到的是，由于庄内的国军守军本来也就没准备活着离开台儿庄，再知道浮桥被拆毁以后，都抱了和日军血战到底的决心。
池峰城命令庄内代理团长王冠五组织敢死队，庄内国军战士很快都知道了这个消息。
之前率领一个连敢死队杀入庄内的连长王范堂把仅存的班、排长叫到一起，通报了现在的战局。王范堂这个连本来有150人，经过激战目前仅剩57人了。
没想到还没等王范堂说完，他手下英勇的班、排长们齐声说：王连长，我们听你的。我们都要求参加敢死队。
王范堂立即去找王冠五请战。
王冠五当时正在和仵德厚营长商量敢死队要怎么打。两人听到王范堂主动请战以后，都大为感动。王冠五双手握住他的手说：好兄弟，祝你好运。
仵德厚说：王连长，我跟你们一起参加敢死队。
要知道，仅仅几天前仵德厚也率领40人的敢死队冲入庄内，经过激战这40人仅剩不到20人还幸存。
于是王冠五召集所有敢死队员，按照池峰城的命令每个人发给一些大洋，作为奖赏。这也是西北军敢死队的惯例，在当年西北军参加敢死队的多是最穷的人，他们在军阀混战中拼命，就为了多赚几个钱，用命去换钱。
但没想到是，这些敢死队员接到钱以后，纷纷将闪亮的大洋扔在地上。
王冠五当场愣住，以为这些人不愿意出击，所以不愿意拿钱。
没想到这些敢死队员却纷纷说：王团长，我们这些人连命都不要了，还要钱干什么？留着这些钱，将来给我们盖一个纪念碑吧。
于是，在仵德厚和王范堂的率领下，敢死队员们腰上挂着手榴弹，挥舞着大刀趁着夜色猛烈的冲向日军控制的阵地。
庄内的日军此时也是强弩之末，各个疲惫不堪，昏昏入睡。而且他们知道庄内国军只剩几百人，基本人人带伤，根本没有主动进攻的能力。
所以此次国军敢死队的突击，对日军来说如同迎面的一个重锤。
仵德厚和王范堂这些敢死队员沿着街道向所有日军据点猛烈进攻。
仵德厚率领一部敢死队进攻日军最多的庄内东部。
有的敢死队拿起大刀冲入房屋和日军拼杀，有的敢死队员怕肉搏杀不了几个日军，干脆冲入日军固守的房子，然后直接拉响身上的集束手榴弹，将整个房子炸倒，房里的几十名日军自然也都死了。
同时国军台儿庄周围全部迫击炮，重机枪轻机枪使用所有剩余弹药猛烈开火掩护，各种炮弹猛烈砸向日军。
战斗中，国军敢死队员迎着日军机枪火力猛冲，几乎不做隐蔽。
他们手舞大刀向日军发起最后的冲锋。这股日军也比较顽强，他们坚守不退。仵德厚率领敢死队员跟日军反复冲锋六七次，终于占领了东部大部分阵地。期间一些房子攻不进去，只能攀爬上屋顶。但他们并没有云梯，只能依靠人用身体搭成人梯。
在日军猛烈的机枪火力下，敢死队员们搭成人梯，另一些踩着人梯爬入屋内。此时不但爬入房子的敢死队员随时可能中弹，目标极为明显的人梯每分钟都有中弹几十发的可能。
可是仗打到这种地步，什么也顾不了啦，只要还有一口气，就跟日军拼命了，就这样把东北角的日军几乎消灭殆尽。
可是仵德厚最初带进庄内的40人敢死队员，经过这一战仅有3人幸存。
