双方从5日开始发生全面的激战，战斗非常惨烈。
仅仅第一天，日军就损失了2个大队长。
进攻刚刚开始，独立混成第17旅团步兵第90大队大队长舛尾芳治中佐率部攻击黄狮咀时，遭遇国军73军15师依靠现有工事的激烈抵抗。
独立混成旅团不是野战部队，平时主要用于治安作战，打击国军非正规部队。所以攻坚战开始以后，该部在15师的土木工事前面碰得头破血流，几个小时不能前进一步。
大队长舛尾芳治中佐心急如焚，亲自持战刀到一线督战。15军官兵发现一个日军高级军官，在阵地前面不知死活挥舞武士刀，机枪手立即开火。
舛尾芳治中佐头部中数弹，捷克式轻机枪的子弹威力巨大，掀掉了他的半个头盖骨，人自然活不了。
开战仅仅数小时，日军就死了一个大队长。
由于独立混成第17旅团进攻受阻，小柴支队奉命从侧面高速推进，攻击73军15师。
小柴支队为第40师团第234联队，为货真价实的野战部队，攻击力强大多了。15师区区一个师不过5000多人，在日军不下1万多人的夹击下还是死撑。
73军在这一线占据所有高地地形，在上面架起机枪和迫击炮拦阻日军。
对于国军机枪还好办，日军可以使用数量更多的机枪火力压制，但对于可以打了就跑，不断更换阵地的国军迫击炮则无法对付。
15师迫击炮部队从高地发射大量炮弹，炸得进攻日军人仰马翻。
但日军40师团也不是善类，他们以武士道精神拼死攻击，踩着自己战友被炸碎的尸体猛冲。
混战中，第40师团第234联队第2大队大队长安村修三少佐被一发迫击炮弹炸断腿部，负重伤。
战斗中，侧翼的第29集团军44军149师突然发动反攻，日军乱成一团，顾此失彼。
一天就伤亡了2个大队长，开门不利，不过，日军毕竟享有兵力火力的绝对优势，当天就占领了长岭嘴、紫金渡、麻壕口等地，撕破了国军这两个军的外围阵地。
又让日军没有想到的是，5月6日晨，国军第77师与第15师居然主动反击，试图收复前一天的失地。双军在梅田湖、芝麻坪、三汊河、黄石嘴、八股头各地血战。
国军虽然武器低劣，兵员不足，但士气高昂，官兵前仆后继，奋勇冲锋。
日军此次有备而来，自然也不示弱。双方血战一日，阵地几次反复，均有很大伤亡。
激战中，第15师第45团团长陈涉藩壮烈殉国。
南县以北四十里麓湖山阵地由73军第15师45团死守，两天激战中该团伤亡近半，陈涉藩团长于5月6日腿部被炸伤。
副团长见陈涉藩伤势严重，劝他离开一线去后方治疗，但陈涉藩坚持不下火线，厉声说：湖山不守，誓不生还。
由于日军以三倍兵力猛攻第73军15师，所以防御作战极为艰难。
到当日黄昏，日军以兵力优势突破45团阵地，营长李亚安死战殉国，该团剩余可以作战的部队还不到一个营。
日军继续猛攻，一度杀入团指挥部。陈涉藩团长并不慌乱，冷静指挥团警卫排和日军激战。
战斗中，陈涉藩眼见警卫排人数太少，不能抵抗日军攻势，自己腿部又受伤不能移动。他命令警卫员和副官立即撤退，自己独自留下。
在日军冲到陈团长附近时，陈团长不愿被俘，毅然拉响一颗手榴弹自尽殉国，国民政府追授陆军少将军衔。
残酷的战斗持续了2天之久，打到5月7日，双方伤亡都很惨重。不过，日军兵力火力占绝对优势，他们伤亡相对较小，也不影响进攻的势头。
国军则不同，第10集团军的87军战斗力比较强还好说，但第29集团军的73军本属于国军三流部队，装备相当差劲，数量也只有1万多人，不是四面围攻的日军不下2万之众的对手。
经过几次大规模血战，73军第15师伤亡高达四分之三，而73军第77师伤亡也近半。日军虽然暂时被国军阻挡，却已经对安乡南县形成三面包围的态势。
此时第六战区代理司令长官孙连仲开始考虑南下增援，调动第29、第10集团军，同时电令江防军抽出第86军的第67师及第18军2个团策应第10、第29集团军的作战。
不过，蒋介石和陈诚都不同意这个决定。
他们两人还是认为：南县安乡的失守无关大局。
即便日军的目的是借此南下攻打湖南常德而不是继续西进，也没有什么。常德的失陷，不可能动摇第六战区和第九战区的全局，以第九战区的近三十万大军，日军不太可能从常德继续推进攻打长沙。即便日军就是攻打长沙，薛岳也可以应付，不至于一击就溃。
如果擅自调动石牌正面部队，去南面反攻安乡南县，而日军的主要目标是西进石牌，就等于中了调虎离山之计，是绝对不可取的。
况且日军可以随时增兵作为支点的宜昌，而宜昌距离石牌不过20，30公里，一旦江防军主力南调，日军乘虚占领石牌，后果就不堪设想。
蒋介石决定暂时不理会安乡南县一线的作战，命令73军和87军寻机脱离战斗放弃城市南撤，同时命令侧翼第29集团军的44军立即从侧面攻击日军，掩护友军撤退。
6日21时，第六战区接蒋介石指令：“1．查三峡要塞扼四川门户，为国军作战之枢轴，无论战况如何变化，应以充分兵力坚固守备。2．江防军不得向宜都下游使用。3．南县、津市、公安、松滋方面，应以现有兵力与敌周旋，并掩护产米区。4．特须注意保持重点于左翼松滋、宜都方面，以获得机动之自由。”
事后证明，蒋介石和陈诚的判断没有错误。日军占领安乡南县以后，发现国军没有中计调兵支援，甚至出动第17旅团南下做出佯攻常德的样子，继续引诱国军自投罗网。
由于不能增援，依靠区区2个军约3万人抵抗不住日军5万重兵，孙连仲在7日令两个军全线撤退。
此时日军还没有形成包围圈，撤退还是完全可行的。
国军2个军奉命向南撤退。不过，此时两军混战多时，73军损失巨大，超过百分之五十。
日军第17旅团和第3师团夹击安乡，第29集团军44军162师经过苦战，放弃安乡撤退。
第3师团是侵华日军最强大的师团，没想到此次会战却遭受相当的损失。
第3师团于5月4日20时，在藕池口地区渡九都大河时，遭到第10集团军的87军在高何场一带的有力抗击。
双方在这一线苦战一天，直到5月5日6时45分日军才突破这一线防御。
杀到百弓嘴的第二线阵地，第3师团又遭到第10集团军第87军第23师的顽强拦截。
第3师团又同87军的第43师、第118师连续激战。
7日晚，第6联队簗场市郎左卫门大尉的第3大队，才突进了安乡城。
连续作战中，第3师团有一定伤亡。第3师团著名的战斗英雄笹本忍中尉在7日被国军击毙。对于笹本忍的死，第3师团长山本三男深感震惊。在几个月前攻击128师王劲哉部队时，笹本忍中尉表现出色，受到第3师团的嘉奖，并且树为英雄，没想到此次刚打了3天就战死了。
除了第3师团以外，其他各路也不顺利。
户田支队
户田支队于5日拂晓开始向南进攻，当前进约30公里到达南山时，遭到第29集团军73军15师的正面拦阻，第44军的149师又从侧翼突袭。
双方激战，第2大队大队长安村修三少佐就是此战炸掉了一条腿。
日军昭和18年中国派遣军战史中写道：南山，是位于水乡地带的高地，南北宽约5公里，其中最高点215米。户田支队由于没有炮兵配属（指师团的重炮），以联队炮为主体进行火力支援（指联队配属的4门75毫米山炮），并且从水乡地带直接向山地攻击，所以战斗一开始就十分艰苦。在第一天的战斗中，第二大队大队长安村修三少佐中敌迫击炮弹，脚负重伤，送往后方。由于敌人顽强抵抗，直到三日后（8日）支队才击退了南山的敌人，继续前进。
此处的44军的149师以山地地形优势，苦战到5月8日才奉命放弃阵地后撤，期间户田支队整整一个联队兵力却无法推进一步，基本没起到作用。
小柴支队
小柴支队也差不多。
5月5日拂晓，小柴支队从石首以西的管家埠渡过九都大河，原拟隐秘偷渡。但被对岸河堤上44军第161师的部队发现，立即遭到猛烈的火力杀伤，击沉了日军大量渡船。
步兵234联队第3大队小队长中田宏作少尉回忆：我们扛着95式折叠舟登上高八米，陡峭的堤坝后再从陡坡跳下。敌人探射的曳光弹拖着光尾在空中飞舞，在堤坝上跳动。当渡河的第一批部队消失在河的黑暗中时，敌人开始一齐向河中的舟群猛射。这时信号弹升起，指示转向强行渡河。
日军无奈，以重炮猛烈覆盖对岸河堤，实行强攻。44军是川军，根本就没有大炮，只有些迫击炮，根本拦阻不住。日军到达对岸后，在泥沼地中艰难前进，当晚到达团山寺。
6日，该部经六湖山、上三汊河时，又遭到161师的拦阻，苦战一日，当晚攻占了梅田湖。7日继续南进，午后到达南县以西的王家药铺与荷花池时，又遭到161师的顽强抗击。
这一系列战斗中，该支队伤亡很惨重。
该联队的先头大队，是234联队坂田英少佐的第3大队，被国军反复猛击。第3大队的6个中队长（步兵中队4，重机枪、步兵炮中队各1），全部被击毙或击伤，足可见战斗之激烈。
针谷支队
34师团针谷逸郎的洞庭湖水上支队更惨。他们于5月5日凌晨2时从岳阳以西出发，但先是湖中大雾，随后遭遇大批国军布置的水雷，勉强突破靠近岸边又被国军火力拦阻。
日本对这一线的地形不太了解，8日早晨他们得到空军情报，说是大量国军集结撤退（73军），有200多艘船正在南下，针谷支队立即高速前进。结果先头部队的船只行驶到岩子州附近，发现这里水太浅，船只无法通过，只得绕道。但绕路期间，又遭遇驻守赤山岛的国军。国军在八百米外，用迫击炮和轻重机枪猛烈射击。日军无奈，被迫一边作战一边前进。激战到中午才躲过赤山岛国军的轻武器封锁，但又遭到岛上的炮击，日军只得调集重炮还击压制。这样一直杀到晚上7点，还没有突破国军防线。
到10日，73军主力成功从洞庭湖上撤退成功，针谷支队还在和国军湖中部队缠斗。最终他们赶到渡口，仅仅俘虏了一些国军来不及撤走的辎重船和渔船，封锁行动完全失败。
8日，日军又集中兵力攻击南县。
南县守军为73军的暂5师。该师苦苦支撑，血战1日之久，伤亡惨重，被迫全线突围到沅江地区。日军于9日占领南县。
由此，日军第一阶段计划完成，顺利切断了第六战区和第六战区通过洞庭湖水运的联系。
同时为日军后续从正面合围第10集团军，打开了缺口。
不过，日军引诱国军增援，乘虚攻击的计划没有实现，国军并没有上当。
占领区区安乡南县，也无法切断国军第九战区从陆地对于第六战区的支援。
况且，距离安乡不到30公里的津市、澧县，还有国军第29集团军44军存在，随时可能发动反攻，安乡和南县本身也是不稳固的，务必留下重兵守卫，使得日军分散兵力。
至于击破国军2个军也算不了什么，两个军中73军伤亡较大，约为一半。87军伤亡较少，为三分之一。
协同作战的44军一部伤亡也为三分之一。
虽然总体伤亡不算少，但对于抗战来说，这样的伤亡还是可以接受的。
日军自然无耻公布：战死168人（内将校13）人，负伤638（内将校32）人，一共800多人，占参战部队的百分之一。
有意思的是，如果真的伤亡如此之少，那么怎么会有两个大队长死伤呢？还有一个大队所有中队长伤亡的情况？真的是说谎也不说的圆一些。
不过，此次战斗最后，却出现了国军没有想到的一个意外情况，就是南县厂窖大屠杀。
