“卢沟桥事件”发生后，南京国民政府下令，所有服刑官兵，除“政治犯”外，一律调服军役，戴罪立功，并保留原来军衔。曾任张灵甫上司的王耀武便向蒋介石求情：“张钟灵这个人作战很有本事，现在抗战需要干部，莫不如让他出来戴罪立功。”此言正中老蒋下怀。随即，张灵甫被秘密释放了。返回第七十四军五十一师的王耀武手下任职，并将原名张钟灵改为张灵甫。
“八·一三”淞沪会战序幕一揭开，张灵甫就任第七十四军五十一师一五三旅三○五团团长，随王耀武开赴前线，参加上海保卫战。1937的8月，日军进犯淞沪，时任三○五团上校团长的张灵甫奉命扼守曹王庙等要地，与日军久留米师团决战数月，日军终未得逞。11月下旬苏州告陷，率部奉命坚守望亭，拒敌西进，曾于京沪铁路线137号大桥与敌血战3日，完成排斥任务。12月初，七十四军转至南京外围淳化镇、上方镇一带。张灵甫所部任上方镇东北屯一线守备，接防之日亲率全团官兵遥拜国父孙中山陵寝，誓与首都共存亡，全场为之感泣。旋日军先攻淳化镇，续攻上方镇。张灵甫沉着应付，于两昼夜激战中屡挫敌锋，虽左臂负重伤，犹裹伤战斗，左右劝其渡江就医，张灵甫力言：“昔项羽兵败势蹙，犹不愿渡乌江，余安忍辱遽渡长江乎？当与敌决生死以践誓言。”后经长官部再三劝说，始怏怏离队就医。