1947年5月16日,于解放战争之孟良崮战役中被击毙,终年44岁。 有很多说法,较为普遍的说法是潜伏在国防部的共谍利用国防部有关人员对鲁南山区地形不熟,极力促成了置重装备的张灵甫整编74师于死地的作战计划,鲁南山区尽是崎岖的山路,整74师人马拥挤,宿营、补给均极其困难。因为到处都是岩石,很难构筑工事,大炮不能灵活运动,拉拉推推,几乎变成了累赘和废昌游物。对这种“逢山不能开路,遇水(汶河)搭不成桥”的绝境,整74师将士都有怨言。据随军耐激销国民政府官员毛森后来的回忆录说, 张灵甫当时牢骚满腹:“我是重装备部队,如在平原作战,炮火能发挥威 。陈毅二、三十万人都来打我,我也能应付;现在迫我进入山区作战,等于牵大水牛上石头山。有人跟我过不去,一定要我死,我就死给他们看吧!”由于北进山路越来铅圆越崎岖,整74师的榴弹炮营和战车连被迫后撤到临沂未参加战斗,加上山区不利于重装备部队展开作战,大大降低了整编74师的机动作战能力,导致其在孟良崮被解放军5个纵队合围而最终全军覆没。