第74军是1937年9月1日在浙江组建，由王耀武第51师(辖周志道151旅、李天霞153旅)和俞济时第58师(辖吴继光174旅、邱维达172旅，该师系国民政府警卫1旅扩编而成，是74军的骨干)合编而成，俞济时任军长(俞济时是黄埔1期毕业，浙江奉化人，蒋介石的外甥)。全军共8个团，2.1万人。
74军成军不久就参加了淞沪会战，南京保卫战，多次与日军浴血撕杀，伤亡过半。经过补充74军先后参加徐州、兰封会战。在兰封会战中74军在罗王寨、三义寨、曲兴集攻坚战中与日军第14师团激战，毙伤日军益田兼英步兵中佐、森永澄雄步兵中佐等1000余人。
1938年7月德安战役(又称万家岭战役)爆发，74军第58师重创106师团第113联队，但是58师也付出巨大代价，10月7日，国军调整兵力，发起全线总攻。74军作为主攻部队奉命攻击日军在万家岭地区的核心阵地张古山，第51师多次猛攻均未得手，后有人献计(三国邓艾偷袭阴平)从山后偷袭，团长张灵甫并亲率突击队从山后偏僻小道袭占张古山。歼灭106师团所部步兵第111旅团第147联队第1大队鬼冢义淳所部，305团攻占张古山，为突破日军106师团防线立下头功。战役中74军守得住攻得上，居功至伟。战后著名作家田汉任光曾以此战和张该战为原型编写了话剧和74军军歌。军歌歌词如下：起来，弟兄们，是时候了。我们向日本强盗反攻。他，强占我们国土，残杀妇女儿童。我们保卫过京沪，大战过开封，南浔线，显精忠，张古山，血染红。我们是人民的武力，抗日的先锋。人民的武力，抗日的先锋!
