1937年7月7日，日本华北驻屯军借口士兵失踪向我北平第二十九军发起突然袭击，尽管29军广大官兵奋勇还击，佟麟阁、赵登禹两位将军壮烈殉国，终因寡不敌众而后撤，平津迅速沦陷。1937年10月初，日军已经进入山东境内，山东军阀韩复榘在稍作抵抗后所部迅速南撤，1938年初徐州会战结束后，山东全境沦陷。

中共山东省委积极团结各种力量，组织广大群众发动武装起义，在短短数个月时间内全省爆发了十多起武装起义，各种抗日武装十几支，武装抗日活动蓬勃发展。为统一番号、加强战斗力，中共中央决定将山东各种抗日武装整编为八路军山东纵队，山东纵队于1938年12月正式成立，张经武、王建安分别任正、副指挥，黎玉为政治委员，参谋长王彬，全纵队共十个支队及苏鲁人民抗日义勇队第一总队等部队，全军2.45万人。

八路军山东纵队所辖十个支队分别为第二、第三、第四、第五、第六、第八、第九、第十二支队及挺进支队、陇海南进支队，这十个支队的司令员分别为刘涌、马耀南、廖荣标、高锦纯、刘海涛、马保三、王林肯、董慕仲、李贞乾及钟辉，其中建国后授衔将军的则有三位，分别为刘涌、廖容标、钟辉。

八路军山东纵队第二支队由山东人民抗日游击第二支队编成，辖三个营，司令员为刘涌，政治委员景晓村。刘涌为江西兴国人，为参加过苏区反围剿及长征的红军老战士，著名的泸定桥勇士之一，抗日战争爆发后到山东开展武装抗日工作，先后任山东纵队二支队司令、胶东军区东海军分区司令员等职，解放战争时期曾任九纵26师师长、胶东军区副司令员、华东军区第三十二军副军长兼参谋长等职。1955年，刘涌被授予少将军衔。

八路军山东纵队第四支队由山东人民抗日游击第四支队编成，共辖三个团，司令员为廖容标，政治委员林浩。廖容标是江西赣州人，1929年加入红军，曾参加了中央苏区反围剿及长征，到达陕北后曾入抗日军政大学学习。抗日战争爆发后，廖容标被派往山东发展抗日武装，组织领导了著名的黑铁山起义，组建了山东人民抗日救国军第5军，后整编为山东纵队第四支队，均任司令员。此后，廖容标历任山东纵队第1旅副旅长、第4旅旅长，第4旅旅长兼泰山军分区司令员、山东军区第4师师长、渤海军区副司令员等职，1955年被授予中将军衔。

八路军山东纵队陇海南进支队由邳县青年救国义勇军等部改编，辖两个营，司令员为钟辉。钟辉是江西瑞金人，曾参加苏区反围剿及长征，抗日战争爆发后任钟辉组织发起了邳县青年救国义勇军，改编为陇海南进支队后仍任司令员，后赴延安学习。解放战争时期，钟辉曾任热北军分区司令员兼蒙汉联军司令员、东北野战军第十一纵队161师政治委员等职，1955年被授予少将军衔。