Simone八路军山东纵队成立后，先后进行了5次整军，队伍不断发展壮大，成为一支正规化的地方武装部队。1939年1月，中共山东分局和山东纵队在驻地王庄召开了特委和支队领导干部联席会议，着重分析了抗战的新形势，研究开辟创建抗日根据地和部署向苏北地区发展的问题，决定在山东纵队和支队两级棚正建立后方司令部，各地县委设立军事部，统一指挥县区武装和乡村自卫团队。
1939年2月，八路军朱德总司令、彭德怀副总司令发出整军计划的训令，规定分期整训部队，每期为3个月，第一期从3月1日开始，整训31个团约计10万人。其中规定山东纵队伏旁选定条件好的部队，整理3个基本团，作为山东的主力部队。另外，朱德还专门电示黎玉：“山东纵队按正规军编制，以节省干部，节约经费，充实人数与加强战斗力，便于整理训练和隐蔽我之力量。”接着，八路军野战政治部也发出《政治工作训令》及《整军政治工作计划》。根据八路军总部和野战政治部的指示，八路军山东纵队自2月至5月进行以巩固部队和加强正规化建设为中心的第一期整军。首先进行了组织整编，部分部队取消团一级机构，所属部队除湖西挺进支队划归第一一五师建制外，其他9个支队零3个团缩编为7个支队零2个团，即第一、二、三、四、五、六支队和陇海游击支队、特务团、直辖四团。组织整编后，山东纵队又利用战斗间隙进行了政治、军事和其他各项工作建设，在纵队和支队成立党务委员会，团设总支部，营设分支部，在连队普遍建立支部，并建立党的会议、汇报和党课制度；大量吸收先进分子入党，选派优秀干部充实纵队和各支部的领导，建立正常的军事、政治教育制度，进一步密切官兵关系和军民关系；加强部队内部的团结，克服军阀主义和自由散漫的游击习气。在军事整训中，重点为游击战的战术及技术训练和队列训练，并特别举办了爆破训练班。另外，逐步建立了比较正常的供给、卫生工作。通过这次整军，山东纵队在政治上、军事上、组织上都得到巩固和加强，战斗力有了明显提高，向部队正规化建设迈进了一大步，在扩大抗日根据地的战斗中给予日伪军沉重的打击。
八路军第一一五师入鲁后与山东纵队并肩作战，逐步巩固和扩大了山东的抗日根据地。为统一指挥山东省和苏北地区的八路军部队，八路军总部、中共中央北方局向中央建议派徐向前、朱瑞去山东，组建八路军第一纵队。1939年5月，中共中央北方局发出组织八路军第一纵队的通知，徐向前任司令员，朱瑞任政治委员。6月，徐向前率一批党政干部到达沂蒙山区与中共山东分局、山东纵队指挥部会合，组建八路军山东纵队司政机关。8月，八路军第一纵队正式在鲁中山区成立。同月，建立山东军政委员会，朱瑞为书记。10月中旬，八路军第一纵队机关与山东纵队机关合并，徐向前、朱瑞以第一纵队名义直接指挥山东纵队所属部队，山东纵队领导机关的番号仍然存在，所属部队仍称山东纵队。1940年6月，恢复使用八路军山东纵队的名义指挥所属部队。
1939年6月，八路军总部发出第二期整军训令，山东纵队于8月至12月再次进行整军。第一支队整编为4个基干营；津浦支队划归山东纵队建制，与山东纵队第二支队、山东纵队特务团大部合编为新的第二支队；第三支队整编为3个基干营，另辖寿光独立团；第四支队辖3个基干营和特务团；第五支队整编为3个基干营和2个团；第六支队整编为3个基干营；鲁南的第十九团改编为苏鲁支队，陇海游击支队改称陇海南进支队。第二期整军过程中，地方武装得到了普遍发展，并且建立了地方武装领导体制：在鲁南区建立第一军区（也称山东纵队后方司令部），下辖5个军分区和1个特务团；组建第三军区。
1940年2月，八路军总部发出第三期整军训令。山东纵队于2月至8月，进行了第三期整军。这次整军的任务是以加强党的政治工作为中心，要求主力部队正规化、党军化，游击部队组织化，巩固新发展的部队。徐向前根据山东纵队实际，在整军中明确提出抗日武装力量要进行“九化”建设，即主力兵团正规化、地方武装基干化、游击队组织化、自卫团普遍化、党的领导绝对化、战斗力顽强化、行动积极化、生活艰苦化、纪律严肃化。这次整军是山东纵队走向正规化的重要阶段。通过有计划地培训部队各级干部，学习掌握基本的政治、军事常识和游击战争的战略战术，提高了各级指挥员的素质，党员数量达到总人数的31.7%以上。苏鲁支队、第六支队、陇海挺进支队等部分别划归第一一五师和新四军建制。山东纵队所属部队链厅悔编成21个团，3万余人，另有地方武装2万余人。
1940年7月，山东纵队党员代表大会产生了山东纵队党务委员会，并决定了第四期整军的任务。山东纵队于1940年9月开始整军，主要解决主力支队全部正规化的问题。通过整军，山东纵队所属部队整编为4个旅、4个支队和两个直属的特务团，共22个团，5.4万余人。1941年8月至11月，山东纵队又进行了第五期整军，以进一步巩固扩大主力，增强机动作战能力。通过五期整军，完成了主力部队正规化、地方武装基干化、游击队组织化、全体部队党军化的任务，并先后将湖西挺进支队、鲁南苏鲁支队、泰西第六支队、陇海挺进支队及所属部分地方武装等，共4万兵员分别输送给新四军和八路军第一一五师，为壮大主力部队做出了重要贡献。
1942年9月，中共中央政治局发出《关于统一抗日根据地党的领导及调整各组织间关系的决定》。1943年3月12日，毛泽东、朱德、王稼祥以中共中央和中央军委的名义决定：第一一五师与山东军区合并，罗荣桓为司令员兼政治委员。新的山东军区下辖鲁中、鲁南、胶东、清河、滨海、冀鲁边6个军区和15个军分区，全军区部队统一整编为13个主力团，全部实行地方化，对外保留第一一五师和山东纵队的番号，山东纵队各旅番号全部撤销。新的山东军区的成立，标志着八路军山东纵队已胜利完成历史使命。
