解放战争初,山东八路进军东北,江南皖江等七万新四军北撤,而新四军七师叶飞部罗炳辉部北上山东。

最早进入山东的新四军第二纵队，辖3旅9团，共2.64万人，其前身是土地革命战争时期红二十八军的一部分。

1938年春，留在皖西北坚持斗争的红二十八军鄂豫边游击队3100余人，改编为新四军第四支队，辖第七、第八、第九团和手枪团，在舒城、庐江、无为活动。

5月，新四军江北指挥部成立，第四支队归其指挥，部队整编为第七、第九、第十四团，开辟以安徽定远东南藕塘为中心的津浦路西抗日根据地。在此期间，第四支队第八团扩编为新四军第五支队。

1941年1月，江北指挥部改编为新四军第二师，其所属的第四、第五支队分别改称第四、第五旅。

1945年9月，第二师第四、第五旅和第四师第九旅在罗炳辉率领下，渡淮河沿洪泽湖北进淮阴，从新安镇北跨陇海路到达鲁南。

第七师辖3旅9团，近2万人。师长谭希林，政委曾希圣，副政委兼政治部主任李步新，参谋长孙仲德。该师由新四军第三支队等部发展演变而来，其前身是红军福建省游击队。

抗战爆发后，闽北、闽东红军游击队和闽西游击队一部编为新四军第三支队，开赴皖南作战。司令员由新四军参谋长张云逸兼，副司令员谭震林。同年底，苏南的新四军第一支队第一团划归第三支队，第三支队第六团划归第一支队。之后，第三支队改称新编第三支队。

1941年5月，新编第三支队与无为抗日游击队和“皖南事变”突围出来的部分队伍，合编为新四军第七师，开辟巢（湖）无（为）根据地和含（山）和（县）桐（城）游击根据地。

1943年兼皖江军区，部队编为含江、沿江、皖南、巢湖4个支队和独立团。

同年9月，新四军第二师第六旅第十六团加强第七师。

1945年10月，第七师由皖江北上山东。

一纵队辖3旅9团，共2.2万余人。叶飞任司令员，赖传珠任政委，谭启龙任副政委兼政治部主任，贺敏学任参谋长。司令部由苏浙军区、苏中军区抽调人员组成；政治部由浙东区党委、浙东游击纵队政治部部分人员组成。

第一旅由原苏浙军区第四纵队改称，即原新四军第一师第一旅，抗战时期战斗在苏中，1945年春南下浙西，抗战胜利后北撤苏北。

第二旅为苏南部队，其第四团由新四军第六师十八旅五十二团改称，就是新四军老六团挺进上海近郊西撤时，留在阳澄湖畔的36名伤病员发展起来的部队，苏南“清乡”时转移苏中。

第三旅为浙东部队，由苏浙军区第二纵队改称。