在粟裕领导下，二支队在取得一系列游击战胜利的同时，较好地开展抗日民族统一战线工作，卓有成效地做好群众工作。粟裕对敌后抗战中的群众工作，也有许多新的见解和观点。他认为，中日战争爆发，民族矛盾是主要矛盾，这种情况下的群众工作较之国内革命战争时期有着许多新的特点：日本侵略军是中华民族的共同敌人，侵略他国使其根本没有社会基础，因而它比国内革命战争时期的阶级敌人还孤立。江南平原、水网地带虽不如山地较容易开展游击战，但内在潜力较山区有过之而无不及。江南人口众多，物产丰富，能给新四军更多的人力物力支援。只要把群众组织起来，新四军非但能生存，而且能发展，同样也能建立较大根据地。
粟裕十分注意发现群众中的积极分子，努力培养他们成为群众的领袖。他认为，这样做，“新四军就与群众之间搭起了桥梁，架起了一条线”。在粟裕的组织领导下，二支队活动区域普遍建立起了农抗会、妇抗会、青抗会、工人救国会、商界救国会、教育界救国会、儿童团等群众抗日团体，一些地方还发展了新党员，成立了共产党的组织。
二支队防区周围有巫恒通、樊玉琳、孔庆哲等地方实力派武装。粟裕与他们频繁接触，对他们做了大量统战工作。巫恒通领导的自卫武装后来接受新四军的领导，1939年初成立的新四军新三团，就是以巫恒通领导的自卫武装为基础组建的。1939年9月下旬，国民党当涂县政府恢复组织，粟裕领导的二支队很快与他们加强了联系，双方约定交换军事情报，共同组织县的动员委员会，修理军械，医护伤病员，领导人互访，达成了合作抗日协议。
粟裕认为，开展抗日民族统一战线工作，应首先在开明士绅中找对象，通过他们去扩大统一战线更容易收效。有些士绅、地主吃过日、伪军的亏，心中有一股怨气，去做他们的工作往往是容易成功的。新四军英勇善战和模范遵守纪律的影响、教育作用很重要，这样会使这些人正确地认识共产党、新四军，并对共产党、新四军产生向心力。政策和力量是做好统一战线工作之根本。对开展抗日民族统一战线工作的方式和细节，粟裕也总结出不少新经验。他认为，对象不同，方式不同，要有适当分寸。有时要负责人亲自出马，同他们接触周旋，给他某种面子，甚至抬他一下；有时负责同志就不能出面，以免增加他欺骗群众的资本。
新四军对日、伪作战取得一系列胜利，在江南敌后百姓之中树起了崇高的威信。日、伪军连遭打击再也不敢轻易出动，群众的利益得到了某些保障。随之而来的便是群众积极要求抗日和参加新四军，部队迅速发展壮大。
粟裕对那些勾结日伪、阻碍抗战、残害群众的土匪武装，经多次教育无效的，采取了坚决的打击行动。粟裕认为，非此不能更好地发动群众，非此不足以平民愤，非此不足以严惩汉奸卖国贼。国民党溃军军官朱永祥率众千余人，自称“苏皖游击司令”，名为抗日救国，实则扰民诈财，不亚寇匪。群众恨之入骨，称之为“小日本”。后来朱永祥竟发展到与日伪沆瀣一气，勾结日伪袭击新四军。1938年7月6日，新四军一支队一部与二支队一部在当地民众武装配合下，将朱部一举歼灭。朱永祥被活捉，解送国民政府第三战区司令长官部法办。百姓无不拍手称快。
挺进江南敌后的新四军经过半年多的斗争，在敌后先后建立起了茅山、丹北、横山、江句、句北、小丹阳等十多块小型的游击基地，拥有40万人口。