朱元璋在和州驻守几个月后，粮食供应成了问题。与和州相对，紧靠长江南岸的太平(今安徽当涂)、芜湖是盛产稻米的地方，但是没有船只，只能望江兴叹。这时恰好两支红巾军的巢湖水军前来归附，朱元璋亲自处理合并事宜。七月间，巢湖水军千余只战舰突破元军封锁抵达和州。朱元璋的步马军登上巢湖水军的船只，从和州东渡长江。到达对岸的采石，常遇春一马当先，率军冲杀，攻克采石，获得大量粮食。将士想把粮食和战利品运回和州慢慢享用。见此，朱元璋果断地命人砍断船缆，任船顺流而下，断绝退路。将士们见无路可退，一鼓作气，在朱元璋率领下攻克太平。进入太平，朱元璋重申军纪，严禁掳掠，有个别兵士犯禁，立即处死，因此，朱元璋的军队受到当地百姓的拥护。朱元璋于是置太平兴国翼元帅府，自己做元帅，任命李善长为帅府都事。这样，朱元璋便开始了稳固根据地的工作。
　　至正十六年（公元1356年）三月，张士诚在长江三角洲地带发起攻势，进攻江南元军。乘此机会，朱元璋亲自统率水陆大军，第三次进攻集庆(今江苏南京)。在第三天，攻破城外的陈兆先军营，其部三万六千人归降朱元璋。但是，朱元璋看出降军心存疑虑，军心不定。于是朱元璋就从降军中挑选了五百名勇士当亲军，在夜里守卫，而自己身边，只留有亲兵统领冯国用一人。
　　第二天，降军知道此事，都十分感动，疑虑全消，甘愿跟随朱元璋打天下。于是，战争进行得十分顺利，不到十天，朱元璋便攻下集庆。
　　朱元璋进城后，下令安抚百姓，改集庆为应天府。小明王韩林儿获报后，升朱元璋为枢密院同佥，不久又升为江南等处行中书省平章。朱元璋在应天则设天兴建康翼大元帅府，以廖小安为统军元帅，李善长为左右司郎中。
　　此时，尽管朱元璋拥有十万兵力，声势比过去大了很多，但是占有的地盘仍然很少，而且四面受敌。东面和南面是元军，东南是张士诚，西面是徐寿辉，虽然同是反元武装，但是张、徐二人同小明王却相互敌视。不过，北面小明王、刘福通率领的红巾军主力，大大牵制了元军，而且，张士诚、徐寿辉的力量还不足以兼并朱元璋。这样一来，朱元璋暂时没有对付不了的敌人，并且面临着一个很好的发展机会。
　　在完成了“高筑墙”的部署后，朱元璋便着手实行“广积粮”了。在初期，军粮的解决主要是靠强征，即征收“寨粮”。但是长此以往，军队就会成为纯粹的破坏力量，失去民心。为了解决粮食问题，朱元璋除了动员百姓进行生产外，决定推行屯田法，大力开展军队屯田，任命元帅康茂才为都水营用使，负责兴修水利，又分派诸将在各地开垦种田。几年工夫，到处兴屯，府库充盈，军粮充足。在1360年，朱元璋下令不再征收“寨粮”，以减轻农民负担。为了积粮，朱元璋明令禁酒，但是其手下大将胡大海的儿子胡三舍与别人违法犯禁，私自酿酒获利，朱元璋知道后，下令杀了胡三舍，有人进谏说胡大海此时正在攻打绍兴，希望朱元璋可以看在胡大海的面子上放了胡三舍。执法如山的朱元璋大怒，坚决严明军纪，于是自己动手将胡三舍杀掉。
　　在争取民心的同时，朱元璋还不断网罗人才，特别是地主阶级的知识分子，朱元璋在应天还专门修建了礼贤馆来接待他们。这些人在朱元璋统一全国的过程中起了重要作用，如李善长、朱升。朱元璋十分尊重儒士，他曾在1358年召见儒生唐仲实（即唐桂芳，以字行），询问汉高帝、汉光武、唐太宗、宋太祖、元世祖平定天下之道，这也表明朱元璋决心要开创一个新的封建皇朝。