1879年,经英国海军部考核,刘步蟾获得优等文凭后回国。此时,操着满口标准英语的刘步蟾已成为一名阅识丰富的海军军官。李鸿章见他颖达英俊而学有心得,是可充大用的海军人才,遂令其留职于北洋,攫升游击并赏戴花翎,充任“镇北”号炮舰管带。回国之初的刘步蟾对国内海军海防的薄弱状况甚感忧虑(当时最大的军舰只有千余吨);因此他和同学林泰曾一起将留学心得写成题为《西洋兵船炮台操法大略》的条陈,上呈给李鸿章,提出“非拥有铁甲等船自成数军决胜海上,不足臻以战守为妙”,建议实行积极的海上防御战略。1880年,清政府向德国订购“定远”号、“镇远”号铁甲战列舰和“济远”号巡洋舰;刘步蟾奉派赴德国驻厂监造,并研究枪炮、水雷技术。同年冬,他又被派为驻英国海军随员,接收向英国订购的“超勇”号和“扬威”号巡洋舰。1885年秋,刘步蟾将“定远”号战列舰等接驶回天津大沽,即被任命为“定远”号战列舰的管带,攫升参将,旋升为副将,获赏“强勇巴图鲁”勇号。此时,清廷吸取了中法战争失败的教训,大举兴办海军,组建了以光绪皇帝的父亲奕譞(醇亲王)为首的总理海军事务衙门(简称海军衙门)。
随着多艘新军舰相继之购入,北洋舰队于1888年秋正式组建成军。刘步蟾作为旗舰“定远”号的管带,出任北洋舰队右翼总兵,获得清廷颁发的头品顶戴。时年仅36岁的刘步蟾就成为具有一品顶戴的高级海军将领,正可大展宏图。刘步蟾“自幼束发习海军,数十年衽席风涛,远涉重洋,不辞艰险,而胆识才干,亦屡经磨练而长进。”他为中国近代海军、特别是北洋舰队的创建和发展,做出了重要的贡献。当时海军海防大举兴办,极缺人才和经验,加之北洋舰队提督丁汝昌是陆军行伍出身的将领而不懂全新的海军业务,因此接受了多年良好正规教育训练的刘步蟾自然被委以各项建军之重任。中国第一部正规的海军法典《北洋海军章程》等一系列重要的海军法规文献,多是由刘步蟾参加或负责具体拟订的。
由于舰队提督丁汝昌是海军门外汉,因此北洋舰队的训练工作亦由刘步蟾具体负责主持。当时担任“定远”号总管轮的陈兆锵(后在民国时期晋升为海军中将)在其九十高龄时回忆说:“丁乃行伍出身,未涉海军门径,凡关操练及整顿事宜,悉委步蟾主持。每夏秋之间,则驻防操演,巡弋辽东、高丽一带;或率两、三舰,往日本各口岸,冬、春则巡察南洋群岛,习以为常。”刘步蟾不负上命所望,“治军严肃,凛然不可犯”,深得官兵们的拥戴。北洋舰队组建之后,清廷为之沉醉,便停止了增购军舰扩建海军的步伐。刘步蟾对此深为忧虑,他认为“日本增修武备,必为我患”。为此,他特别亲自面谒李鸿章,进言按年添购铁甲战舰以扩建海军。当李鸿章未置可否时,刘步蟾进一步慷慨直言道:“相公居其位,安得为是言!且平时不备,一旦偾事,咎将谁属?”刘步蟾的此番直言,引得四座悚然不已,而李鸿章竟也为他这一片赤诚坦荡之情所感动。但由于封建朝廷的昏庸腐败,刘步蟾的一系列加强海军海防的建议和主张,都未获采纳。