余心清出生在安徽合肥一个官宦人家，他的祖父曾是淮军一名骁勇的将军，家中颇有产业，曾在南京购置过房产。余心清的童年，是在热闹繁华的南京度过的。余心清是家中的长子，从小就聪颖好学，很受长辈的器重。但是由于家道败落，他没有读完小学就辍学回家。余心清的父亲是一个典型的公子哥儿，整日游手好闲，坐吃山空，以至于在很短的时间内，就将祖上丰厚的积蓄全部挥霍一空。家穷又逢世乱，余心清本有兄弟姐妹十二人，由于贫病交加，生命力稍差的，都先后夭折。最后只剩下他及余文瑞、余恩惠、余恩慈四人。

余心清从小嗜书如命，只要有可能总是找书读。他的继祖母看在眼里、疼在心里。继祖母是个很有见地的人，她知道这个长孙是可造之材，更清楚没有知识便无法成为生活的强者。她决定鼎力支持余心清。继祖母不顾年迈体弱，每天到街上摆摊，以揽针线活儿挣钱。余心清的母亲则带领他们兄妹四人起早贪黑地在自家园地种植蔬菜，然后挑到市场去卖。祖孙三代拼尽全力才勉强供余心清继续上学。

举步维艰的生活，使余心清更加努力学习。他不但成绩优异，而且练得一手好书法，16岁那年就开始代人写书信、状纸，补贴家用。

1915年夏，美国在南京开办了金陵神学院，消息不胫而走。余心清在邻居的闲聊中听到这个消息，顿觉眼前一亮。只要能考进这所学校，非但不用交学费，而且还管吃管穿，最重要的是，他又能走进教室继续学业了。这是天大的好事！他激动不已，当即决定，努力复习，一定抓住这个机会。几个月后，他得偿所愿，以优异的成绩考入了金陵神学院。

4年的读书时光来之不易，余心清格外珍惜，如饥似渴地吸取着知识。1919年，他以优异的成绩毕业，取得了牧师的资格。

年轻的余心清成为一名神职人员。他清楚地知道，宗教的信仰，只能使人们有一时的精神寄托，而真正能帮助人们摆脱战乱贫困的，并不是虚无缥缈的神明，也不是人们期盼的救世主；真正能拯救国家、拯救人民的，就是人民自己。他所要做的，不光是对人们宣讲教义，也要唤醒人们为自己的和平幸福不断努力。因此，作为年轻的新牧师，余心清所讲的，不是上帝的指示，不是圣经上的“福音”，而是呼吁中国人民起来抗争，团结奋斗。他第一次传教在江西，他的布道别具一格，有极强的说服力。

1922年夏天，河南基督教青年会在开封举办了一个夏令营，请了各界名人做演讲。余心清以中华基督教国内布道会代表的身份，也在被邀之列。此时的余心清，是刚刚毕业不久的小青年，比起特邀的著名军政、神职要员，只是个名不见经传的小角色。很自然，他的演讲被安排在最后。然而，出人意料，这个年轻的小伙子口才极好，演讲时声情并茂，抓住了所有在场听众的心。当他结束发言的时候，台下报以极为热烈地掌声。会后，他被听众团团围住。七嘴八舌的提问和索要讲稿，使他应接不暇。

余心清的布道为人们称赞不已。很快，被“基督将军”河南督军冯玉祥闻悉，特地邀余心清到督军府大礼堂，为做礼拜的官兵布道。余心清深知，这对他是一个机会，抓住这个机会，就可能让更多人接纳他的演讲，就可以鼓励更多的人去探索救国救民的道路。经过细心的准备，他的演讲获得了更大的成功。冯玉祥非常欣赏，亲自邀请他做自己部队的随军牧师。从此，余心清步入军界、教育界及政界。

余心清这个随军牧师，与众不同。在军阀混战、民不聊生的年代里，余心清并不满足于做一个传播基督“福音”的神职人员。他每次布道，都在宣讲教义的同时，讲到一些中国现状，讲到世界大局，还讲作为军人应该肩负的拯救国家、拯救人民的责任。他的这一举措，极大地激发了西北军将士的爱国热情、奋斗精神。

有一次，泰安德真中学请他去传道，他给学生们讲的却是中国在列强压迫之下即将沦为亡国奴的危险处境。他指出，中国必须向世界先进的国家学习，方能争取民族之独立，方能争取民主与自由，方能争取国家之兴盛富强。事后，校方以这次讲话煽动性大，有影射政府之嫌为由，不许学生在底下谈论。然而余心清“红色牧师”之名，却就此风传一时