1937年9月，陈丕显找到叁南游击支队，1938年初，这支游击队100多人编入新四军1支队2团2营，张日清则到新四军教导队学习。1941年1月皖南事变时，24岁的张日清任新四军新叁团参谋长。他按照叶挺军长的命令，带领所属部队占阵地，阻击茂林方向顽军的进攻，保卫军部。鏖战七天七夜，子弹打光了，就拿起手榴弹；手榴弹打光了就用枪托刺刀和敌人拼杀。最后顽军纵火烧山，张日清急中生智，叫大家先将阵地周围的杂草树木烧掉，以切断火路，才稳住阵地。在受命突围中，部队被打散，张日清隐藏在一所祠堂神台后面，摆脱了敌人的追捕，收集二叁十人秘密北渡长江，到达苏北新军部，分到１师，任２旅６团团长。参加了反"扫荡"、反"清乡"、二遥战斗、邦丰战役、高邮战役、七战七捷以及涟水、宿北、枣庄、菜芜、孟良崮、豫中、淮海、渡江等一系列战役战斗。建国后，任第十四步兵学校政委。1955年毕业于军事学院政治系。后历任军政委、山西省军区第二政委、北京军区副政委。

　　文革时张日清任山西省军区第二政委。1966年12月，江青、康生两次电召山西省副省长刘格平进京，指使他“站出来”夺山西省委的权。刘格平是1926年参加革命的老干部，从事地下工作两次入狱，1936年张日清因对中共中央关于履行手续出狱的指示有怀疑，拒绝执行，1944年始出狱，是赫赫有名的8届中央委员。1967年1月5日，刘格平在张日清的配合下，召集秘密会议，拟定中共山西省核心小组名单，由刘格平、张日清、袁振、刘贯一、陈守忠组成，张日清任顾问。1月12日刘格平指挥夺权，2月26日张日清任山西省无产阶级专政委员会主任，这个机构是一个创造，后来演变为革委的保卫组。叁个月内，山西省无产阶级专政委员会抓捕了1100人，使太原处于一片恐怖之中。3月18日张日清任山西省革命委员会副主任。1967年夏，山西的造反派分裂成拥护刘格平的红总站和拥护张日清的红联站，发生武斗。中共中央试图解决造成山西分裂的领导班子不团结的问题，便把山西省核心小组的成员召到北京，康生严厉批评了张日清，表扬了刘格平。据说是毛泽东的意思，当时毛泽东就山西局势发了一条最高指示：让一直旁观的69军站在刘格平一边，支持刘格平。张日清不大看得起陈永贵。据说曾在背后贬低说陈永贵算个什么，大老粗，斗大的字认不了几个。陈永贵在这次会议上训张日清：“我们的话你一句也不听，”，“我们的话你听上百分之二十，扣除百分之八十，你也犯不了那么大的错误。”

　　1969年张日清当选九届候补中央委员，毛泽东后来对张日清的表现不满，在一次会议上提到他，说：“张日清还在闹啊？”同年中央解决山西动乱问题，69军接管了刘格平的权力，张日清与刘格平一同退出政坛。张日清1955年被授予少将军衔。获二级八一勋章、二级独立自由勋章、一级解放勋章。1988年被授予一级红星勋章。