1940年冬，张心一出任甘肃省政府委员兼建设厅厅长。这职务不是他谋求的，是行政院事前没有征求他本人意见情况下安排的。他曾一再坚辞，但终未获准，不得不前往赴任。并决心以“要做事，不要做官”的精神，为家乡人民办些好事。上任之后，履行改革。首先，实行政企分开，取消厅局官员插手管理企业的职权，由各企业组织董事会、理事会管理，消除了建设厅官员以权谋私的弊端。甘肃干旱缺水，他认为建设甘肃的基础是发展水利和林牧业，于是创办水利林牧公司，同时举办了经营轻工业和建筑业的兴陇公司、水泥公司、矿业公司等一批地方企业。其次，大量引进省外资金和人才来办甘肃自己力所不逮的事业。如水利林牧公司就是向中国银行贷款500万元，省内发行水利公债1000万元以取得抵押现金500万元。就是说，甘肃自己一点现金没拿，便集资1000万元资金办起了水利林牧公司。在他任内办理各种建设的事业费、投资、贷款共约38亿元，其中本省自筹的不过1/10。他还利用抗战期间技术人员聚集重庆不能发挥特长的机会，邀请不少人，如水利专家沈怡、原素欣，林学家邓叔群，畜牧学家黄异生，农学家汪国舆、李竞雄、盛家廉等等到甘肃参加建设，解决了甘肃人才缺乏的困难。

    他在6年任期内为建设甘肃主要做了以下几件大事：

    在水土保持方面，他创建了全国第一个水土保护站——天水站。在兰州市徐家山采用水平沟、鱼鳞坑办法造林，以此证明在年降雨量三四百毫米的黄土高原上，荒山造林也是可能的。这个造林示范工程曾受到当时来华访问的美国副总统华莱士的赞赏，说他有澄清黄河的志向。

    在水利方面，为甘肃扩大了约35万亩水浇地，修成当时全国最大的第一座土坝水库——河西鸳鸯池水库，解决了酒泉、金塔两县多年来的争水纠纷。

    在林业方面，他在洮河上游建立一个森林合理采伐，永续利用的示范林场，这个林场一直保持到1970年。玉门油矿要砍伐祁连山的树木建造1万职工宿舍，他坚持用间伐的办法代替成片砍伐，保存了祁连山的一大片森林。

    在农业方面，他推广小麦良种，还从国外引进白花草木樨等上百种牧草、瓜果和蔬菜品种，包括现今驰名国内外的兰州白兰瓜，以及细毛羊种、黑白花奶牛等，同时开展了防治小麦黑穗病，试种甜菜的工作。

    在工业方面，他办起了甘肃矿业公司，开采煤炭，供应陕甘。甘肃水泥公司为西北地区生产水泥，兴陇公司兴办造纸、制革等轻工业。

    在交通方面，修通公路800公里，铁路1000公里。

    张心一当时兴办的事业虽然有成就，也有效果不明显的，但是在那抗日战争的艰苦岁月，在偏僻落后的甘肃历史上，毕竟是一度兴旺的时期。他当时创立的一些企业，也为解放后甘肃省国民经济建设发展打下了良好的基础。

    张心一十分重视人才，也为培养人才做了许多实事。1934年他的父亲去世，他未曾奔丧，寄回老家500元现款，以父亲节约丧事的名义捐赠给老家乌家湾（现抚河谚乡）建房办小学。抗日战争期间，中国银行总管理处迁到了香港，总行的人员都按香港港元支薪，留在内地工作的也按港币汇率折成法币寄到内地。他认为，他的家属都在内地应该同甘共苦，而把超过原法币工资的部分交给金陵大学作奖学基金，以资助从沦陷区出来的学业优良的穷学生。

    抗战期间，新西兰进步人士路易?艾黎（Rewi Alley）利用国际援助款为中国办工业合作，在陕西宝鸡办了一个半工半读培养技术人才的培黎学校，受到胡宗南部属的干扰，办不下去。张心一帮助艾黎把学校迁到甘肃山丹，并将自己的儿子和外甥也送去学习，表示支持，还主动邀请当地开明绅士组成校董会，自任名誉校长，支持艾黎办学，免受国民党特务骚扰。在甘肃省建设厅长任内，他大力提倡从外省招聘专家带动本省技术人员的工作方法，为甘肃引进并培养了一大批科技人员，他们在新中国成立后大多己成为甘肃省经济建设的技术骨干。

    1945年抗战胜利，张心一准备按原先约定辞去建设厅长职务，过了一年他经过整理和考虑，写成《六年来甘肃生产建设》一文，发表在1946年12月31日《甘肃民国日报》，就其所做的工作向甘肃人民作了一个交待，并对甘肃今后的经济建设提出了4点意见，主要是：①交通、大型水利、水电是促进工农业生产的必需条件，非以中央人力、财力提前完成不可；②重工业是轻工业的基础，应当先办；③小型水利、改良农业、种树种草，老百姓都能自办，但政府和地方人士必须重视，认真督导人民继续不断地办；④建设速度取决于人才，但本省人才不够，希望优秀青年选择生产职业担负起建设重任。这足以说明张心一对工作一贯认真负责的精神。

    1947年元旦，张心一离开甘肃省建设厅回到中国银行，任赴外稽核，主管工矿企业投资。但当时国民党蒋介石已掀起反共高潮，向解放区发动全面进攻，并不关心工矿建设，这段时间张心一在事业上没有什么建树。但使他关心政治，关心国事，在他岳父黄炎培和金陵大学校友杨显东等影响下，更关心解放区的情况，也在考虑解放后如何建设新中国。另一方面，有些老同学老同事劝他去台湾。上海解放前夕，原清华同学国民党高级将领孙立人为他准备了飞机票要他去台湾，并许愿到台湾后可以担任农业行政最高长官的高位。此时，张心一已对国民党绝望，并坚信共产党是为人民利益而战的，一定会成功，共产党也一定会要发展经济，发展经济就用得着农业技术人才。所以，他坚决地留了下来，不去台湾。