由于武衡在东北卓有成效的工作，于1954年1月被调到北京，任中国科学院副秘书长。他拜会郭沫若院长时，郭对东北分院的工作倍加赞赏，希望把他们的经验推广到全国。他刚到任，就协助郭沫若院长起草了《关于中国科学院的基本情况和今后工作任务的报告》。此报告于1月28日经政务院批准，成为中国科学院以后多年的指导方针和行动纲领。

    按此报告精神，中国科学院成立了学术秘书处并筹组4个学部(后增至5个)。武衡负责学术秘书处的日常工作。当时中国科学院共有36个研究机构，专业研究人员1725人，其中副研究员以上的347人。面对这样一个机构庞杂、全国著名学者荟萃而且举世瞩目的工作集体，任务是十分复杂艰巨的。学术秘书处参与制定了两项具战略意义的决策。一是建立研究生制度。1955 年8月5日国务院全体会议通过了《研究生暂行条例》，由周恩来总理签署命令公布实施。这是中国第一次有了培养高级科研人员的法令。与此同时，通过并发布了《中国科学院科学奖金暂行条例》，这是全国最高的学术奖励。培养高级科技人才，建立研究生制度，对有重大成就的科学研究工作或成果论著给予奖励，是发展科学事业的重大战略决策，并有深远的历史意义。由于“左”的路线干扰破坏，科学奖励制度不久就夭折了。研究生制度在“文化大革命”中也被迫中断，这对中国科学事业的发展造成了难以弥补的损失。

    武衡在学术秘书处参与的另一项重要工作是新建及调整研究机构，使其地区布局更加合理。1955年底，中国科学院研究机构共45个，研究人员占人员总数的28.9%。各产业部门和高等院校的研究机构也做了大量工作，取得不少的成果，为第一个国民经济五年计划的实施做出了重要贡献。1953年中国科学院作为国家最高学术机构的思想逐渐被广大科学家和领导干部所接受。为了加强学术领导，按学科分类，成立学部，设学部委员。学部只管学术领导，不管行政事务。经过一年多紧张筹备，从31个学科中共选233位学部委员，1955 年6月1日召开了学部成立大会。武衡自始至终参加了学部的筹创，并当选为生物地学部学部委员。

    1955年9月15日，中国科学院第39次院常务会议通过了“关于制订中国科学院15年发展远景规划的指示”，这就要求学术秘书处去研究15年发展的总布局。武衡率全处人员，根据各学部提出的草案进行综合平衡，征求有关科学家意见后报院常务会议。这个规划后来缩为12年，规划的方针经反复研究，最后确定按“任务带学科”来制定。1956年在北京召开了中国科学技术发展12年远景规划的会议，提出了57项任务，下分为6169 个研究课题。规划还包括建立科研机构、培养干部与国际合作等内容。此规划是较全面的、高水平的，对中国社会主义建设和科学技术发展具有重大意义。

    1957年初，武衡调任国务院科学规划委员会副秘书长。该委员会是掌管全国科学事业方针、政策、计划和重大措施的领导机关，并对中国科学院、产业部门、高等院校三大系统的研究事业进行协调。该委员会与国家技术委员会于1958年底合并，成立国家科学技术委员会，聂荣臻为主任，武衡与范长江、韩光等被任命为副主任。这标志着中国科技事业有了统一的领导，开始了新的阶段。

    1956年初，中国科学院副院长张稼夫与武衡向周恩来总理汇报工作时，谈到对国际科学技术发展了解甚少，周总理当即指示要尽快建立科技情报机构。武衡积极参与筹划，从中国科学院各所抽调人员，于同年10月正式成立中国科学院情报研究所，袁翰青任代所长。后扩大为中国科学技术情报研究所，附设科学技术资料馆。为了解决科研的条件问题，搞好后勤服务工作，中国科学院经大量调查研究，提出了《全国图书协调方案》、《改进档案资料工作方案》、《改进科学仪器生产修配和供应方案》、《改进化学试剂工作方案》四个草案，上报国务院，于1957年9月6日得到批准。科学规划委员会下设图书、资料、仪器、化学试剂4个小组，分别负责组织实施。武衡分管这方面的工作。

    图书组按规定在北京和上海建立第一和第二“全国中心图书馆”。北京图书馆应成为全国图书馆的核心和图书业务辅导中心。同时还要建立地区性的中心图书馆。为了有计划地大量收集、进口国外科技图书资料，根据陈毅外长的意见，将原来国际书店进口图书的任务由国家科委接管。武衡具体承办，1963年正式成立了中国外文书店(1973年改名为中国图书进口公司，1981年改为中国图书进出口总公司)。档案资料组提出建立统一的档案与资料工作制度，建立系统完整的科学技术档案是一项开创性的工作，对科学技术的发展和社会主义建设具有重大意义。

    仪器设备与物资器材组的工作是为了协调、改进科学仪器生产、修配和供应。在与有关部门疏通好的情况下，武衡请聂荣臻副总理向国家的计划、物资部门正式提出要求。1962年批准在北京成立中国科学器材公司，由国家科委直接领导。1964年又经国务院批准，在天津、辽宁、湖北、四川成立4个中国科学器材公司的分公司，初步形成了全国科学技术服务网。化学试剂组的工作是要求北京、上海发展成为化学试剂生产基地，同时充分发挥天津、大连、沈阳、成都、哈尔滨等地现有试剂厂的生产能力。后来，北京、上海等9个城市建成全国化学试剂供应网，按通用试剂(1600-2000种)目录供应全国用户。上述4个小组的办事机构分别设在各主要负责单位，所以，在短短时间内科学研究工作条件显著改善。

    武衡在“文化大革命”中虽然遭到冲击，但他始终不渝地忠于党的事业。1971年，他重回中国科学院工作。1972年任党组副书记，1978年重又担任国家科委副主任，党组副书记。他极力主张要在“四五”期间搞点振奋人心的课题，扭转当时科学技术停滞不前的局面。他还认为，科学院应该研究新兴的科学技术问题，要尽快将新的研究成果交给工业部门。武衡与中国科学院其他领导一起，又抓了机构的重建，为了恢复学术领导，1973年1月决定成立科研工作组;2月恢复了中国科协工作;3月成立了科学出版社领导小组，经过半年多的工作，中国科学院的领导体制、机构设置基本就绪。武衡等主持中国科学院日常工作后，把工作重点由原来主管全国各地方、各部门之组织协调工作转到抓该院各研究所的具体研究工作中去，具体地说是抓科学研究成果，抓经费条件，抓标准工作。