人工智能是引领新一轮科技革命和产业变革的战略性技术。多项研究结果和数据表明,美国在人工智能基础科研、技术创新、产业应用等方面全球领先,人工智能高水平论文、顶尖学者数量、人工智能企业数量、投资规模等指标均领先于其他国家。
美国政府高度重视人工智能技术创新和发展。根据2020年美国《国家人工智能倡议法案》(National AI Initiative Act of 2020),国会要求国家科学基金会(NSF)与白宫科学和技术政策办公室(OSTP)组建工作组,2023年1月研究制定美国国家人工智能研究资源(NAIRR)基础设施建设路线图,巩固美国在人工智能领域的竞争优势,扩大美国各方获取人工智能关键资源和教育资源的机会,进一步带动美国人工智能创新和经济繁荣。
美国NAIRR建设的背景和意义
建设背景
美国政府认为其在人工智能领域的领先优势正在受到挑战,竞争优势有被削弱的风险,主要存在以下两方面问题。一是人工智能研发投资、教育资源分布不均衡。研究数据显示,从投资看,2020至2021年美国来自私营部门的人工智能投资金额增长超过一倍,但新增人工智能企业数量却在下降;从人才看,美国人工智能博士毕业生的人口种族分布、性别分布与人口实际比例差异较大,将对人工智能创新与发展产生限制。二是科研类机构可用算力资源和数据资源不足。从算力看,当前最先进的算力平台由行业领先私营机构所有,科研机构缺乏支持人工智能研发的算力平台;从数据资源看,人工智能模型训练的主要数据资源由私营机构和大型互联网平台所有,尽管美国政府持续开放数据,但对于人工智能研究而言仍显不足。
工作组指出,缺少充足的人工智能研究资源将限制美国人工智能创新生态,导致顶尖人才由学术研究机构向少部分资源丰富的企业集中,此趋势如长期形成将影响美国的竞争力与创新。2023年1月,经过18个月公开征集意见和讨论,工作组正式提出建设方案,拟申请26亿美元建设及运维资金,计划分四期,在6年内完成NAIRR建设工作,重点实现四大目标:汇聚资源促进研究创新、增强人才多样化、提升基础资源能力、促进可信人工智能发展。
重要意义
NAIRR作为人工智能研究基础设施,面向美国研究院校、学生和非营利组织等机构开放,提供算力资源、高质量数据、教育工具等基础研究资源,平台有望成为美国人工智能研究合作的关键枢纽,巩固其国际竞争优势。
在生态建设方面,美国政府将依托NAIRR联合政府内部相关部门和科研机构,共同开展人工智能领域的合作研究、资源建设,形成广泛的合作生态。NAIRR服务和功能如图1所示。
在数据方面,NAIRR将汇聚联邦政府部门数据,并且与产业界各类机构开展数据服务合作。一是促进人工智能大规模数据资源的汇聚和开发利用,将汇聚、对接美国联邦机构、学术科研机构和科技巨头已开源开放的大规模数据资源,成为美最大的人工智能数据资源服务平台。如美国国立卫生研究院开放超过36PB基因测序数据,美国海洋与大气管理局开放超过10PB天气与环境数据。二是促进人工智能数据管理和治理能力提升。人工智能数据集具有高度碎片化特征,每一个数据集支撑对应专门任务和研究领域,数据标注、数据治理缺乏统一标准,数据管理难度大。NAIRR将推动建立数据汇聚统一标准,规范数据描述格式,促进多方数据资源汇聚。三是推动多方协作的数据资源开发利用。运营实体将运营人工智能数据集社区,激励社区主动开发、建设有价值的数据资源,提供给NAIRR使用。运营实体还将提供数据搜索服务,方便查询联邦机构开放数据和第三方服务商的数据资源。
在算力方面,NAIRR将联合美国主要人工智能计算云平台企业共同建设算力平台,计划对接谷歌、微软、亚马逊等科技巨头云平台,以及美国自然科学基金、美国国立卫生研究院等联邦机构的云平台。平台面向大学、研究机构、学生、初创企业提供不同等级的服务模式和内容,包含数据、算力、测试床、软件工具等多种服务和资源。建成后NAIRR算力资源将包括至少支撑一万亿参数规模机器学习模型训练的超级计算机,以及云计算资源、CPU、GPU和高速网络。
NAIRR基础设施建立并稳定运营后,一方面将不断拓展与政府部门和私营机构的合作关系,扩展平台服务范围和用户范围,宣传成功经验;另一方面,平台推进制定相关标准和规范,参加国际交流与合作,作为美国与其盟国、合作伙伴的基础平台,促进合作研究、数据共享。
美国NAIRR建设方案
美国计划通过系统性方法调动联邦政府及私营机构共同协作,建立面向学术科研的人工智能研究资源基础设施。
一是规划构建多方参与的平台治理体系。NAIRR建议治理结构如图2所示。方案建议建立政府部门多方参与的治理体系,成立指导委员会、管理委员会、项目管理办公室、运营实体、顾问委员会等系列责任机构,协同合作。设立指导委员会,由联邦政府各部门、机构代表组建,是国家层面对NAIRR进行总体规划、制定战略目标的最高决策机构,代表各部门推动国家在人工智能领域的资源投入。设立管理委员会负责对平台运营实体进行指导、管理,以及提供资金和相关资源。方案建议由NSF承担管理委员会的职责。设立项目管理办公室,配合指导委员会对运营实体进行日常性管理与评估。美国国会为项目管理办公室批复资金,支持相关项目管理、门户开发和部署、联合支持、培训和用户支持等费用。设立独立于政府部门的运营实体机构,负责制定NAIRR具体发展目标、组织平台建设和日常运营管理,负责制定透明、公平且合理的资源分配制度,满足各类人工智能研究机构和用户的使用需求。成立由多领域专家组成的科学委员会、技术委员会、伦理委员会、用户委员会,为NAIRR建设提供决策支撑。
二是为NAIRR基础设施运营和建设提供专门资金。建设方案提出6年申请26亿美元资金,其中22.5亿美元用于向服务提供商采购平台算力、软件工具和数据资源,运营机构日常费用为3.7亿美元,此外3000万美元用于基础设施运行情况评估。联邦机构中涉及人工智能研发的均应参与到NAIRR的项目管理中。联邦各部门在人工智能领域的研发投资仍可由各机构独自或合作采购、开发相应的资源,但应纳入管理,并通过NAIRR基础设施提供。
三是NAIRR基础设施分阶段建设,按需扩充算力资源,推动数据资源汇聚。平台建设分为项目启动、建设、试运行和持续运行4个阶段。试运行阶段将可支撑5万用户的规模,能够汇聚使用现有联邦机构数据和私营机构数据。稳定运行后将支撑15万用户使用,建立更广泛的数据资源合作社区。NAIRR将通过制定数据汇聚标准、数据合作开发、提供数据搜索服务等方式开发数据资源,方便数据利用。
新形势下人工智能基础研究资源建设重要性愈发凸显
当前,人工智能新技术、新应用不断涌现,以大型语言模型ChatGPT为代表的新一代人工智能大模型的研究和训练,需要更大规模算力资源和数据资源的支撑,且单次研发投入大幅增长。人工智能大模型训练的算力平台门槛极高,普通机构无法承担巨额研发费用和运营费用。OpenAI研究指出,人工智能模型训练所需要的算力增速呈指数级增长,从2012年到2018年,训练AI模型所消耗的算力增长了30万倍。训练GPT3需要的算力达到3640pfsday(即1PetaFLOP/s效率运行3640天),训练成本预计达140万美元/次,有机构估算ChatGPT初始投入成本约8亿美元。
在人工智能数据集方面,伴随预训练大模型的研究与发展,其训练所需的数据集规模进一步大幅增长,数据规模从以前的百万、千万条,增长到上亿条。当前大模型训练所应用的数据集主要来自互联网,包括维基百科、社交网站、公开期刊、书籍、论文、代码等方面的数据库。有研究指出,“训练数据将成为大模型产业化的最大掣肘之一。从更深层次考虑,大模型在训练数据方面还存在各种治理问题,比如数据采集标注费时费力成本高、数据质量较难保障、数据多样化不足难以覆盖“长尾”和边缘案例、特定数据在获取与使用分享等方面存在隐私保护和数据偏见等问题。”国外学者研究认为,总体语言数据规模以7%的速度增长;高质量语言数据的增长受制于人口规模、经济发展等因素影响,以4%~5%的速度增长。用于训练大语言模型的高质量数据将会在2027年之前“耗尽”。
小结
算力和数据资源是人工智能技术研究的基础支撑要素。在人工智能技术进入“大模型”时代下,算力和数据能力不足将成为算法模型研究和训练的短板。美国正在筹建的NAIRR基础设施有利于解决当前人工智能技术创新发展面临的新挑战,对我国具有一定的参考意义,我国应加强统筹协调,加快算力基础设施和数据基础资源建设,发展数据要素市场,鼓励数据资源汇聚流通,推动人工智能基础技术研究与应用创新。
END
作者:中国信息通信研究院数据研究中心 陆亚鹏 汪卫国
责编/版式:盖贝贝
审核:舒文琼
监制:刘启诚
点赞和在看都在这儿
科技新知 2024-11-01
雷科技 2024-11-01
黑科技老黄 2024-11-01