美国教育部发布：《利用人工智能进行教育设计》

2024年7月，美国教育部教育技术办公室发布《利用人工智能进行教育设计》指南，旨在通过教育技术创新，改善全美教育系统。该指南为产品负责人及其创新团队、设计师、开发人员、面向客户的员工和法律团队提供信息，帮助他们在创建用于教育领域的人工智能产品和服务时，努力确保安全、可靠和值得信赖。元战略编译该指南重点内容，为如何设计和开发利用人工智能改善教学的产品提供借鉴。

●一、政策背景●

2023年10月，拜登政府发布《关于安全、可靠地开发和使用人工智能的行政命令》，行政命令规定，为确保在教育部门负责任地开发和部署人工智能，教育部长应在本命令发布之日起365天内，制定有关人工智能的资源、政策和指南。这些资源应涉及在教育领域安全、负责和非歧视性地使用人工智能，包括人工智能系统对弱势和服务不足社区的影响，并应酌情与利益相关者协商开发。根据此命令，美国教育部教育技术办公室编写该指南，与学生、家长、教育工作者以及开发商、行业协会和非营利组织一起，举行了一系列广泛的公开听证会。与会人员分享了他们当前的安全和安保方法、用户所面临的风险、关于支持和资源的建议，以及对未来建立信任机会的看法。除此之外，该指南还借鉴了美国许多关于人工智能的出版物，如美国科技政策办公室的《人工智能权利法案蓝图》和美国国家标准与技术研究院的《人工智能风险管理框架》。

●二、建立信任的共同责任●

通过听证会，美国教育部了解到《2023年人工智能报告》中的一项关键建议“优先加强信任”引起了开发人员的共鸣，并呼吁他们采取行动。开发人员认识到“信任”在他们所参与的教育技术生态系统中的重要性。信任能优化开发人员和教育工作者之间的共同设计过程，从而共同创造和推广创新产品。因此，开发人员可以从了解如何与生态系统中的其他人合作以加强信任中获益匪浅。

（一）信任是共同的责任

关于人工智能的行政命令从标题开始就明确指出，联邦政府有责任促进“安全、可靠和值得信赖的发展”，并阐明了分担责任的立场。由于技术发展日新月异，开发人员可能会发现，除了关注和遵守当今的联邦准则和防护措施外，赢得信任也很有价值。一个重要的例子是软件与信息产业协会的《人工智能在教育领域的未来原则》，其中阐明了七项原则。美国人工智能教育研究非营利机构TeachAI也制定了人工智能教育原则，作为其人工智能学校指导工具包的一部分，以指导人工智能在教学中的有效开发和应用。

教育技术生态系统的其他成员也在承担责任，为信任创造条件。各级教育领导者都在编写自己的指南，开发者可以从这些资源中了解教育工作者正在采取哪些措施来增进理解和提升能力；加强采购流程；保护隐私、安全和公平；以及管理其他形式的风险。此外，在即将根据人工智能行政命令开发的《教育领导者工具包》中，美国教育部将引导教育者之间的共同对话。许多非营利组织也在开发有用的工具包和资源。作为教育技术生态系统的主要参与者，美国教育部鼓励开发者负责任地与生态系统互动，以建立信任。

（二）积极管理人工智能的风险

通过与开发人员的交谈，美国教育部注意到，开发人员在如何与他人合作方面发生了重要转变。一些开发者公开分享了他们识别、优先排序和管理风险过程的细节。在开发者公开讨论风险管理时，美国教育部建议关注两类流程：（a）技术开发流程，以产生值得信赖的系统；（b）参与策略，在开发者和其他生态系统成员之间建立信任关系。在考虑风险时，必须注意到人工智能正在迅速发展。例如，正当教育工作者逐渐熟悉以文本为导向的聊天机器人时，行业正在发展并发布多模态功能，为潜在风险增加了新的层面。因此，本指南要求开发人员采用风险降低流程，以应对当前可预见的风险和新出现的风险。

风险不仅是技术固有的，在人与技术交互时也会出现风险。当人们使用人工智能时，可预见和不可预见的风险都会出现。在《2023年人工智能报告》中，美国教育部建议“让人类参与其中”，然而，要求教育工作者审查人工智能的每一次使用或每一次基于人工智能的产出既不现实，也不公平。无论是在开发过程中，还是在产品实际使用过程中，开发人员都有责任“参与其中”，对人工智能的使用和产出进行审查。

（三）协调创新与责任

开发人员用“堆栈”这个形象的比喻来描述产品是如何由分层或连接的组件构建而成的。开发堆栈是协调复杂组织中众多创新者工作的一种有效方式，它协调了整体产品或服务的生产和市场交付方式。美国教育部大力鼓励开发组织现在通过协调的“责任”堆栈来定义平行优势。这种责任堆栈将确定复杂的教育技术开发组织中的人员如何共同努力，以赢得其产品的教育用户的信任。

事实上，开发人员以前可能会强调其组织中的一个特定风险管理办公室或角色，如数据隐私角色，但在人工智能时代，仅有一个人负责安全是不够的。虽然这些现有的风险管理角色应该继续存在，但还需要更多的角色来解决训练数据中的代表性问题、衡量和减轻算法偏差、纠正输出中的错误和误报，以及解决其他问题。特定的风险将出现在特定的组件（如大语言模型组件与计算机视觉组件）、组件之间的交互，以及构建和集成人工智能系统的不同阶段（如收集用于训练的数据集、根据数据构建人工智能模型，以及根据这些模型设计用户交互）。教育开发者可以检查其内部角色和流程的组织方式，以实现对负责任的人工智能的持续关注。美国教育部注意到，许多人工智能开发商正在制定自己的负责任人工智能原则，公众将受益于对责任的公开承诺和对这些承诺的问责。因此，美国教育部强烈敦促开发者解决如何将他们的“创新堆栈”（共同合作提供新能力的组件）与平行的“责任堆栈”（共同合作降低每个组件和开发阶段风险的角色）相结合的问题。

●三、从教育设计到赢得信任的途径●

通过听证会，美国教育部听取了开发人员和教育工作者对教育领域人工智能的关切，对这些问题进行分类，并围绕以下五个关键的共同责任领域编写了该指南：

（一）为教育而设计

开发者应从了解教育的具体价值开始。在许多例子中，美国教育部看到教育工作者站出来阐述价值观，如在循环中以人为中心，关注优先教育挑战，如阅读、科学、数学和计算机科学教育。此外，应将教育工作者和学生的反馈意见纳入产品开发、测试和改进的各个环节，以确保充分满足学生的需求。

（二）提供理由和影响的证据

这对于决定采用或采购哪些教育技术产品非常重要，尤其是在产品的目标是提高学生成绩的情况下。美国《1965年中小学教育法案》和教育决策者都要求开发者提供产品或服务能提高学生成绩的证据。例如，在采购方面，教育机构对所需的证据提出了明确的要求。

（三）促进公平和保护公民权利

这是美国教育部和政府的一项基本承诺，也是公众听证会上开发人员和教育工作者的核心关切。例如，开发人员应警惕数据集中的代表性和偏见问题、系统中的算法歧视问题，并确保残疾人的无障碍环境。

（四）确保安全、可靠

关于人工智能的行政命令和相关的行政指南都强调要确保安全、可靠。教育决策者正在清晰地阐述他们对数据隐私和安全的要求，并详细说明人工智能时代的其他要求，如公民自由。为了负责任地参与生态系统，开发者需要详细说明他们将采取哪些行动来确保人工智能用户的安全。

（五）提高透明度和赢得信任

这是一个重要的总体目标。要赢得信任，就必须重视上述所有价值观，此外，还有一个重要的沟通层面，即超越产出的沟通。例如，信任需要透明度和其他公开承诺，以便在技术供应商和用户之间建立互信。开发人员、教育工作者和其他相关人员共同参与定义和协作行动，也能建立信任。

●四、结论●

教育决策者对利用人工智能新功能的产品和服务持谨慎乐观的态度。正如该指南所述，教育工作者看到了大量利用人工智能实现其教育机构愿景的机会，但他们必须充分了解必须应对的风险。因此，教育决策者们强调，既要关注重要机遇，又要采取有力、明确的措施来应对风险，这具有双面性。这种双面性决定了当今教育开发商的市场机遇。

随着开发人员在教育领域推出新的人工智能应用，“赢得公众信任”至关重要。美国教育部设想建立一个健康的教育技术生态系统，强调提供者、评估或推荐者以及在教育环境中采购和使用技术者之间的相互信任。美国教育部发现，在该部的《2023年人工智能报告》中，电动自行车的比喻是整个生态系统讨论的良好起点：教师和学生在利用人工智能的能力加强教学和学习的过程中，应该掌握控制权。就像骑自行车的人可以控制方向和速度，但在电动自行车传动系统的帮助下可以节省体力一样，教育参与者也应保持控制力，在技术放大他们的选择和行动时，能够将节省下来的体力和时间用于进行最有影响力的互动和活动。开发人员在设计人工智能教育系统时也应采取预防措施，以确保安全，并赢得公众的信任，正如骑行者希望电动自行车的开发人员能够确保骑行者的安全和安保，并赢得公众的信任一样。

免责声明：本文转自元战略。文章内容系原作者个人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！

转自丨元战略

研究所简介

国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。

地址：北京市海淀区小南庄20号楼A座

电话：010-82635522

微信：iite_er