ChatGPT 参与知识生产的 技术路径、应用与挑战
刊载信息
王仕勇 张成琳，《ChatGPT 参与知识生产的 技术路径、应用与挑战》，《教育传媒研究》2023年第3期，学术引用请参考原文。
内容摘要
ChatGPT 技术的崛起给知识生产领域带来了颠覆性变革，其凭借优异的自然语言处理技术和算法让知识生产进一步走向智能化、自主化、高质化、仿真化和个性化，未来有望在与知识生产密切相关的教育培训、新闻媒体和学术研究等领域充当重要角色。但 ChatGPT 在参与知识生产的过程中，也面临着真实性和可靠性待评估、学术伦理和知识产权遭遇冲击，以及人类生产知识的潜能和自主性面临消解等严峻挑战。由此，本文认为我们需要牢牢把握知识生产以人为本的原则，重新思考强人工智能时代下的人机协作与融合方式。
关键词
ChatGPT；知识生产；人工智能；深度学习； 学术伦理；知识产权
近年来，人工智能（AI）在参与知识生产领域的应用呈现出多种方式，涉及多个领域，例如自然语言处理、计算机视觉、机器学习，等等，但总体智能化水平较低、自主性较差，难以摆脱弱人工智能的标签。2022 年 11 月 30 日，美国人工智能公司 OpenAI公司推出了聊天机器人 ChatGPT，这款引领自然语言处理技术革命的机器人迅速在全球范围内引发现象级关注，一周内其用户数量就突破百万。作为一款基于深度学习技术的自然语言处理工具，ChatGPT 具有自动生成、摘要和翻译等多种任务的能力，广泛应用于文本自动生成、自然语言处理和知识管理等领域。ChatGPT 的迅猛发展被誉为“AI 时代的二次复兴”，意味着人类告别弱人工智能时代。
一、ChatGPT 参与知识生产的技术路径
人类知识形态经历了从经验形态到分科的原理形态知识，再从原理形态发展到在信息技术平台上形成的差异化或交叠形态的知识。计算机的广泛应用不仅实现了知识的大规模组合，而且促进了知识层面之间的协作和互动，颠覆了传统的知识生产方式。首先接受变革的就是作为知识载体的语言。随着计算机技术的进一步发展，人们希望计算机能够像人类一样处理自然语言，NLP (Natural Language Processing, 自然语言处理 ) 技术应运而生。作为一种机器学习技术，NLP 致力于研究计算机如何理解、分析和生成自然语言。ChatGPT（Generative Pre-trained Transformer）便是一种基于自然语言处理的模型。它依托 LLM（Large Language Model, 大型语言模型），通过创新性地利用 transformer 模 型 和 自 注 意 力 机 制（Self-Attention Mechanism）等技术，同时使用 RLHF（Reinforcement Learning with Hindsight Feedback，人类反馈强化学习）进行训练 ，实现了更加自然化的对话交互，让知识生产更加智能化、自主化、高质化、仿真化和个性化。
（一）依托大型语言模型（LLM）的智能化生成和自主化学习
ChatGPT 采 用 预 训 练（Pre-training） 和 微 调（Fine-tuning）的两阶段训练方式进行模型训练，而LLM 便是其进行预训练的基础。LLM 指采用大规模预训练的深度学习语言模型，通常由数十亿或数百亿的参数组成，因此需要在大规模数据集上进行预训练。ChatGPT 的模型参数多达 1750 亿，不仅包括一些公开语料库，还包含 OpenAI 自己爬取的超过万亿单词的人类语言数据。在海量数据的基础上，ChatGPT通过 MLM（Masked Language Model，掩码语言模型）和 NSP（Next Sentence Prediction，下一句预测）实现预训练。MLM 可以将输入文本中的某些单词随机替换成掩码字符，并通过模型对这些单词进行预测，NSP 可以让模型预测两句话之间是否有逻辑关系，从而使模型能够对语言结构和语义进行建模，进而模仿训练文本，智能化生成各种语言表达，包括对话、文章、摘要和翻译等。
依托 LLM 的 ChatGPT 还能自主发现语言模式和规律，自主调整模型参数，自主适应各种任务和场景，从而实现高效的自主化学习。具体而言，在预训练阶段，ChatGPT 依托 LLM 对大规模语料进行无监督学习，学习语言的基本规律和语义结构。LLM 可以帮助ChatGPT 自主地发现语言中的隐含模式和规律，从而更好地理解和生成自然语言。在微调阶段，ChatGPT在依托 LLM 的基础上，根据用户输入的数据进行有监督学习，自主地调整模型参数，自主学习和适应各种特定任务和场景。例如，ChatGPT 可以利用 LLM对话的历史信息，在对话生成任务中自主调整模型的生成策略和语言表达方式，从而更好地满足人类更加高效、精准和个性化的知识生成需求。
（二）基于 transformer 模型的高质量知识表示和推理
知 识 表 示 与 推 理（Knowledge representation and reasoning，KR2）是人工智能领域的一项重要研究课题，是计算机有效处理知识和信息的基础，也是人工智能“弄懂”自然语言并输出高质量知识的关键。人类用自然语言对知识进行表示，但这种表示方法并不能被机器接受，于是发展出了能够将文本信息转化为计算机理解形式的知识表示方法。ChatGPT 采用的是向量表示法，即将每一个知识和概念等表示成一个多维向量，便于计算机理解和处理，而其获取向量的技术支撑便是 transformer 编码器 - 解码器模型。transformer模型是一种基于注意力机制的深度神经网络模型。多层的 transformer 模型构成分层结构，每一层都包含多头自注意力机制和前馈神经网络，能够更好地捕捉上下文信息和对多层处理输入文本，并将文本转化为富含语义信息的向量表示，用于后续的知识推理任务中。transformer 模型的核心组成部分自注意力机制，能够在不同层次、不同位置上自适应地聚焦不同的语义信息，帮助模型理解文本知识和推理规则。它可以将已有知识与先验语言知识有效结合，推理出新的结论和概念，以此让 ChatGPT 更好地理解复杂的语言推理任务，实现多轮对话和常识推理。有学者比较了ChatGPT 和 GPT-3.5 (textdavinci-003) 在不同任务上的零样本学习性能，研究发现，ChatGPT 的确在许多有利于推理能力的任务上有良好表现......
（本文为文章截选，完整版请见《教育传媒研究》2023年第3期，本刊已入中国知网、万方、维普等相关学术数据库）
作者
王仕勇
广西大学新闻与传播学院院长、教授
张成琳
马来西亚国立大学人文与社会科学学院博士研究生
