“打工人狂喜!”
“今天也是濒临失业的一天……”
美东时间3月16日晚,在围观微软发布人工智能(AI)助理Copilot时,几位互联网从业者在群聊中亦忧亦喜。
微软公司宣布,在GPT-4的加持下,未来,用户可在Office产品中使用Copilot一键生成PPT及Excel,如果你想,Word甚至可以通过你的简短描述生成一篇文章初稿。
就在这一年的初春,艾伦·图灵、约翰·麦卡锡等众多计算机科学家和数学家在1956年畅想的 “人工智能”似乎终于走进现实。
这一次,AI不仅仅是在单一领域打败人类围棋冠军的虚拟程序AlphaGo,更是一场对人类社会生产力发起的革命。
在中国,百度于今年3月16日发布知识增强大语言模型“文心一言”;3月19日,创新工场董事长兼CEO李开复宣布筹组“Project AI 2.0”。
然而,一切震动源于ChatGPT。
ChatGPT,一款由美国 OpenAI公司研发的人工智能(AI)模型,最早发布于2022年11月30日,上线两个月内即突破1亿用户,成为全球最快用户破亿的互联网软件。OpenAI则以290亿美元身价成为地球上估值最高的初创公司。
在大众认知中,
ChatGPT
是一款真正的聊天机器人,输入任意语句,即可得到符合人类表达习惯的回应。在探索中,ChatGPT的使用已遍布各个领域。经谷歌面试官测试,ChatGPT可以顺利通过公司年薪18万美元的工程师招聘考试;北密歇根大学的一位哲学教授发现,全班最好的论文是由学生使用ChatGPT完成的;完全不懂编程的零基础网友,成功使用ChatGPT制作出游戏。
图为调试后,ChatGPT所作回应
生成文案、修改代码、撰写小说、分析数据……面对ChatGPT强大的交互功能,比尔·盖茨评价:这种人工智能技术出现的重大历史意义,不亚于互联网和个人电脑的诞生。
在几个月的AI浪潮之中,ChatGPT被一众网友数度封神。
然而,事实果真如此吗?
“单字接龙”的思考
ChatGPT全称Chatbot based on Generative Pre-trained Transformer,其命名由两部分组成,“Chat”指与人进行聊天或对话的功能;“GPT”指Generative Pre-trained Transformer,这是一个由OpenAI开发的大型自然语言处理(NLP)模型。可以说,ChatGPT是NLP模型的典型应用之一,而NLP则是人工智能领域的一个重要分支。
不同于大众认知,ChatGPT并不是搜索引擎的升级版本,bilibili知名科普UP主YJango说,ChatGPT的实质功能可以用“单字接龙”来概括。“具体来说,就是给它任意长的上文,它会用自己的模型去生成下一个字。”
换言之,ChatGPT本身能做的事,只有“生成下一个字”。
YJango科普,用户所看到的ChatGPT回答,全部是用同一个模型根据不同的上文生成所得。回答长问题时,ChatGPT会将自己生成的下一个字和之前的上文组合成新的上文,再让模型以此生成下一个字。例如,当ChatGPT获取“我”这个上文时,可能会生成“是”,之后,ChatGPT会根据“我是”,计算生成第三个字。不断重复这一过程,就可以生成任意长度的下文。该过程也叫“自回归生成”。
YJango指出,影响ChatGPT生成结果的因素主要有两个:上文及模型。模型就相当于ChatGPT的大脑。
ChatGPT的生成过程包含随机性。在ChatGPT中,即使输入相同的问题,即同一个上文,也会得到不同的回复。这是因为ChatGPT在生成回复时,模型会为每个可能的单词分配一个概率分数。这些分数代表了在给定上下文的情景中,模型认为这些单词出现的可能性。根据这些概率分布,模型会选择一个单词作为回复的一部分。
在选择单词时,模型通常使用一种叫作温度的超参数来调整生成过程中的随机性。较高的温度会使模型倾向于选择不同的单词,从而产生更多样化的回复,但可能牺牲一定的连贯性;相反,较低的温度会使模型更倾向于选择具有较高概率的单词,从而产生更一致的回复。
随机性和温度超参数,让ChatGPT的“单字接龙”看起来似乎在做不同的“思考”。底层的模型架构和训练方法则赋予了ChatGPT“创造”的能力。
YJango说,以“单字接龙”的方式来训练模型,是为了让ChatGPT学会提问和回答的通用规律,以便ChatGPT利用所学规律生成用户想要的回答,这种举一反三的目标称之为“泛化”。至此,ChatGPT拥有了“创造不存在的文本”的能力。
但这也意味着,如果出现了“实际不同但碰巧符合同一个规律”的内容,ChatGPT模型就可能混淆它。YJango指出,最直接的结果是,如果现实中不存在的内容刚好符合ChatGPT从训练材料中学到的规律,ChatGPT就有可能对不存在的内容进行“合乎规律的混合捏造”。
从量变到质变
在NLP领域,ChatGPT带来的震撼远不及普通用户所感。
本次在全世界范围内掀起热潮的ChatGPT基于GPT-3.5模型,随后,OpenAI于北京时间3月15日向付费用户发布了GPT-4模型下的ChatGPT,即微软接入的模型版本。
然而,在GPT-3.5之前,上一代模型GPT-3早在2020年就已发布,是当时已知最大的NLP模型之一。
“这几代模型的原理和运作方法并没有本质上的区别。”新浪微博NLP工程师杜则尧指出,其进步来自于算力的进步和展现方式。
算力是指计算机、服务器或其他计算设备在执行计算任务时的处理能力。“可以将算力理解为计算机完成任务的速度和效率。在日常生活中,算力越高的计算机系统,处理复杂任务的速度越快,执行多个任务的能力也就越强。”杜则尧说。
在人工智能领域中,算力对于训练和运行模型至关重要,过去几年中,随着相关硬件的进步,大幅提高的算力为GPT模型的优化提供了现实基础。
中国科学院自动化研究所研究员张家俊在媒体上说,2022年,OpenAI利用更多文本数据和代码数据的混合学习,得到了更强的基础大模型GPT-3.5,从而使ChatGPT实现了流畅性、知识性和逻辑性。
杜则尧认为,算力的进步和庞大、优质的数据“喂养”,让GPT得以产生从量变到质变的飞跃。
此外,在医疗NLP算法专家张海鹏看来,ChatGPT基于自然语言对话的交互模式,是这款聊天机器人“出圈”的关键。
“2016年打败围棋世界冠军李世石的AlphaGo给AI领域带来的震撼,不亚于今天普通用户看到ChatGPT的感觉。但由于AlphaGo没有通用的落地场景,难以与大众进行交互,故而没有像ChatGPT一般,深入到各个行业中去。”张海鹏告诉记者。
输入问题,得到答案。屏幕内外,人类与AI的真正对话或许可以从ChatGPT开始。
一种打击 或一种希望
ChatGPT的破圈让大语言模型LLM(Large Language Model)“照进现实”。
“大语言模型指一类基于神经网络的NLP模型,通过学习大量语言数据,从而完成对输入文本的预测、生成、分类等任务。这类模型具有很高的准确度和泛化能力,被广泛应用于自然语言处理、知识图谱、机器翻译等领域。”张海鹏指出:“ChatGPT是一个面向通用领域的大语言模型,也就是说,各行各业的人都可以用它,因为它‘吃’进去的数据足够全面。”
理所当然地,医疗领域同样在ChatGPT中拥有一席之地。在张海鹏的测试中,ChatGPT在医学实体抽取与属性识别、医学术语标准化能力、医疗关系抽取能力、问句相似性匹配、智能分诊、合理用药、病例质控等方面展现出惊人的能力。
例如,向ChatGPT 提问“‘头痛伴发烧三天’这句话中,‘头痛’和‘三天’的关系是什么?”ChatGPT可正确识别“头痛”和“三天"之间存在时间关系,并给出详细说明。再例如,提问“‘糖尿病的危害’和‘糖尿病肾病的危害’含义相似吗?”,ChatGPT可识别二者含义不太相似,并给出理由。
在合理用药、病理质控等复杂方向的提问中,ChatGPT有“胡说八道”的情况出现。然而,其回应虽然没有达到100%的正确率,但在医疗行业极高的专业壁垒之下可以完成所有对话,并在超过一半的提问中给出正确答案,已经令人足够惊喜。
张海鹏认为:“在医疗NLP中,上述每一个问题几乎都需要算法团队搭建不同的模型,现在,ChatGPT仅凭一己之力就可以拿到及格以上的分数。”
“ChatGPT一定会挤压NLP的基础研究,但鉴于医疗行业的专业壁垒和数据独特性,ChatGPT这类通用模型落到垂直领域后,究竟会挤压多少空间还不得而知。当ChatGPT触及更多医疗细节场景时,LLM缺失的专业数据一定会展现出更大的偏差,这份偏差就是医疗NLP的生存空间。”张海鹏说。
但抛去细节场景与专业精准度,“击穿基础问题”意味着医疗机构不必耗费高额资金寻觅第三方公司从零开始解决智能分诊、医学术语标准化能力等基础问题。在合作允许的情况下,对于预算不够充足的小医院而言,将ChatGPT加以调试,或许就可以解决院内的部分刚需。在偏远地区及乡村基层,这可能是平衡医疗资源的极佳选择。
一种保护 或一种阻碍
然而,医疗NLP的发展,或许无法像其他行业一般迅猛。
“ChatGPT通过提供一个效果非常不错的版本作为服务基础,以一种全球用户都能理解的对话的交互方式,吸引了无数不同背景的‘共建者’,构建了无数涉及各行各业的对话流程,通过点击赞同或反对的简单操作,拿到了无数的反馈信号。这些信号的持续利用,会使得ChatGPT的效果持续提升,从而进入到数据飞轮效应:更多的数据带来更好的对话效果,更好的对话效果带给用户更多价值,从而带来更多用户,从而得到更多的数据,生生不息。”在张海鹏的描述中,数据飞轮效应令人神往。
这是亚马逊创始人杰夫·贝佐斯(Jeff Bezos)在1997年强调的一个概念,当数据采集越多、处理越快、应用越广,就会越来越快地推动更多的数据采集、处理和应用,形成一种数据的生态循环。
这是ChatGPT快速壮大的“秘诀”之一,亦是极为依赖数据的NLP模型的理想状态。
但在医疗领域,由于临床医疗等敏感数据互不相通,数据飞轮效应难以得到复现。根据《医疗机构病历管理规定》等相关法规和规定,临床病历等数据并不对外开放。“目前,在涉及到临床数据的研究中,容易获得的数据库大多为MIMIC-III等国外经典临床数据库,中国目前还没有公开可用的临床数据库。”张海鹏指出。
另一方面,即便拥有了可用数据库,医疗行业的数据处理成本较其他行业也要高上许多。
由于计算机无法像人类一样进行自然语言的理解和表达,NLP模型需要大量的、被人工标注后的数据提供给模型用于训练。不同于通用领域,医疗NLP的数据标注工作必须由拥有医学背景的专业人士完成。数据的封闭性与医学专业知识的双重壁垒是医疗NLP难以回避的问题。
此外,复杂的现实情况亦是阻拦医疗NLP落地的原因之一。以电子病历的标准化问题为例,张海鹏认为,各医院、科室间书写文本的差异性大大增加了文本信息的抽取难度。“每个医院有每个医院的需求,每个科室也有每个科室的独有要素,神经内科和骨科记录的病例一定各有侧重,对电子病历的模板需求也完全不同,想要做出一个适用于所有医院的通用模板是现阶段不可能实现的任务。但如果无法打通标准模板,NLP模型就不可能拥有足够多的通用数据,也就无法构建出大模型,难以产生ChatGPT一般从量变到质变所带来的应用。”
从这些角度出发,ChatGPT的出现固然让人振奋,但在医疗NLP的实际应用领域中,想结合ChatGPT的通用型NLP模型产生落地应用还有很长的一段路要走。
“主要有四个方面的问题,一是应用场景还不够丰富,仍有很大的挖掘空间;二是没有足够量的数据支持NLP模型发展;三是拥有医学背景的复合型人才太少;四是各医院构建的模型并不通用。”但张海鹏认为,这些亟待解决的问题也意味着医疗领域的NLP发展拥有更多机会。
半个多月前,OpenAI首席执行官Sam Altman在社交媒体发文称,全球人工智能运算量每隔18个月就会翻一番。
新浪微博资深算法专家张俊林预测,未来5到10年,人工智能将会迎来最快速发展的黄金十年。“如果我们站在未来30年的时间节点,当我们回顾这10年时,我们中也许会有人想起下面的诗句:懂得,但为时太晚,他们使太阳在途中悲伤,也并不温和地走进那个良夜。”
文:本刊记者 王依依
来源:中国卫生杂志
药事新说-医药大咖对话栏目