财联社5月23日讯(编辑 刘蕊)根据日媒周一报道,日本研究人员将使用本土的“富岳”超级计算机,开发以日语为中心的chatGPT式的生成式人工智能大语言模型(LLM)。
日本团队将开发日语为中心的AI语言模型
据日媒报道,这一人工智能项目由日本东京工业大学与日本东北大学、日本理化研究所联合富士通合作开发。该团队计划于当前财政年度(截至明年3月)内进行技术开发,并着眼于在下一财年(自明年4月起)向日本国内企业无偿提供该技术。
像OpenAI这样的美国科技公司通常为客户企业提供已经训练过的人工智能,而日本团队将计划发布的大型语言模型,可以让日本企业使用自己的数据训练模型,来开发定制的人工智能。
和海外其他大型语言模型不同的是,日本团队计划开发的这款人工智能LLM将以日语为中心。该模型将从维基百科和其他来源获取公开可用的数据,目标是提高日语对话能力,从而使用日语产生更精确的结果。
该项目将与日本最大的数字广告公司CyberAgent合作,后者正在开发自己的生成式人工智能。
将构建更大型的语言模型
随着ChatGPT自去年红遍全球,生成式人工智能技术在日本迅速获得关注。
但是此前在日本,决定AI性能的语言模型参数往往仅为数十亿左右,即便是CyberAgent于5月17日公开的大规模语言模型的参数最多也仅为为68亿个。
而日本团队计划构建一个包含大约1000亿个参数的大型语言模型。作为对比,OpenAI 所开发的ChatGPT的语言模型GPT-3使用了1750亿个参数。
构建LLM通常需要一台高性能超级计算机,但此前,日本私营企业苦于缺乏世界一流的超级计算器,因而难以推进LLM的构建进度。不过,作为本次项目基础的日本超级计算器“富岳”,其计算能力目前位居世界第二,或许可以解决此前的难题。
“富岳”研究所目前由日本政府所支持的理化研究所和富士通联合开发。
尽管图形处理单元被认为是生成式人工智能机器学习的最佳选择,但富岳不使用图形处理单元。不过,富士通的一位代表表示,与日本其他专门从事人工智能处理的超级计算机相比,“富岳配备了大量高性能cpu,在人工智能开发方面表现出色”。
(财联社 刘蕊)