人类数据缺缺缺,AI被迫开始吃AI生产的数据了!
这是微软、OpenAI等一众AI前沿公司面临的现状。
他们从维基百科、电子书、新闻网站、博客、推特和Reddit等平台和论坛中搜罗了大量数据,然后现在……这些数据快被用完了。
BUT,要训练更好的大模型,多少数据都不够。
据《金融时报》介绍,不少公司正把大模型生成的结果、也就是所谓的合成数据(Synthetic data),喂给参数量更小的大模型吃,发现效果还不错。
对于使用合成数据,OpenAI的CEO Sam Altman不仅不介意,还放话“未来所有数据都将变成合成数据”。
估值20亿美元的大模型初创公司Cohere同样在用合成数据。公司CEO、经典大模型Transformer论文作者之一Aidan Gomez甚至认为:
合成数据可能加速通往“超级智能”AI系统的道路。
所以,究竟哪些大模型已经在用合成数据了,这些合成数据又是从何而来?
这些所谓的合成数据,本质上是用当前表现较好的大模型生成的数据,经过人工调整后,再喂给稍微小一点的大模型。
例如Cohere公司就尝试使用了两个大模型进行“角色扮演”对话,并将它们生成的结果做成合成数据。
这两个大模型分别扮演“数学老师”和“学生”,正在进行一堂虚拟的数学教学。同时,Cohere安排一个人类员工在旁边监督对话生成。
一旦对话出现错误,人类员工就会插手对文本进行修正。
尽管确实还需要人力,但这比聘请科学、医学和商业方面的专家来撰写文本要便宜得多。
那么,什么样的大模型会用到这些合成数据呢?
微软研究院最近有研究表明,合成数据可以用于训练比GPT-4或PaLM-2稍微小一点的语言模型。
以用GPT-4生成的一个“四岁儿童小说”数据集TinyStories为例,这个数据集被证明虽然只包含4岁小孩能理解的单词,但用于训练一个大模型之后,同样可以生成语法正确、阅读体验流畅的故事:
对于使用合成数据的理由,Cohere的CEO Aidan Gomez认为:
能从网上获取数据当然更好,但网络数据太杂乱了,完全无法满足需求。相比之下,合成数据已经非常多了,即使它还没被广泛传播。
目前,包括Scale AI、Gretel.ai等企业,已经开始给外界提供合成数据服务。
先是Scale AI,旗下就推出了一款合成数据产品Scale Synthetic,用于给企业提供合成数据服务。
而在之前一篇SemiAnalysis爆料GPT-4“大花边”的新闻中,还提到GPT-4的数据集中,有数百万行是来自Scale AI和内部的指令微调数据。
至于合成数据平台Gretel.ai,从官网来看,它已经和谷歌、拳头游戏、汇丰银行等不同企业进行了合作,以生成更多合成的数据提供给其他开发者使用。
Gretel.ai的CEO Ali Golshan认为,合成数据的好处在于,它保留了数据集中所有个人的隐私,同时仍然保持其统计学意义上的完整性(statistical integrity)。
但并非所有人都接受合成数据这种“神奇操作”,目前各方的看法主要分成两波。
一部分赞同使用合成数据。包括Cohere等AI公司在内,有不少搞大模型的企业仍然坚持这一做法,并认为它可能生成更好的AI,甚至从中诞生出“超级智能”。
另一部分则认为,合成数据终将让AI“自食其果”。
例如一篇来自牛津大学、剑桥大学、帝国理工学院、多伦多大学、爱丁堡大学和Vector Institute多家机构的研究表明:
使用合成数据训练,会让模型出现不可逆转的缺陷:
忘记那些“不可能发生的事件”,最终被自己生成的数据毒害。
有网友认为,这些合成数据最后会变成一滩“无法使用的污泥”——然后人们不得不被迫雇佣数据科学家来对它进行清洗。
还有网友调侃,这听起来就像是“AI近亲繁殖”一样。
你认为AI需要使用合成数据吗?
参考链接:
[1]https://www.ft.com/content/053ee253-820e-453a-a1d5-0f24985258de
[2]https://the-decoder.com/gpt-4-architecture-datasets-costs-and-more-leaked/
[3]https://arxiv.org/pdf/2306.11644.pdf[4]https://arxiv.org/pdf/2305.17493v2.pdf
本文来自微信公众号“量子位”(ID:QbitAI),作者:萧箫,36氪经授权发布。