Sora如果真的朝智能制造方向去做,黑灯工厂、自动驾驶、数字孪生中的一系列难题,有希望得到解决。
OpenAI推出Sora后,立刻在影视界、广告界和游戏业炸开了锅,但因为它作为“模拟器”,在模拟世界上的局限性,很多人并没想到会与智能制造沾上边。
但一些智能制造的专家,已对Sora进行了观察研究,看到了底层逻辑的相通之处,也想到了一些结合点。“如果业界真的朝智能制造方向去做的话,黑灯工厂、自动驾驶、数字孪生中的一系列难题,是有希望解决的。”几位智能制造专家说。
一个有意思的现象是,自从2022年底ChatGPT大模型推出后,技术派、大模型厂商、创业者出来说得多,但制造企业和行业人士鲜有发声。“有一点过度消费了,每周都有爆炸式的技术推出,但它们的落地在哪里?产生了什么商业价值?”一位制造人士说。一些制造企业感到焦虑,背后的原因是从技术到应用,中间仍有一些间隙需要弥合。
不过,经过过去半年的摸索和尝试,2024年,伴随政府发展新质生产力,以及一些央国企在大模型应用上的动作加快,在智能制造业,尤其是在那些变化快、竞争激烈的行业,应用大模型创新的进程正在提速。
Sora推出后,OPPO AI中心产品总监张峻,对生成式AI的迭代速度感到惊讶,“几乎每天早上起来,都会看到一个有意思的新demo”。未来,用户怎么调用这些生成式AI,可能将给手机带来架构、交互等全方位的改变。OPPO内部也在探索。
在终端的变化上,业界已有一些明确的方向。比如,在短期之内,可能就会发生两个较大的变化。一是去App化。大模型本身具备生态插件及融合能力,它自己会去调用服务接口,不需要打开App。第二是搜索入口的变化。大模型本身外部检索能力非常强,多模态能力也非常强,它就是一个好的搜索入口。
一家车企人工智能资深人士在Sora推出后,也进行了观察思考。对于车厂,他认为Sora有一定应用场景和价值。在自动驾驶的训练中,他们已用大模型做数据生成,但大都是静态数据。“交通流这些动态数据,Sora目前还达不到要求,但至少是看到一些希望。”
在合成数据方面,车企原来要基于虚拟环境(元宇宙)去做,而虚拟环境需要拍摄一些视频,用Nerf做3D重建,但成本不小,很多地方还不能拍摄。“其实智能驾驶只关心场景,不关心跟地标相关的东西,因此合成数据场景对Sora这类技术的需求应该也很大。”
在浪潮信息,硬件研发部副总经理王武军和团队之前已介入AIGC的训练中。王武军从Sora生成的视频看,“那个东京街头,地面上雨水的反光,已逐渐接近于可接受的现实”。
Sora的底层逻辑是通过大量数据训练而来,现在制造业有很多地方是人去推算的。如果数据量极强的话,运用Sora的模式,有希望对产品设计、仿真、柔性安装和运维带来改变。
“我现在没办法说明它未来是一个什么形态,但它将是颠覆性的。”王武军打了一个比方,业界的一个难题是“柔性安装”。比如,服务器机箱中有几十条线,这些线怎么“绕”、怎么指挥机械臂去安装。
可行的做法是,针对每条线缆,需要工程师做一个3D模型。根据配置不同,一根线缆要插在不同的位置,需要数十种3D模型,而组装过程中,又需要临时调整,从而导致柔性物体自动化安装事倍功半,不太现实。如果能通过数据训练,自动生成“绕线”方式,再直接将数据提取出来,告诉机械臂怎么去组装,这个问题就解决了。
做仿真的工业软件人士也注意到了Sora。“你看Sora视频中那位女主角走路的姿态,如果结合了仿真工具,会更加自然,现在太空灵了。”CAE人士李岩说。仿真软件可以模拟复杂的机器、产品,他看到了Sora和仿真的结合之处。
“现在仿真迭代的过程很长,如果前期通过Sora的方式,让仿真不从最差的初始条件去计算,整体计算时间会大大缩短。”他说,“后期也可以对仿真结果去做优化。”
由于Sora自称是要做“世界模拟器”,业界也在对比Sora和数字孪生的一些差异。数字孪生是真实世界数据化后的投影。而Sora是基于模拟样本,构建虚拟和真实交错的数字世界。
由于大模型有不同的数据源,通过Sora来模拟世界,带有一定的想象力和发散性。比如,在Sora生成的一个视频,一只小蚂蚁穿越洞穴,这在现实中无法拍摄到。但也有网友指出它的漏洞:蚂蚁是一个二维生物,走起路来不像人,它们会漫无目的、来来回 回,这个Sora生成的视频,与潜在物理规律有一些偏差。
“现阶段可以理解Sora是数字化孪生的一种手段和补充,而不是替代。Sora可用于真实世界在虚拟世界的美化展示,以及替代人工建模与设计的生成,帮助数字孪生加速。” 联想中国区大客户业务群及制造行业总经理宋涛说。Sora可以用于设计阶段的效果构建,或产品的生产构建效果,但没法替代数字孪生的数据视图等功能。
宋涛认为,未来两者可能会整合,也可能形成一个新技术合集或新突破,如混合宇宙等,但目前看到他们技术线路的差异,需要有一定的技术突破才能实现。
”如果明白现有技术的局限性,在扬长避短的前提下,它们在某些场景下仍然具有价值。“IEEE数字化转型联合会战略与架构主席汪齐齐说。
Sora的发散性,让它有新的空间。“像我们一些高端汽车客户,需求越来越个性化。可以根据客户的描述,马上生成一个视频推给他,然后再完善设计。”ERP软件厂商Infor大中华区商业咨询高级总监鹿崇说。类似的还有外观设计、车衣、涂鸦等,这是进入研发之前的一个环节。
关于成本,业界有种猜测,Sora生成1分钟视频,大约要8块A800计算3小时,成本接近90美元。“To B这么一条,以往按照每秒几千收费,Sora的价格还是便宜的。”数码产品资深人士、Angry Miao创始人李楠向数智前线估算。这让业界看到了它在上述应用中的巨大潜力。
目前关于Sora这类技术和制造的结合,一位人士称,“Demo和产品还没到落地状态,但大家有方向,有思路”。
除了Sora之外,在ChatGPT发布之后,大模型已在制造业有什么落地进展吗?
联想宋涛从智算资源分布的角度告诉数智前线,目前国内对大模型的需求,70%的生意在互联网,10%在科研单位,落在制造业,主要的机会是汽车自动驾驶。
几位车企资深人士告诉数智前线,过去几年,汽车行业越来越卷。车企的钱在往微笑曲线的两端投,一个是研发端,一个是营销服务端。在制造端,过去半年,没有看到典型场景。而大模型落地的主要场景,集中在智能驾驶、营销服务和智能座舱。
比如,智能驾驶中的数据合成以及数据标注;在售后服务上,当遇到一些不常见的故障,大模型可以找到与描述最接近的情况,迅速给出排序,辅助售后服务人员,帮助车主一一排查,这样的售后服务接受度较高。
今年大家竞争的一个焦点是智能座舱。预计上半年,一些车企就会陆续官宣接入大模型。不过,业界在智能座舱中还未找到爆炸式场景,今年要进一步挖掘场景。
2024年车企在大模型上的预算普遍在千万级以上,用于自动驾驶、智能座舱或是大模型私有云部署等。这比2023年有显著提升。
除了汽车行业,其他智能制造业在研产供销服,都有一些进展。
浪潮信息王武军他们基于“源”大模型,已就研发的三个方向进行训练。一个方向是为工程师训练出一个助手“贾维斯”。另一个是智能教练系统,有点像“科大讯飞学习机”,带着工程师学习和反复训练。还有一个方向是软件设计,将通过代码自动生成,实现服务器的相关软硬结合环节。目前,这几个方向内部已开始测试,处于持续优化过程中。
在制造环节,腾讯云智能制造专家邴金友印象深刻的是,一家代工企业要处理多个客户的产品图纸。结合大模型技术,他们迅速将图纸结构化,直接输入到SMT产线,驱动它的贴片机生产,降本增效明显。
在智能客服领域,大模型已可以替代人。宋涛介绍,联想在电话呼叫中心中,建立了基于AI智能的Q&A系统,可以侦测到服务人员在服务过程中的关键词,提供专业的技术指导。
在营销方向,有高端装备企业,尝试将AI与市场活动等结合起来,撰写策划文案。美的集团也将AI接入到集团的系统中,对文稿等基本的日常工作,做辅助测试。
鹿崇看到大模型已应用到了制造业的定价和运维上。在定价方面,很多制造企业的产品定价缺乏针对性,很难根据产品历史销售、市场环境、成本因素等变化适时科学的调整。AI技术的使用,使得定价模型成为可能。
在运维方面,大量的数据已让工厂中的机器开口“说话”。在机器发生疲劳之后,一些模型结合起来,可以做到预防性/预测性维护策略更科学。
而大模型最直接的应用落地是产品,比如AIPC、AI手机。
在过去一年,邴金友看到,像光伏、新能源或新型高端装备业,所处的市场竞争压力较大、变化较快,更愿意采用大模型创新技术。另外,一些制造企业的三产或数科公司,对大模型的接受度也较高。
“大模型在制造业有点状落地。按照Gartner的技术曲线,目前处于上升期。”邴金友介绍。
从2024年开始,几乎每周,大模型都有“爆炸性”新闻推出。而根据业界的信息,在接下来,仍有一些公司的大招放出。阿里巴巴集团副总裁、瓴羊CEO朋新宇接触的不少企业,焦虑于自己不知道该怎么做。在焦虑不断延伸下,社会上也出现了“AI的尽头是卖课”这样一些社会怪相。
鹿崇坦承,现在概念谈得多,但真正的应用还要一步步做。
“如果落到企业层面,无非是三样东西:算力、企业的数据,以及企业的人才。”朋新宇分析说,从算力来讲,除了OpenAI等少数企业,对大多数企业而言,大家的起跑线几乎一样。
从数据来说,OpenAI已把地球上所有的公开数据基本上都收集完了,但是对企业最有价值的数据,往往是企业的自有数据,这部分是OpenAI收集不到的。企业要考虑如何把这些数据的质量提升,变成好的资产,与大模型结合。“我觉得这是企业能抓得住的、实实在在的投入。”
从人才来说,对于大多数企业来讲,去找AI领域的大牛,本质上并没有必要,关键是现在这样的人才也找不到。企业反而需要那些理解如何应用大模型,如何与企业工作流去对话,将大模型的能力转变成企业生产力的一拨人。“企业要抓得住这拨人。”
汪齐齐则强调了行业专家的力量。他以直播带货为例,社交平台的兴起,解放了个人的生产力,改变了许多传统行业的运作模式。但是,这种模式的成功,往往依赖于对特定行业深入了解的专家。”例如,一个精通化妆品销售的专家可能不擅长电子产品的直播销售,反之亦然。“他说,尽管技术为各个领域提供了不同程度新的机会,但真正的专业知识和行业理解仍然是不可或缺的。
“不管大模型未来以什么样的姿态出现,它一定会出现。”朋新宇说,企业要做好准备。
“人工智能属于智能制造第5级可以实现的目标。”联想宋涛说,企业需要从基本的业务梳理,软件应用和平台打通等数字化工作开始落实,打好地基。而这些也需要基础架构的支持,云计算、混合云、数据安全、数据管理等基础工作,这也是帮助企业重新梳理IT、OT、DT、ET等之间的机会。
宋涛也提到了人工智能技术落地的四大要素——算力、数据、算法和场景。其中,场景是驱动,要挖掘能够利用AI降本提效的场景。算力是底层支撑,数据是养分,而算法是人工智能技术形成的价值。
他建议,在人工智能落地中,优先做好算力建设和数据存储,再做好数据治理和数据价值的挖掘;用高质量数据,去训练好对应的算法,从而对业务产生价值。而AI的落地,也需要对应的人才,分步、分期通过技术实现。
朋新宇提到上周政府工作报告中的“发展新质生产力”。“大模型用于智能制造是众望所归。”他说,从OpenAI这一年的动作来看,它打开了新的空间——人类的空间、经济的空间以及企业发展的空间。“本质上,目前行业里还没有看到真正颠覆性的改变,但这也是离企业现场更近的这些人们的职责。”
本文来自微信公众号“数智前线”(ID:szqx1991),作者:赵艳秋,编辑:牛慧,36氪经授权发布。