文 | 周鑫雨
编辑 | 邓咏仪
36氪获悉,近日通用具身智能技术研发公司“跨维智能”完成战略轮融资,该轮融资由联想创投领投。据了解,资金将主要用于产品研发、团队扩充和市场拓展。
成立于2021年6月,跨维智能主要基于3D生成式AI、多模态大模型和三维成像等视觉感知相关技术,为下游企业客户提供软硬一体的具身智能解决方案。
跨维智能创始人贾奎,同时也是香港中文大学(深圳)的教授,长期从事人工智能、计算机视觉、机器学习、生成式三维建模与学习、三维感知大模型等领域的研究,曾先后于中科院深圳先进技术研究院、香港中文大学、伊利诺伊大学香槟分校先进数字科学研究中心、澳门大学及华南理工大学从事教学和科研工作。
2016年回内地后,贾奎在华南理工大学便选择用新型AI作为攻克三维感知的研究方向。自2018年起,贾奎就在华南理工大学“几何感知与智能”实验室中,尝试以自研的Sim2Real技术为核心,通过物理引擎去合成3D仿真数据——这后来也成了跨维智能的核心技术。
贾奎告诉36氪,随着操作对象、环境和任务复杂性逐渐增强,通用具身智能将会经历L1-L5五个阶段。从半结构化场景和特定机器人形态处理特定任务,逐步升级到对任意/未知场景,以自适应的通用机器人形态,完成任意任务。
贾奎对具身智能发展阶段的定义。
而稀少的高质量标注数据,是具身智能从训练到落地过程中最大的掣肘。不同于语言模型和图像、视频模型等二维模型的训练,具身智能底层模型的训练,需要海量的在物理世界绝对坐标系下的精确测量数据,数据获取难度、获取成本、标注周期都远超语言模型。
用合成数据代替真实物理数据,是跨维智能提供的高效低成本,且更加真实可靠的解决方案。跨维智能的Sim2Real技术,原理是在物理仿真机器人操作场景中,引入各种与任务相关的真实世界的干扰,再通过渲染、轨迹数据记录、关节数据记录等方式形成海量的精确标注合成数据,并用于具身智能大模型。
跨维智能应用场景。
具体到落地,Sim2Real技术能够让企业客户无需使用真实3D数据,就可以完成机械臂复杂场景作业的3D视觉模型训练。用基于100%合成数据训练的模型驱动机械臂的柔性操作,可以实现99.9%以上的稳定操作或抓取。
以Sim2Real技术为核心,跨维智能计划了通向通用具身智能的技术发展三阶段:
•数据与具身智能仿真引擎DexVerse™,用于数据生成和大模型训练;
•基于3D VLA (3D Vision Language Action) 大模型的成像感知套件;
•支持AnyGrasp/AnyManipulation(任意抓取/控制)的通用具身智能大模型,在不同行业和场景具有强泛化性。
目前,跨维智能已经将软硬一体的AI技术应用在工业制造领域等场景。2023年5月,跨维智能发布了Xema北极鸥系列相机,并开源了API接口和SDK二次开发软件包,让用户降低二次开发和适配的成本。
同时,基于在硬件技术较为成熟的机械臂和机器人,跨维智能提供以视觉感知为主的具身智能解决方案,并在半导体、汽车、光伏等行业已经落地。
以下是投资人评价:
联想创投:跨维智能拥有最优秀的Sim2Real和大模型相关技术,是实现高通用性具身智能的核心底座。目前跨维智能依托Sim2Real和相关技术,在具身智能领域拥有深厚产品积累,已打造软硬一体产品矩阵,包含基于3D生成式AI的Sim2Real AI引擎、基于3D VLA大模型的成像感知套件,并且在具身智能领域商业化落地处于领先位置。
欢迎交流!