梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
把Stable Diffusion接入机器人会怎样?
告诉它你想让它画什么,然后一笔一笔画出来。
只见它一边与旁边的人类工程师谈笑风生,一边熟练地用马克笔在白板上画出一只简笔的猫。
最后还不忘签下自己的名字“Ameca”,然后抬起执笔的手,用眼神继续审视着刚刚完成的作品。
当Ameca询问人类对它的作品是否满意的时候,工程师老哥耿直地回答“这画的有点简略了”。
然后高能来了。
Ameca生气地呛了回去:
如果你不喜欢我的画,你可能只是不懂艺术。
机器人Ameca,来自英国公司Engineered Arts,之前就以表情逼真到吓人出名过一次。
现在它get到用笔画画的新能力,又惊艳了一众网友。
每一笔画完后轻轻举起笔,就像一个真正的素描艺术家一样,这个小细节太酷了。
机器人怎么用笔画画的?
Ameca具体是怎么学会画画的,它自己就能解释明白:
我使用开源的Stable Diffusion,对生成的图像做骨架化和向量化,然后再把转化出的轨迹转换成动作并执行。
就这样,Ameca的身体动作和面部表情由Engineered Arts自研技术驱动,语言能力来自GPT-3(没错,不是3.5),再加上Stable Diffusion,组成了一位机器人画家。
有网友表示,这样的能力在教育中很有用,对于学生来说,用机器人比盯着电脑屏幕看有意思多了。
Engineered Arts自研技术包括机器人操作系统Tritium和机器人生产平台Mesmer。
首先用36台摄像机无死角捕捉海量真人面部数据,包括骨骼结构,皮肤纹理和表情等。
对这些数据做3D建模,并3D打印出机器人的硅胶皮肤。
Tritium操作系统连接了硬件、软件和云端,可以驱动机器人的每一个组件,除了面部,还会牵动头颈、肢体的不同“肌肉”。
最终实现更逼真的表情。
再加上语言模型GPT-3和语音技术,Ameca已经初步具备了与人类互动的能力。
这次除了画画以外,Engineered Arts还公布了另一条人类与Ameca讨论音乐的视频,或许暗示这是下一个挑战方向。
Ameca说自己喜欢爵士古典和电子乐,人类给他出的难题“如果要把这三种风格融合在一起写一首歌,第一句歌词是什么。”
Ameca略加思索就给出了回答。
另外Ameca还在搞一场与网友互动的活动。
如果你有什么问题想问它,可以去原视频评论区留言,下一条视频可能就是Ameca回答你的问题了。
参考链接:
[1]https://www.youtube.com/watch?v=_1OA_9_wW70
[2]https://www.youtube.com/watch?v=L32BRcvnWRU
[3]https://www.engineeredarts.co.uk/mesmer-creation/