首次对外公开？辅助人形机器人GARMI展示如何为老人提供全天候支持！
还记得慕尼黑机器人与机器智能研究所之前推出的那款辅助人形机器人GARMI吗？
在近日举办的2024年国际机器人与自动化会议（ICRA）上，来自慕尼黑工业大学慕尼黑机器人与机器智能研究所（MIRMI）的研究人员携全新升级的GARMI辅助机器人向大家进行展示，赢得了一众与会者的广泛关注。
▍专为老年人打造？人形机器人助手GARMI“身手”如何？
作为一款专为老年人精心设计的人形机器人助手，GARMI的头部装配了先进的摄像头和网络通信模块，并融入了全新的触觉系统。这款机器人不仅能帮助老年人处理日常家务、提供温馨的陪聊服务，更能在康复过程中为患者提供实实在在的支持。
令人瞩目的是，在远程医疗的初步诊断环节，GARMI也能为医生提供宝贵的辅助。通过配备心电图、血压计、超声波等医疗设备，并融合物联网传感器技术，医生能够实时监控老年人的关键健康指标，从而在紧急情况下做出迅速而准确的应对。此外，GARMI新增的触觉系统显著增强了与家人朋友视频交流时的情感传递，让老年人在家中也能深切感受到孩子们的陪伴和关怀，即便彼此相隔千里或忙于各自的工作。
经过持续不断的优化与更新，GARMI的功能日益完善，不仅涵盖了丰富多样的实用功能，其智能化水平也迈上了新的台阶。在数字孪生技术、人工智能以及ChatGPT的强大支持下，GARMI如今已能够轻松应对各种护理任务。无论是将水和早餐送到床边，还是预约医疗服务，亦或是协助设置和推进远程医疗检查，GARMI都能游刃有余地完成。更值得一提的是，它还能帮助患者起床，并陪伴他们进行康复锻炼，真正实现全方位的护理服务。
同时，GARMI辅助机器人的智能化不仅体现在能够通过ChatGPT准确理解并执行各种指令上，更重要的是，它能够自主完成各种任务和技能。无论是抓取物体、进行安全操作，还是与患者进行有效沟通，GARMI都能独立完成。此外，它还能协助预约医生进行远程医疗检查，为患者的健康保驾护航。
在ICRA 2024上，GARMI首次展示了如何结合特定技能为老年人提供全天候的支持与服务。这次展示不仅充分展现了GARMI的强大功能和高度智能化水平也为未来的智能护理服务开辟了新的可能性和方向。这一突破性进展无疑将为老年人的生活带来更多的便利和温馨的关怀。
▍取得三大重要进展？ChatGPT、数字孪生等技术加持后有何变化？
正如Geriatronics项目负责人Abdeldjallil Naceri博士所言：“得益于ChatGPT，GARMI现在已经能够安全、按需地执行我们过去几年所教授的各种个人技能。”
但为了实现这一目标研究人员融合了多项技术创新。在机器人与现实世界的人类互动之前，数字孪生技术被用于预防碰撞，确保机器人的运动安全性。AI技术则帮助GARMI稳稳地抓取并递送杯子和玻璃杯，避免液体溢出。而ChatGPT则成为机器人、患者、物理治疗师和医生之间的沟通桥梁。
Naceri教授以自动驾驶技术开发为例对GARMI的进步进行了类比：“就像为现实世界的驾驶员提供自动停车辅助等新功能前，需要经历许多开发步骤一样，护理机器人也是如此。因为这项技术将在人类环境中使用，所以它必须达到百分之百的安全与可靠。”
据Naceri教授介绍，目前GARMI已在三个关键领域取得显著进展：
1.灵巧性——远程精确抓握与移动
抓握能力：通过将相机、七关节机械臂、人造手以及人工智能技术巧妙融合，研究人员赋予了GARMI仿人类抓握的能力。在执行抓握任务时，GARMI的相机首先会进行物体影像捕捉，随后通过神经网络进行深度分析，精确识别出物体的种类。由于相机视角的限制只能从单一角度观察物体，为了克服这一局限性，系统将通过智能对比和匹配，结合其他图像信息，重建出一个完整的三维物体模型。为了更精准地确定抓握位置，研究人员巧妙地运用了颜色分级热图技术。借助这一技术，GARMI能够准确判断出手握物体的最佳抓握点，从而确保每次抓握都既稳固又精准。如今，经过多次实验验证，这个高度复杂的系统已经能够在绝大多数情况下准确地完成抓握任务。据Naceri教授介绍：“一旦系统适应了某一种类型的杯子，它就能够轻松地将这种方法应用到所有其他形状的杯子上。”这不仅展示了GARMI的高度智能化和自适应性，也为未来的智能机器人技术开辟了新的可能性。
远程移动物体：为了深入探究医生是否能通过远程手术与患者实现有效协同，研究人员精心设计了一种独特的实验。在该实验中，研究人员在数字绘图板上勾勒出简洁的几何图形，而身处另一房间的GARMI则手持笔和相机，巧妙地将研究人员的绘图复制到屏幕上。实验结果表明GARMI自主操控相机时，所绘制的圆形、正方形和三角形最为精准。这一重要发现或将为未来医疗实践中医生和患者之间的紧密高效协同工作开辟新途径。举例来说，在患者康复锻炼的过程中，精确定位超声探头并准确执行相关动作是至关重要的，而GARMI的这项技术无疑将在此类应用中大放异彩。
感知与导航环境：近期某研究论文众研究人员已成功展示了如何操控工具在物体周围灵活运动。其中，密切关注机器人与物体之间的距离，以及精准评估机器人手臂及其各关节的移动性，是这项技术的核心挑战。一旦这些技术难题被攻克，未来的机器人甚至能够灵巧地躲避飞向它的球体，这在机器人感知与导航领域无疑是一个重大的突破。
2.安全性——1毫秒的快速反应
GARMI能够以1毫秒（ms）的周期时间迅速处理信息，这一速度同样适用于其感知、交互和导航功能。GARMI手臂上配备的力传感器能够捕捉到最轻微的触碰，并即刻作出反应。若人类不慎与机器人手臂发生碰撞，出于安全考量，GARMI能够在短短的1毫秒内停止运动。
理论上，辅助机器人在疗养院中的移动速度可以达到20公里/小时。因此为了确保安全，人类与GARMI的初步交互是在虚拟环境中以数字孪生的方式进行，这样可以有效预防实际事故的发生。在计算机模拟中，GARMI通过安全运动单元与传感器进行记录，一旦检测到人类过于靠近，便会自动减速以确保安全；而当人类远离时，GARMI则会再次提速。
3.易用性——ChatGPT与命令列表
在GARMI的操作与使用环节，ChatGPT作为技术与人类之间的桥梁，扮演了一个类似翻译者的角色，帮助人类与机器人进行无缝沟通。
当前，ChatGPT已经学会了诸如“开始康复”、“显示明天的天气”或“打电话给医生”等各种指令。通过这些指令，GARMI能够借助ChatGPT与患者实现有效沟通。研究人员亦已经整理出一份包含15到20个命令的列表，这些命令可以触发GARMI执行特定的操作。
同时，Naceri教授表示：“我们可以根据实际需求对这个命令列表进行扩展，这将使MIRMI成为首批利用ChatGPT实现机器人与人类互动交流的机构之一。”
▍关于未来
据最新消息，新款通用型GARMI现已在加米施-帕滕基兴的样板公寓中正式投入使用。接下来，研发团队将主要聚焦于进一步开发GARMI的手部功能，以使其能够执行更为精细的任务。
但正如自动驾驶汽车虽已有很多进展，但在实际投入使用前仍有许多细节需要完善一样，GARMI在疗养院中的最终应用，也仍需数年的深入研究与优化。
研究相关论文合集
RETOM: Leveraging Maneuverability for Reactive Tool Manipulation using Wrench-Fields; Felix Eberle, Riddhiman Laha, Haowen Yao, Abdesdjallil Naceri, Luis F.C. Figueredo, Sami Haddadin; ICRA 2024
Autonomous and Teleoperation Control of a Drawing Robot Avatar; Lingyun Chen, Abdeldjallil Naceri, Abdalla Swikir, Sandra Hirche, Sami Haddadin; ICRA 2024
Safe-By-Design Digital Twins for Human-Robot Interaction: A Use Case for Humanoid Service Robots. Jon Škerlj*, Mazin Hamad*, Jean Elsner, Abdeldjallil Naceri, Sami Haddadin, ICRA 2024.
Anthropomorphic Grasping with Neural Object Shape Completion; Diego Hidalgo-Carvajal,l Hanzhi Chen, Gemma C. Bettelani, Jaesug Jung, Melissa Zavaglia, Laura Busse, Abdeldjallil Naceri, Stefan Leuttenegger, Sami Haddadin; ICRA 2024
Video: A Day with GARMI: Robot Home Assistance in the Lives of Senior Citizens; S. Bing, J. Skerlj, F. Eberle, A. Teimoorzadeh, X. Chen, M. Forouhar, H. Seghedian, A. Naceri, S. Haddadin; ICRA 2024