智源研究院研发全球首个智能心脏超声机器人|机器人_新浪财经

转自：千龙网

2024年6月14日，第六届“北京智源大会”在中关村展示中心开幕，智源研究院院长王仲远做2024智源研究院进展报告。据悉，智源研究院联合领视智远研发了全球首个智能心脏超声机器人。临床验证结果显示，准确性上，智能心脏超声机器人能和高年资医生保持一致。

具身智能创新中心取得多项突破性成果

当天，王仲远汇报了智源研究院在语言、多模态、具身、生物计算大模型的前沿探索和研究进展以及大模型全栈开源技术基座的迭代升级与版图布局。

王仲远表示，现阶段语言大模型的发展已经具备了通用人工智能非常核心的理解和推理能力，并且形成了一条以语言大模型为核心对齐和映射其他模态的技术路线，从而让模型具备了初步的多模态理解和生成能力。但这并不是让人工智能感知、理解物理世界的终极技术路线，而是应该采取统一模型的范式，实现多模态的输入和输出，让模型具备原生的多模态扩展能力，向世界模型演进。未来，大模型将以数字智能体的形态与智能硬件融合，以具身智能的形态从数字世界进入物理世界，同时，大模型这一技术手段可为科学研究提供新的知识表达范式，加速人类对微观物理世界规律的探索与研究突破，不断趋近通用人工智能的终极目标。

智源研究院具身智能创新中心在机器人泛化动作执行和智能大小脑决策控制等方面取得了多项世界级突破性成果。

在具身智能通用抓取能力方面，针对跨任意形状和材质的泛化难题，智源率先突破95%的真机实验成功率，从而实现了全球领先的商业级动作执行水平。借助这项技术，即使在复杂光线透射、反射的情况下，机器人依然能够准确感知包括透明、高反光物体的形状和姿态，并预测出高成功率的抓取位姿。

在分级具身大模型系统方面，智源还研发了全球首个能做到开放指令控制六自由度物体拿取放置的大模型系统Open6DOR。该系统不仅像谷歌RT系列大模型一样按照自然语言指令中的要求将物体放到指定位置，还能够进一步对物体的姿态进行精细化控制。该项技术极大地提高了具身操作大模型的商业应用范围和价值。

在面向技术终局的端到端具身大模型层面，智源发布了全球首个端到端基于视频的多模态具身导航大模型NaVid。该模型可直接将机器人视角的视频和用户的自然语言指令作为输入，端到端输出机器人的移动控制信号。不同于以往的机器人导航技术，NaVid无需建图，也不依赖于深度信息和里程计信息等其它传感器信号，而是完全依靠机器人摄像头采集的单视角RGB视频流，并在只利用合成导航数据进行训练的情况下，通过Sim2Real的方式，实现在真实世界室内场景甚至是室外场景的zero-shot真机泛化，是一项勇敢而成功的前沿技术探索工作。

智能心脏超声机器人准确性高，更加舒适

智源研究院还联合领视智远研发了全球首个智能心脏超声机器人，实现了全球首例真人身上的自主心脏超声扫查，可解决心脏B超医生紧缺，诊断准确率不高，标准化欠缺，效率低的难题。基于超声影像和机械臂的受力信息，智能心脏超声机器人可在高速动态环境下快速计算，提取心脏特征，实现了相当于自动驾驶L2、 L3 级的智能化水平。临床验证结果显示，准确性上，智能心脏超声机器人能和高年资医生保持一致；稳定性上，智能心脏超声机器人更高；舒适性上，智能超声机器人的力度可以控制在 4 牛以内，更舒适；效率上，智能超声机器人实验机可与人类医生持平。

为实现通用计算机控制，智源研究院提出了通用计算机控制框架Cradle，让智能体像人一样看屏幕，通过鼠标、键盘完成计算机上的所有任务。Cradle 由信息收集、自我反思、任务推断、技能管理、行动计划以及记忆模块等 6 个模块组成，可进行 “反思过去，总结现在，规划未来”的强大决策推理。不同于业界其他方法，Cradle不依赖任何内部API实现了通用性。目前，智源研究院与昆仑万维研究院等单位合作，在荒野大镖客、星露谷物语、城市天际线、当铺人生4款游戏，以及Chrome、Outlook、飞书、美图秀秀以及剪映5种软件上，对Cradle进行了验证。智能体不仅可以根据提示自主学习玩游戏，还能对图片、视频进行有想象力的编辑。

未来，智源将依托多模态大模型技术优势资源，联合北大、清华、中科院等高校院所，银河通用、加速进化等产业链上下游企业，建设具身智能创新平台，重点开展数据、模型、场景验证等研究，打造具身智能创新生态。