继3月10日发布首个具身基座模型GO-1后,3月11日上午,上海AI企业智元机器人宣布其新款人形机器人灵犀X2上线。该企业首席技术官彭志辉称,创业这两年,目睹了人形机器人行业的悄然爆发。他一直的梦想是,能够造出和人类一样灵活和智能的机器人。
据彭志辉更新的视频显示,除了常规的行走、跑、跳舞外,灵犀X2还会举重、踩滑板车、玩平衡车以及骑自行车。彭志辉称,灵犀X2是一台具备复杂交互能力的“灵动机器人”。灵犀X2可以装配灵巧手等末端,具备精细操作的能力。随着机器人具身大脑的持续迭代,未来智元会赋予机器人更多复杂作业的能力。
会骑自行车的人形机器人
据彭志辉介绍,灵犀X2身高1.3米左右,他在视频中通过与这台机器人的互动交流,展示了其交互反应,以及基于VLM的硅光动语多模态模型所赋予的通过视觉理解和认知世界的能力。
灵犀X2正面图。上海智元机器人 供图
灵犀X2骑自行车。视频截图
视频中,彭志辉拿起手机问机器人“你看一下现在几点钟了?”X2回答道:“现在是早上5点42分。”“那我睡不着,我该喝哪个饮料呢?”看到彭志辉左右手分别拿着牛奶和饮料瓶,X2回答道:“建议你喝一杯牛奶,有助于睡眠。”当彭志辉拿起一盒保健品,让机器人帮忙看看如何使用时,X2瞄了眼包装盒,就一字不差地把使用说明念了一遍。
彭志辉介绍,灵犀X2的本体设计中融合了大量的创新思考,比如把机器人的硬件系统抽象出了一系列可复用的核心组件,包括小脑控制器Xyber-Edge、域控制器Xyber-DCU、智能电源管理系统Xyber-BMS,以及核心关节模组Powerflow等。通过这些组件,能够使用飞控来快速搭建起一套可靠的人形机器人系统。同时,灵犀X2使用了抗摔的柔性材料,全身拥有28个自由度,未使用任何并联结构。
“借助当前最火热的大语言模型技术,还为X2训练了能定制的多模态交互大模型,所以,X2也是一台具备复杂交互能力的‘灵动机器人’。”彭志辉透露,在语音和视觉之外,他们还把动作模态也集成到了模型当中,让X2有很多可爱的小动作,还有远程裸眼3D交流。“我们正在完善X2的思维模型,结合硅光动语大模型,未来会赋予机器人更多情绪表达的能力。”
同时,灵犀X2采用轻量化设计,可模块化拓展,拥有完备的二次开发接口,以及预训练模型和“采-训-推”一站式方案,用户可根据需求自由探索,为康养、服务、家庭陪伴等各类场景打造应用。
此前发布首个通用具身基座大模型
3月10日,澎湃新闻记者从上海市经信委获悉,当天上午,智元机器人正式发布首个通用具身基座大模型——智元启元大模型GO-1。
智元提出了Vision-Language-Latent-Action(ViLLA)架构,该架构由VLM(多模态大模型) + MoE(混合专家)组成。智元启元大模型GO-1借助人类和多种机器人数据,让机器人获得了学习能力,可泛化应用到各类环境和物品中,快速适应新任务、学习新技能。同时,它还支持部署到不同的机器人本体,并在实际的使用中持续进化。
智元机器人服务场景。
举例来说,用户给出指令告诉机器人要做的事情,比如“挂衣服”,模型就可以根据看到的画面,理解这句话对应的任务要求。然后,模型根据之前训练时看过的挂衣服流程,设想这个过程应该包括哪些操作步骤,最后执行这一连串的步骤,完成整个任务的操作。
在更深层的技术层面,GO-1大模型具备了通用的场景感知和理解能力。在构建和训练阶段,该大模型学习了互联网的大规模纯文本和图文数据,因此能够理解“挂衣服”在此情此景下的含义和要求;学习过人类操作视频和其他机器人的各种操作视频,所以能知道挂衣服这件事通常包括哪些环节;学习过仿真的不同衣服、不同衣柜、不同房间,模拟过挂衣服的操作,所以能理解环节中对应的物体和环境,并打通整个任务过程;最后,因为学习过真机的示教数据,所以机器人能完成整个任务的操作。
具体来说,该款大模型的特点可以归纳为4个方面。
一是人类视频学习:GO-1大模型可以结合互联网视频和真实人类示范进行学习,增强模型对人类行为的理解。
二是小样本快速泛化:该大模型具有泛化能力,能够在极少数据甚至零样本下泛化到新场景、新任务,降低了具身模型的使用门槛,使得后训练成本非常低。
三是一脑多形:该大模型是通用机器人策略模型,能够在不同机器人形态之间迁移,快速适配到不同本体。
四是持续进化:该大模型搭配一整套数据回流系统,可以从实际执行中遇到的问题数据中持续进化学习。
智元机器人在五种不同复杂度任务上针对GO-1的测试显示,相比已有的最优模型,GO-1的任务成功率领先,平均成功率提高了32%(46%->78%),其中在“Pour Water”(倒水)、“Table Bussing”(清理桌面)和“Restock Beverage”(补充饮料)的任务中表现尤为突出。
点击右上角微信好友
朋友圈
点击浏览器下方“”分享微信好友Safari浏览器请点击“
”按钮
点击右上角QQ
点击浏览器下方“”分享QQ好友Safari浏览器请点击“
”按钮