Figure首发OpenAI机器人
本周三,半个硅谷都在投的明星机器人创业公司Figure,发布了自己第一个OpenAI大模型加持的机器人demo。
这家公司不久前刚宣布获得OpenAI等公司的投资,才十几天就直接用上了OpenAI的多模态大模型。
将杯子和盘子归置放在沥水架上。
需要强调的是:你看到的这一切,只用到了一个神经网络。
Figure机器人操作高级AI工程师Corey Lynch介绍了此次Figure 01的技术原理。他表示,Figure 01现在可以做到以下这些:
描述其视觉体验;
规划未来的行动;
反思自己的记忆;
此外,该模型负责决定在机器人上运行哪些学习到的闭环行为以完成给定的命令,从而将特定的神经网络权重加载到GPU上并执行策略。
关于学到的低级双手操作,所有行为均由神经网络视觉运动transformer策略驱动,将像素直接映射到动作。这些网络以10hz的频率接收机载图像,并以200hz的频率生成24-DOF动作(手腕姿势和手指关节角度)。
最后他表示,即使在几年前,自己还认为人形机器人规划和执行自身完全学得行为的同时与人类进行完整的对话是几十年后才能看到的事情。显然,现在已经发生了太多变化。
Figure获、等投资
Figure AI已经成为马斯克的“擎天柱”之外最受投资人关注的AI初创企业之一。的风险基金以及“木头姐”Cathie Wood的Ark Invest、Align Ventures和现有投资者Parkway Venture Capital也参与了Figure AI的投资。
Figure AI成立于2022年,该公司已经开发了一款名为Figure 01的通用机器人,其外观和动作与人类相似,目标是能够用来执行替代人类的危险或者无聊的工作,例如在制造、运输和物流、仓储和零售等行业。这些领域被认为是“劳动力短缺最为严重的领域”。
Figure AI还表示,将与OpenAI合作,为人形机器人开发下一代模型,最终目标是让Figure 01能够自主执行“日常任务”。而要实现这一目标,需要开发更强大的系统。此外,Figure AI将使用的Azure云服务进行基础设施、培训和存储等方面的部署。
目前在人形机器人领域,最知名的是CEO马斯克的“擎天柱”。就在3月初,马斯克在社交平台X上发布了一个最新的“擎天柱”视频,这款人形机器人的步态更加接近于人类,可以实现自然转弯等能力。
“擎天柱”首席工程师Milan Kovac表示:“这是我们有史以来最快的步态,速度约为0.6米/秒,与12月份发布的上一个视频相比,速度提高了30%。”
据介绍,新版“擎天柱”的前庭系统、脚部轨迹,以及地面接触逻辑得到了改进,运动规划器得到升级,整个机器人的环路延迟也大大缩短;另外,研究团队还为其添加了一些躯干和手臂的摇摆动作,使行走看起来更加自然。