好家伙!周处除三害 麻豆
机器东谈主已入厂打工分拣快递,手法娴熟和东谈主类一模通常。
前几天,Figure 推出了端到端通用限度模子——Helix,能让机器东谈主像东谈主通常感知、认识和行径。
当今,是时候锻练最新后果了。
视频中,一批Figure 02走上坐褥一线,纪律井然地分拣快递,还能正确调遣条形码位置以供机器扫描……
最垂危的是,按照官方说法,这次场景微调只用了 30 天。而当作对比,第一个客户案例用了 12 个月之久。
端到端学习方法让 Figure 的机器东谈主大概快速学习新任务!
面对如斯进化速率,网友们直呼:咱们完啦!
背后关键:立异了 Helix 系统 1
除了视频,针对本次实验的高速、小包装物流场景,Figure 还公开了Helix 发达的最新敷陈。
在和 OpenAI 息交之后,就在上周五,Figure 公布了首个后果Helix。
当作一个端到端通用限度模子,只需当然话语教导,机器东谈主就能提起任何东西,哪怕是从没见过的东西(比如这个晴明的小仙东谈主掌)。
更多情理的是,两个机器东谈主也不错共同配合,而且用的是并吞组神经汇集。
字据那时的先容,Helix 主要由两个系统构成,两个系统经过端到端锻真金不怕火,况且不错进行通讯。
系统 1:80M 参数的交叉重看法 Transformer,用于处理底层限度。
系统 2:基于在互联网边界数据上预锻真金不怕火的 7B 开源 VLM,用于场景认识和话语认识。
而这一次,Figure 在物流场景重心对系统 1(底层限度)进行了一系列立异:
1、隐式立体视觉(Implicit stereo vision):增强了 3D 空间感知,使机器东谈主动作更精确;
2、多程序视觉暗示(Multi-scale visual representation):连合细节和举座场景认识,提高操作精度;
3、学习视觉实质感知(Learned visual proprioceptio):每个 Figure 机器东谈主当今皆不错自我校准,简化跨机器东谈主妙技迁徙;
4、绽开神态(Sport mode):使用简便的 test-time 加快技能,同期保持高到手率和更快的奉行速率。
最垂危的是,Figure 针对该特定场景,进一步考虑了数据质地和数目之间的衡量关连,并初步发现:
仅用 8 小时全心挑选的数据就能锻真金不怕火出一个纯真且适合性强的战术。
底下具体伸开。
在物流场景下,关键步伐包括包装处理和分类,主若是需要将包裹在传送带上蜕变并确保标签正确扫描。
听起来是不是很简便,但如果要让机器东谈主取代东谈主类来完成这项使命,濒临的挑战在于:
包裹的尺寸、局面、分量等鉴别,机器东谈主不仅要能提起来,而且需要详情最好持取和蜕变时间,以至放错了之后还能立马改良。
为了竣事上述指标,Figure 领先立异了 Helix 系统 1 的视觉才智。
新一代系统 1 通过采选立体视觉主干汇集和多程序特征提真金不怕火汇集来增强其空间认识才智。
简便说,系统不再孤独处理来自每个录像头的图像特征,而是领先在多程序立体采聚会合并两个录像头的特征,然后再进行符号化(Tokenize)处理。
这么作念的平允是,保持了输入到交叉重看法 transformer 的视觉 tokens 总和不变,幸免了预计支出。
同期,多程序特征提真金不怕火汇集大概同期捕捉到细节和更庸碌的坎坷文信息,这有助于提高操作的准确性和可靠性。
此外,为了惩办在多个机器东谈主上部署融合战术时遭逢的挑战,以及奈何通过在线自我校准来竣事跨机器东谈主战术迁徙。
举例由于机器东谈主硬件鉴别导致的不雅察和动作空间的散播偏移,传统的手动校准方法不适用于大边界机器东谈主群体。
Figure 锻真金不怕火了一个视觉自体嗅觉模子(visual proprioception model),这个模子不错让每个机器东谈主通过自己的视觉输入来自我校准,估算出机械臂终端(即持取物体的部分)的精确位置和姿态。
况且这种自我校准是在线进行的,也便是说机器东谈主不错在使命的同期进行校准,这么就能最猛进度地减少因校准而需要住手使命的时间。
趁机一提,锻真金不怕火经由中,Figure 抹杀了那些较慢的、遗漏的或失败的案例,不外有益保留了包含改良步履的案例(非遥控操作员导致,当然产生)。
临了,为了达到并进步东谈主类的操作速率,Figure 采选了一种被称为"绽开神态"的 test-time 加快技能。
具体来说,他们让系统 1 以每秒 200 次的频率输出一系列动作,这些动作被称为动作"块"(action " chunks ")。
然后采选了一种插值方法来加快这些动作块的奉行。插值是一种数学方法,不错在原罕有据点之间生成新的数据点。在这里,他们将蓝本的动作块(比如代表 T 毫秒的动作)通过插值缩小为 0.8T 毫秒的动作块,然则仍然以每秒 200 次的频率奉行这些缩小后的动作块。
这种方法不需要改变机器东谈主的锻真金不怕火经由,仅仅在 test-time 对动作奉行进行加快。通过这种方法,Figure 机器东谈主大概在现实测试中竣事高达 20%的速率进步。
Figure 创举东谈主:往时四年委用 10 万台
总之,技能升级让 Figure 走进工场的速率更快了。
官方提到的第 1 个客户,应该是指前年 8 月发布的 Figure 02 进良马工场从事汽车安装的事儿。
那时良马工场花了12 个月才给机器东谈主安排好妥当的使命,而这一次,机器东谈主持重上岗物流仅用了 30 天时间。
也难怪 Figure 创举东谈主有底气晓示,往时四年要委用 10 万台东谈主形机器东谈主。
另一方面,跟着国表里各家机器东谈主纷纷"进厂打工",大家徐徐达成了一个共鸣:
2025 是机器东谈主量产关键之年
从各家 demo 来看,东谈主形机器东谈主的技能已基本熟谙,因此接下来的争夺主要围绕量产伸开,而且要往现实坐褥场景走了。
比如在一家上海机器东谈主工场内,大量"往时工东谈主"正在坐褥 ing。
黑丝porn嗯周处除三害 麻豆,皆卷起来吧!