端到端纯视觉:OpenAI 押注的人形机器人献艺拜年了

来源:企鹅电竞企鹅  

,经过最新视频拜年了(doge)。有俩人上来就表演了一个从货架取包裹,回身放进筐里: ...

  ,经过最新视频拜年了(doge)。有俩人上来就表演了一个从货架取包裹,回身放进筐里:

  镜头持续推动,周围靠墙的两个机器人,在不停地将俄罗斯方块积木举起-丢下-再举起。

  另一边,充好电的机器人,温顺地拔掉插销,轻轻半蹲,把插头放到指定方位。周围还来了个赶来充电的家伙:

  一个斗室间内,面带笑容的机器人慢慢行进,然后流畅地捡起地上的公仔,放回了玩具筐。

  最终,镜头跟从一个导游机器人,在场地里巡查了一圈,方才介绍到的机器人们还在各司其职,干自己的作业。

  机器人们宣布的每一个动作行为,都根据视觉神经网络端到端操控。而且视频本来速度播映,无加快、无编排、无长途操控。

  不会吧不会吧,你不会还在等有人摆开机器人背面的拉链,然后摘下头盔,走下平衡车吧!

  为了让自家人形机器人被充沛开发利用,背面公司 ——1X Technologies(简称 1X),从上一年起开端寻求最通用的办法,即运用视觉神经网络,让机器人端到端地学习运动行为。

  官方释出视频中,每一个机器人的行为,都由 10Hz 频率的视觉神经网络操控。

  该视频不包括长途操作,没有计算机图形,没有编排,没有视频加快,没有脚本轨道回放。

  据介绍,有 30 台机器人出演了这次展现视频(现在,全公司共有 50 台该类型机器人)

  为了练习生成视频中展现行为的机器学习模型,1X 团队在这 30 台机器人中组装了一个高质量、多样化的演示数据集。

  这些数据被用来练习出一个根底模型,这个模型可以了解广泛的身体行为,比方清洁收拾房子、拾捡物品、和人类 or 其他机器人交际。

  然后,团队对根底模型进行微调,让它成为更详细的功用系列,比方用于一般门操作的模型、用于库房使命的模型。

  再然后,再微调现已微调过的模型,让它生成的行为和特定使命(如翻开特定的某道门)保持一致。

  这样的练习方法,让团队可以在台式机的 GPU 上进行几分钟的数据搜集和训练,然后让模型把握新技能。

  更重要的是,这样的方法,让机器人不受 AI 工程师数量的约束,就能学会短期移动操作技能。

  本次展现进场的机器人是 1X 公司的初代产品,名叫EVE(夏娃),专为作业环境规划,大多数都用在工业、物流、零售和安全范畴。

  它高 1.86 米,重 86 公斤,最高时速 14.4 公里,承载才能 15 公斤,续航 6 小时。

  尽管没有直接喊话过,但由于规划和事务高度重合,EVE 被业界默以为对标马斯克的特斯拉机器人 Optimus。

  1X 首席执行官兼创始人 Bernt Bornich 表明,现在,EVE 现已上岗打工,在欧美部分地区投入商业化使用,至少两个工业场所都布置了 EVE 来担任保安作业。

  EVE 背面的是一家挪威公司 1X,成立于 2014 年,前身为 Halodi Robotics。该公司专心于发明可以有用的进行相似人类运动和行为的人型机器人,并在实践场景中布置。

  特别提一下,1X 的现任产品担任人是Eric Jang。Eric Jang 结业于布朗大学计算机科学专业,结业后在 Google X 作业了 6 年,担任机器人高档研讨科学家。2022 年 4 月,Eric 加入了 1X,领导 AI 部分。

  到了上一年 3 月,1X 正式有了 OpenAI“支持”——取得由 OpenAI 创业基金领投的 2350 万美元融资,投后估值约为 1-2 亿美金。这也是 OpenAI 出资的第一家硬件公司。

  OpenAI 的 COO Brad Lightcap 曾揭露率直:“出资 1X 瞄准的机遇是其机器人硬件现已很老练,可以在 AI 的加持下,开辟更广泛的劳动力商场。”