“OK-Robot”可以实现家庭内物体的移动,弥合人工智能和机器人之间的差距

【消化】

一种名为 OK-Robot 的新系统可以训练机器人在它们第一次访问的家中拾取和移动物体。该系统可以弥合快速发展的人工智能模型和真实机器人能力之间的差距,而无需额外的昂贵且复杂的培训。纽约大学和 Meta 的研究人员使用 Hello Robot 制造的名为 Stretch 的商用机器人对 5 个家庭的总共 10 个房间进行了测试。研究人员使用iPhone应用程序“Record3D”捕捉房间的3D视频并与机器人共享数据。 OK-Robot系统将开源AI对象检测模型应用于该视频的帧中,以识别玩具龙、牙膏管和扑克牌等物体,以及椅子、桌子和垃圾桶等位置。然后,机器人被指示拾取特定物品并将其移动到新位置,并且在 58.5% 的情况下成功。当房间不杂乱时,成功率增加到 82%。

尽管该研究尚未经过同行评审,但 Google DeepMind 的高级计算机视觉研究科学家 Matthias Minderer(未参与该项目)指出了利用开源人工智能模型和工具的重要性。然而,纽约大学计算机科学助理教授 Lerrel Pinto 指出了使用开源模型的好处和局限性。具体来说,虽然不需要向机器人提供额外的训练数据,但机器人只能拾取物体并将其放置在不同的位置,而不能执行打开抽屉等动作。

该项目共同领导者、纽约大学博士生 Mahi Shafiullah 表示,通过将 OK-Robot 与语音识别模型相结合,研究人员将更容易向机器人发出语音命令。他认为这项研究向展示在家庭中使用机器人的可能性迈出了一步,而许多人认为这是不可能的。

【新闻评论】

一种名为“OK-Robot”的新系统已经开发出来,允许机器人在它们第一次访问的家中拾取并移动物体。该技术旨在弥合人工智能模型的进化与真实机器人的能力之间的差距,而不需要额外的昂贵且复杂的训练。纽约大学和 Meta 的研究人员在 5 个家庭的 10 个房间中测试了商用机器人 Stretch,使用 iPhone 应用程序 Record3D 捕获房间的 3D 视频并与机器人共享该数据,使机器人能够识别房间内的物体和位置。

该系统的优点是,通过利用开源人工智能模型,无需向机器人提供额外的训练数据。然而,另一方面,机器人也有局限性,它们只能拾取物体并将其放置在不同的位置;他们无法执行更复杂的动作。该项目还考虑通过将其与语音识别模型相结合,让研究人员更容易地向机器人发出语音命令。

这项技术的发展表明,机器人在家庭中的使用可能成为现实。到目前为止,对许多人来说,在家里使用机器人一直被认为是困难的,但有了像 OK-Robot 这样的系统,机器人可能很快就会在日常生活中变得有用。

然而,这项技术也面临一些挑战。例如,如果机器人找不到命令对象,它将停止移动而不是寻找解决方案。此外,当房间杂乱时,成功率会降低,因此需要进一步改进以在实际家庭环境中使用。

从长远来看,预计此类系统的开发将使机器人能够执行更复杂的任务并支持人类的生活。然而,要实现这一目标,还需要进一步提高机器人的识别能力和动作的准确性。隐私和安全问题也需要考虑,如果这些技术要被社会接受,找到这些挑战的解决方案非常重要。

这个机器人可以在没有任何帮助的情况下打扫房间.