Facebook提出了3D导航任务来训练自主机器人

在Facebook上，乔治亚技术研究所和美国俄勒冈州立大学的研究人员描述了一个预印纸本周公布的新课题AI -通过聆听自然语言的方向（例如，“下井大厅，左转导航的3D环境木桌”）。他们说，这可以为遵循自然语言指令的机器人助手打下基础。

研究人员的任务称为连续环境下的视觉和语言导航（VLN-CE），发生在Facebook的栖息地Habitat中，该模拟器可以训练AI代理在旨在模拟现实环境的环境中进行操作。以直径为0.2米的1.5米高的圆柱体为代表的特工放置在源自Matterport3D数据集的内部，该数据集是通过10800幅全景图和相应的3D网格捕获的90个环境的集合。特工必须沿着路径执行以下四个动作之一（向前移动0.25米，向左或向右旋转15度，或停在目标位置），并学会避免卡在椅子和桌子等障碍物上。

该团队将环境精炼为4475个轨迹，该轨迹由4到6个节点组成，这些轨迹对应于在位置拍摄的360度全景图像，并显示了可导航性。他们用它来训练两个AI模型：一个序列到序列模型，该模型由采取视觉观察和指令表示的策略组成，并使用它们来预测动作；以及一个跟踪观察结果的两网络交叉模式注意模型并根据说明和功能做出决策。

研究人员说，在实验中，表现最好的特工可以遵循“左转并进入走廊”之类的指示，即使这些要求特工转动未知次数直到发现视觉界标。实际上，特工在看不见的环境中大约三分之一的情节中导航到目标位置，平均采取了88次动作。

特工有时会失败，有时会朝错误的窗口移动，而未能首先按照指示“通过厨房”。共同作者说，这些失败通常是由于代理商目视缺少说明中提到的对象而导致的。

“至关重要的是，VLN-CE…为[研究]社区提供了一个测试平台，在这里可以进行研究高级和低级控制界面的这类集成实验，”合著者写道。

Facebook已投入大量资源来解决自主机器人导航的问题。6月，在宣布了一项教导六足六足机器人走路的倡议之后，该公司推出了PyRobot，这是一种用于PyTorch机器学习框架的机器人框架。在2018年，该公司开源了AI，可以通过360度图像在纽约市的街道上导航。最近，一个Facebook团队发表了一篇论文，描述了一种通过观看视频来学习如何绕开办公室的系统。