“导游Bot”在模拟的纽约市中导航定位，使用自然语言跟“游客Bot”交流
在fair和蒙特利尔大学合作的最新研究中，研究人员首次将实验中将感知、行动和使用自然语言交互达成目标这三个任务结合在一起：让两个bot使用自然语言对话，让“导游bot”将“游客bot”带到指定地点，而且导航成功率超越了人类。
facebook让两个bot自己游纽约，“导游bot”在模拟的纽约市中导航定位，使用自然语言跟“游客bot”交流，成功率超过了88%！
这已经显著超越某些“路痴”人类，而且，两个bot还是使用自然语言在交流。
两个bot使用自然语言交流导航定位
在今天最新上传到arxiv的一篇研究论文中，facebook人工智能实验室（fair）与蒙特利尔大学合作，研究人工智能系统如何定位，并比人类更好地传达观测数据。
研究人员把他们的实验成为“talk the walk”。在实验中，他们将游客bot随机放到纽约市的一个街角，再让一个导游bot将前者引导到2d地图上的某个位置。导游bot知道地图，也知道目标地点，但是不知道游客bot在哪里；游客bot拥有360°视角，但不知道地图，也不清楚目标地点。
游客和导游必须相互沟通，交流彼此所知道的信息，才能实现目标。
想象一下两个bot的对话：
导游：你好，你在附近吗？
游客：你好，在我面前是“布鲁克斯兄弟”。
导游：这是家商店还是餐馆？
游客：这是一家服装店。
导游：你往地图西北角的十字路口走。
游客：我身后似乎有一家银行。
导游：好的，左转然后沿着那条路直行。
...
研究人员表示，talk the walk是首个将所有三个要素结合在一起的任务：感知（游客bot观察世）、行为（游客bot在环境中导航），以及语言交互达成目标（导游bot为游客bot提供引导帮助其实现目标）。
首次将感知、行动和使用自然语言交流达成目标结合在一起
实验中使用的街景地图数据，是mturk众包手动收集的几个纽约市街区的360°视图。这些街景环境被整合到parlai中，这是facebook的一个用于训练ai的框架，支持很多任务，包含的数据集包括squad,babi tasks,ms marco,mctest,wikiqa,webquestions等等。
实验中使用的自然语言数据，也是mturk的真人对话，用几周时间收集，包含10k成功的导航对话。平均来说，人类需要超过62次行动（对话和走路）才能顺利到达目标地点。大部分行动发生在游客这边，平均每次对话44次行动。人类导游大约说了9次话（稍微比游客的8次话多一点点）。
虽然研究人员的目标是让bot通过自然语言来处理收集到的信息，但他们发现，当bot使用“合成语言”时，完成任务的效果更好，因为后者更依赖于使用更简单的符号来传达信息和位置。这种不那么自然的数据通信方式不仅优于人类的聊天，还能让bot比人在自然语言聊天中更简单快读地找到自己的道路。
机器比人类更擅长导航定位！
talk the walk的实验环境设置全部来自现实世界，因此尤其困难。让两个人用文字描述自己周围的不熟悉环境已经不容易，何况两个bot？
为了解决这个问题，研究人员提出了一个名为masc（masked attention for spatial convolution）的机制，让bot能快速从语言模型中解析对方回应的关键字的内容。facebook表示，利用该流程可以使正在测试的结果的准确性翻倍。
结果显示，他们最好的沟通模型（emergent communication model）准确率几乎达到了70%，要显著优于从人类话语中得到最好的定位模型（大约20％），这表明人类很不善于定位，因为人类并不总能很好地传达自己的观察和行动。
不仅如此，他们最好的定位模型（continuous communication, with masc, and t = 3）在整个导航任务测试中达到了88.33%的准确率，超过了人类76.74%的表现。
激动人心的新研究方向：用自然语言对话解决现实世界问题
研究人员表示，这是一项基础性研究，这次实验只是初步结果，还提出了更多的问题等待解决。
“如果你真的想要解决所有人工智能问题，那么你可能要有解决不同子问题的不同模块或组件，”facebook ai研究科学家douwe kiela在接受techcrunch记者采访时表示：“从这个意义上说，这个问题是一个真正的挑战。”
他希望有更多的人参与进来与他们共同在这个激动人心的新研究方向上与他们合作。
NXP推出基于i.MX RT117H的智能人机界面解决方案
可以用电磁炉进行快速无线快充吗
播下开源教育的种子分论坛圆满举办
为大家介绍一下无人叉车在生产应用中有哪些优势
人工智能软件有哪些
“导游Bot”在模拟的纽约市中导航定位，使用自然语言跟“游客Bot”交流
新标准而发布的Type-C数据线的安全性如何
5G氢燃料无人驾驶电动拖拉机（ET504-H）发布
SX1308构成的DC-DC升压电路
用DPDK启动VCwitter并配置端口
未来苹果手机和安卓手机的接口将会统一
lcm模组有哪些配件组成
关于工控系统的安全现状以及问题分析
超8亿元！氮化镓行业新增了4个项目
LTC4020 5V~30V 至 6 节铅酸电池 PowerPath 充电器
剖析被动元器件的市场数据
以太网交换机的接口有多少个，应用时如何选择
北京正围绕十大高精尖产业全力打造服务全国、辐射全球的高精尖产业集聚区
多天线终端测试方法的演进、理论与实践
TI功能安全栅极驱动诊断保护特性概述
facebook让两个bot自己游纽约，“导游bot”在模拟的纽约市中导航定位，使用自然语言跟“游客bot”交流，成功率超过了88%！
这已经显著超越某些“路痴”人类，而且，两个bot还是使用自然语言在交流。
两个bot使用自然语言交流导航定位
在今天最新上传到arxiv的一篇研究论文中，facebook人工智能实验室（fair）与蒙特利尔大学合作，研究人工智能系统如何定位，并比人类更好地传达观测数据。
研究人员把他们的实验成为“talk the walk”。在实验中，他们将游客bot随机放到纽约市的一个街角，再让一个导游bot将前者引导到2d地图上的某个位置。导游bot知道地图，也知道目标地点，但是不知道游客bot在哪里；游客bot拥有360°视角，但不知道地图，也不清楚目标地点。
游客和导游必须相互沟通，交流彼此所知道的信息，才能实现目标。
想象一下两个bot的对话：
导游：你好，你在附近吗？
游客：你好，在我面前是“布鲁克斯兄弟”。
导游：这是家商店还是餐馆？
游客：这是一家服装店。
导游：你往地图西北角的十字路口走。
游客：我身后似乎有一家银行。
导游：好的，左转然后沿着那条路直行。
...
研究人员表示，talk the walk是首个将所有三个要素结合在一起的任务：感知（游客bot观察世）、行为（游客bot在环境中导航），以及语言交互达成目标（导游bot为游客bot提供引导帮助其实现目标）。
首次将感知、行动和使用自然语言交流达成目标结合在一起
实验中使用的街景地图数据，是mturk众包手动收集的几个纽约市街区的360°视图。这些街景环境被整合到parlai中，这是facebook的一个用于训练ai的框架，支持很多任务，包含的数据集包括squad,babi tasks,ms marco,mctest,wikiqa,webquestions等等。
实验中使用的自然语言数据，也是mturk的真人对话，用几周时间收集，包含10k成功的导航对话。平均来说，人类需要超过62次行动（对话和走路）才能顺利到达目标地点。大部分行动发生在游客这边，平均每次对话44次行动。人类导游大约说了9次话（稍微比游客的8次话多一点点）。
虽然研究人员的目标是让bot通过自然语言来处理收集到的信息，但他们发现，当bot使用“合成语言”时，完成任务的效果更好，因为后者更依赖于使用更简单的符号来传达信息和位置。这种不那么自然的数据通信方式不仅优于人类的聊天，还能让bot比人在自然语言聊天中更简单快读地找到自己的道路。
机器比人类更擅长导航定位！
talk the walk的实验环境设置全部来自现实世界，因此尤其困难。让两个人用文字描述自己周围的不熟悉环境已经不容易，何况两个bot？
为了解决这个问题，研究人员提出了一个名为masc（masked attention for spatial convolution）的机制，让bot能快速从语言模型中解析对方回应的关键字的内容。facebook表示，利用该流程可以使正在测试的结果的准确性翻倍。
结果显示，他们最好的沟通模型（emergent communication model）准确率几乎达到了70%，要显著优于从人类话语中得到最好的定位模型（大约20％），这表明人类很不善于定位，因为人类并不总能很好地传达自己的观察和行动。
不仅如此，他们最好的定位模型（continuous communication, with masc, and t = 3）在整个导航任务测试中达到了88.33%的准确率，超过了人类76.74%的表现。
激动人心的新研究方向：用自然语言对话解决现实世界问题
研究人员表示，这是一项基础性研究，这次实验只是初步结果，还提出了更多的问题等待解决。
“如果你真的想要解决所有人工智能问题，那么你可能要有解决不同子问题的不同模块或组件，”facebook ai研究科学家douwe kiela在接受techcrunch记者采访时表示：“从这个意义上说，这个问题是一个真正的挑战。”
他希望有更多的人参与进来与他们共同在这个激动人心的新研究方向上与他们合作。
NXP推出基于i.MX RT117H的智能人机界面解决方案
可以用电磁炉进行快速无线快充吗
播下开源教育的种子分论坛圆满举办
为大家介绍一下无人叉车在生产应用中有哪些优势
人工智能软件有哪些
“导游Bot”在模拟的纽约市中导航定位，使用自然语言跟“游客Bot”交流
新标准而发布的Type-C数据线的安全性如何
5G氢燃料无人驾驶电动拖拉机（ET504-H）发布
SX1308构成的DC-DC升压电路
用DPDK启动VCwitter并配置端口
未来苹果手机和安卓手机的接口将会统一
lcm模组有哪些配件组成
关于工控系统的安全现状以及问题分析
超8亿元！氮化镓行业新增了4个项目
LTC4020 5V~30V 至 6 节铅酸电池 PowerPath 充电器
剖析被动元器件的市场数据
以太网交换机的接口有多少个，应用时如何选择
北京正围绕十大高精尖产业全力打造服务全国、辐射全球的高精尖产业集聚区
多天线终端测试方法的演进、理论与实践
TI功能安全栅极驱动诊断保护特性概述