基于神经匹配的二维地图视觉定位
主要内容：
提出了一种基于人类使用的2d语义图以亚米精度定位图像的算法，orienternet，通过将bev图与openstreetmap中开放可用的全局地图相匹配来估计查询图像的位置和方向，使任何人都能够在任何可用地图的地方进行定位。 orienternet只受相机姿态的监督，学习以端到端的方式与各种地图元素进行语义匹配。引入了一个大规模的众包图像数据集，该数据集以汽车、自行车和行人的不同角度在12个城市进行拍摄得到。
motivation：
作为人类，我们直观地理解我们所看到的局部场景和我们所处场景的全局地图之间的关系。当我们迷失在未知区域时，我们可以通过使用不同的地理特征仔细比较地图和周围环境来准确定位我们的位置。
传统的视觉定位算法通常很复杂，其依赖于图像匹配，并且需要冗余的3d点云和视觉描述子，而且使用激光雷达或摄影测量构建3d地图是昂贵的，并且需要更新数据来捕捉视觉外观的变化，3d地图的存储成本也很高，因为它们比基本的2d地图大几个数量级。这些限制了其在移动设备上执行定位，现在的方法一般需要昂贵的云基础设施。
这就引出了一个重要的问题：我们如何像人类一样教机器从基本的2d地图进行定位？ 本文就根据这个问题提出了第一种方法，该方法可以在给定人类使用的相同地图的情况下，以亚米精度定位单个图像和图像序列。
这些平面图只对少数重要物体的位置和粗略的二维形状进行编码，而不对其外观和高度进行编码。这样的地图非常紧凑，尺寸比3d地图小104倍，因此可以存储在移动设备上，并用于大区域内的设备上定位。该解决方案也不需要随着时间的推移构建和维护昂贵的3d地图，也不需要收集潜在的敏感地图数据。
其算法估计2d地图中图像的3-dof姿态，位置和航向。
该估计是概率性的，因此可以在多相机设备或图像序列的多个视图之前或跨多个视图与不准确的gps融合。所得到的解决方案比消费级gps传感器准确得多，并且基于特征匹配达到了接近传统算法的精度水平。
使用的2d地图与传统地图的区别：
pipeline：
输入：
输入为具有已知相机内参的图像i。通过根据已知重力计算的单应性对图像进行校正，使其roll和tilt为零，然后其主轴为水平。还有一个粗略的位置先验ξ。从openstreetmap查询地图数据，将其作为以ξ先验为中心的正方形区域，其大小取决于先验的噪声程度。数据由多边形、线和点的集合组成，每个多边形、线或点都属于给定的语义类，其坐标在同一局部参考系中给定。
orienternet由三个模块组成：
1）图像cnn从图像中提取语义特征，并通过推断场景的3d结构将其提升为鸟瞰图（bev）表示
2） osm map由map-cnn编码为嵌入语义和几何信息的神经map f。
3） 通过将bev与地图进行穷举匹配来估计相机姿态ξ上的概率分布
论文技术点：
鸟瞰图bev推理：
从一个图像i中推断一个bev表示，其分布在与相机截头体对齐的l×d的网格上，由n维特征组成，网格上每个特征都被赋予了一个置信度，有矩阵。
这种bev表示类似于人类在地图中自我定位时从环境中推断出的心理地图。
图像和地图之间的跨模态匹配需要从视觉线索中提取语义信息，算法依靠单目推理将语义特征提升到bev空间，分两步来获得神经bev：
i）通过将图像列映射到极射线来将图像特征转移到极坐标表示
ii）将极坐标网格重新采样为笛卡尔网格
神经map编码：
将平面图编码为结合了几何和语义的w×h神经图
map data：openstreetmap元素根据其语义类定义为多边形区域、多段线或单点。区域的例子包括建筑足迹、草地、停车场；线条包括道路或人行道中心线、建筑轮廓；点包括树木、公交车站、商店等。这些元素提供了定位所需的几何约束，而它们丰富的语义多样性有助于消除不同姿势的歧义。
预处理：首先将区域、线和点光栅化为具有固定地面采样距离
▲（例如50cm/pixel）的3通道图像。
编码：将每个类与学习的n维嵌入相关联，生成w×h×3n的特征图。然后通过一个cnn 将其编码到神经图f中，其提取有助于定位的几何特征。f不是归一化的，因为我们让φ映射将其范数调制为匹配中的重要权重。f通常看起来像一个距离场，在那里我们可以清楚地识别建筑物的角落或相邻边界等独特特征。
基于模板匹配的姿态估计：
概率体：
估计一个相机姿态ξ上的离散概率分布。这是可解释的，并充分反映了估计的不确定性。因此在不明确的情况下，分布是多模式的。图4显示了各种示例。这样就可以很容易地将姿态估计与gps等附加传感器相融合。计算这个体积是容易处理的，因为姿势空间已经减少到三维。它被离散化为每个地图位置和以规则间隔采样的k个旋转。 这产生了w×h×k概率体积p，使得
它是图像-地图匹配项m和位置先验的组合Ω:
图像-地图匹配：
将神经map f和bev t进行穷举匹配，得到分数体m。通过将f与由相应姿势变换的t相关来计算每个元素，如：
其中ξ（p）将2d点p从bev变换为地图坐标系。置信度c掩盖相关性以忽略bev空间的一些部分，例如被遮挡的区域。该公式得益于通过旋转t k次并在傅立叶域中执行作为分批乘法的单个卷积的有效实现。
姿态推断： 通过最大似然估计单个姿态：
。当分布大多是单峰分布时，可以获得一个不确定性度量，作为p在ξ*周围的协方差。
序列和多相机定位：
单图像定位在几乎没有表现出独特语义元素或重复模式的位置是模糊的。当多个视图的相对姿势已知时，可以通过在多个视图上积累额外的线索来消除这种挑战。这些视图可以是来自vi slam的具有姿势的图像序列，也可以是来自校准的多摄像机设备的同时视图。图5显示了这样一个困难场景的例子，通过随着时间的推移累积预测来消除歧义。不同的帧在不同的方向上约束姿势，例如在交叉点之前和之后。融合较长的序列会产生更高的精度（图6）
将ξi表示为视图i的未知绝对姿态，将ξij表示为视图j到i的已知相对姿态。对于任意参考视图i，将所有单视图预测的联合似然表示为：
其中
表示姿势合成运算符。这是通过将每个概率体积pj扭曲到参考帧i来有效计算的。也可以通过迭代扭曲和归一化来定位连续流的每个图像，就像经典的马尔可夫定位一样。
实验：
在驾驶和ar的背景下评估了定位模型。图4显示了定性示例，而图5说明了多帧融合的有效性。
实验表明：
1）orienternet在2d地图定位方面比现有的深度网络更有效；
2） 平面图比卫星图像更准确地定位；
3） 在考虑多个视图时，orienternet比嵌入式消费级gps传感器准确得多。
在mgl数据集的验证拆分上评估了orienternet的设计。这确保了摄像机、动作、观看条件和视觉特征的分布与训练集相同。报告了三个阈值1/3/5m和1/3/5°时的位置和旋转误差的召回
使用kitti数据集考虑驾驶场景中的定位。为了评估零样本性能使用了他们的test2分割，该分割与kitti和mgl训练集不重叠。图像由安装在城市和住宅区行驶的汽车上的摄像头拍摄，并具有rtk的gt姿势。使用osm map来扩充数据集。
用于增强现实（ar）的头戴式设备的定位。 因为没有公共基准可以为在不同的户外空间使用ar设备拍摄的图像提供地理对齐的gt姿势。因此用aria眼镜记录了自己的数据集。它展示了ar的典型模式，带有嘈杂的消费者级传感器和行人的视角和动作。 包括两个地点：i）西雅图市中心，有高层建筑；ii）底特律，有城市公园和较低的建筑。记录了每个城市的几个图像序列，所有图像序列都大致遵循多个街区的相同循环。
记录每幅校准的rgb图像和gps测量值，并从离线专有的vi slam系统中获得相对姿态和重力方向。通过基于gps、vi约束和orienternet的预测联合优化所有序列来获得伪gt全局姿态。
总结：
orienternet是第一个深度神经网络，可以在人类使用的2d平面图中以亚米精度定位图像。orienternet通过将输入地图与源自视觉观察的心理地图相匹配，模仿人类在环境中定位自己的方式。与机器迄今为止所依赖的大型且昂贵的3d地图相比，这种2d地图非常紧凑，因此最终能够在大型环境中进行设备上定位。orienternet基于openstreetmap的全球免费地图，任何人都可以使用它在世界任何地方进行定位。
智能语音落地灯：离线语音控制技术的优势与应用
取土钻的作用是什么，它的意义又是什么
AD19PCB界面出现白色如何解决
亿纬锂能调出募集资金9亿元 用于全自动化圆柱三元锂离子电池
怎样修复钥匙扣和遥控器按钮
基于神经匹配的二维地图视觉定位
作为一种新型的显示技术产品，透明屏有哪些应用场景？
什么是超频 超频关键因素有哪些
中国T800碳纤维量产打破垄断 成本仅为350元/公斤
缓存如何工作，如何设计CPU缓存
继电保护测试仪的功能特点
基于智能PID控制器实现电加热炉控制系统的设计
智能时代互联网车企和传统车企谁能称霸
proteus如何移动整块电路
MWCS大展将在上海召开 阿里YunOS 6将亮相MWCS 多款新机齐发
谷歌前工程师开发实时AI语音APP
回路矩阵与回路电压定律
努比亚挑衅开怼小米MIX 2，全面屏新机型号、外观纷纷曝光：高屏占比
芯动科技参加三星全球晶圆代工论坛Samsung Foundry Forum& SAFE Forum
数码相机录音功能
提出了一种基于人类使用的2d语义图以亚米精度定位图像的算法，orienternet，通过将bev图与openstreetmap中开放可用的全局地图相匹配来估计查询图像的位置和方向，使任何人都能够在任何可用地图的地方进行定位。 orienternet只受相机姿态的监督，学习以端到端的方式与各种地图元素进行语义匹配。引入了一个大规模的众包图像数据集，该数据集以汽车、自行车和行人的不同角度在12个城市进行拍摄得到。
motivation：
作为人类，我们直观地理解我们所看到的局部场景和我们所处场景的全局地图之间的关系。当我们迷失在未知区域时，我们可以通过使用不同的地理特征仔细比较地图和周围环境来准确定位我们的位置。
传统的视觉定位算法通常很复杂，其依赖于图像匹配，并且需要冗余的3d点云和视觉描述子，而且使用激光雷达或摄影测量构建3d地图是昂贵的，并且需要更新数据来捕捉视觉外观的变化，3d地图的存储成本也很高，因为它们比基本的2d地图大几个数量级。这些限制了其在移动设备上执行定位，现在的方法一般需要昂贵的云基础设施。
这就引出了一个重要的问题：我们如何像人类一样教机器从基本的2d地图进行定位？ 本文就根据这个问题提出了第一种方法，该方法可以在给定人类使用的相同地图的情况下，以亚米精度定位单个图像和图像序列。
这些平面图只对少数重要物体的位置和粗略的二维形状进行编码，而不对其外观和高度进行编码。这样的地图非常紧凑，尺寸比3d地图小104倍，因此可以存储在移动设备上，并用于大区域内的设备上定位。该解决方案也不需要随着时间的推移构建和维护昂贵的3d地图，也不需要收集潜在的敏感地图数据。
其算法估计2d地图中图像的3-dof姿态，位置和航向。
该估计是概率性的，因此可以在多相机设备或图像序列的多个视图之前或跨多个视图与不准确的gps融合。所得到的解决方案比消费级gps传感器准确得多，并且基于特征匹配达到了接近传统算法的精度水平。
使用的2d地图与传统地图的区别：
pipeline：
输入：
输入为具有已知相机内参的图像i。通过根据已知重力计算的单应性对图像进行校正，使其roll和tilt为零，然后其主轴为水平。还有一个粗略的位置先验ξ。从openstreetmap查询地图数据，将其作为以ξ先验为中心的正方形区域，其大小取决于先验的噪声程度。数据由多边形、线和点的集合组成，每个多边形、线或点都属于给定的语义类，其坐标在同一局部参考系中给定。
orienternet由三个模块组成：
1）图像cnn从图像中提取语义特征，并通过推断场景的3d结构将其提升为鸟瞰图（bev）表示
2） osm map由map-cnn编码为嵌入语义和几何信息的神经map f。
3） 通过将bev与地图进行穷举匹配来估计相机姿态ξ上的概率分布
论文技术点：
鸟瞰图bev推理：
从一个图像i中推断一个bev表示，其分布在与相机截头体对齐的l×d的网格上，由n维特征组成，网格上每个特征都被赋予了一个置信度，有矩阵。
这种bev表示类似于人类在地图中自我定位时从环境中推断出的心理地图。
图像和地图之间的跨模态匹配需要从视觉线索中提取语义信息，算法依靠单目推理将语义特征提升到bev空间，分两步来获得神经bev：
i）通过将图像列映射到极射线来将图像特征转移到极坐标表示
ii）将极坐标网格重新采样为笛卡尔网格
神经map编码：
将平面图编码为结合了几何和语义的w×h神经图
map data：openstreetmap元素根据其语义类定义为多边形区域、多段线或单点。区域的例子包括建筑足迹、草地、停车场；线条包括道路或人行道中心线、建筑轮廓；点包括树木、公交车站、商店等。这些元素提供了定位所需的几何约束，而它们丰富的语义多样性有助于消除不同姿势的歧义。
预处理：首先将区域、线和点光栅化为具有固定地面采样距离
▲（例如50cm/pixel）的3通道图像。
编码：将每个类与学习的n维嵌入相关联，生成w×h×3n的特征图。然后通过一个cnn 将其编码到神经图f中，其提取有助于定位的几何特征。f不是归一化的，因为我们让φ映射将其范数调制为匹配中的重要权重。f通常看起来像一个距离场，在那里我们可以清楚地识别建筑物的角落或相邻边界等独特特征。
基于模板匹配的姿态估计：
概率体：
估计一个相机姿态ξ上的离散概率分布。这是可解释的，并充分反映了估计的不确定性。因此在不明确的情况下，分布是多模式的。图4显示了各种示例。这样就可以很容易地将姿态估计与gps等附加传感器相融合。计算这个体积是容易处理的，因为姿势空间已经减少到三维。它被离散化为每个地图位置和以规则间隔采样的k个旋转。 这产生了w×h×k概率体积p，使得
它是图像-地图匹配项m和位置先验的组合Ω:
图像-地图匹配：
将神经map f和bev t进行穷举匹配，得到分数体m。通过将f与由相应姿势变换的t相关来计算每个元素，如：
其中ξ（p）将2d点p从bev变换为地图坐标系。置信度c掩盖相关性以忽略bev空间的一些部分，例如被遮挡的区域。该公式得益于通过旋转t k次并在傅立叶域中执行作为分批乘法的单个卷积的有效实现。
姿态推断： 通过最大似然估计单个姿态：
。当分布大多是单峰分布时，可以获得一个不确定性度量，作为p在ξ*周围的协方差。
序列和多相机定位：
单图像定位在几乎没有表现出独特语义元素或重复模式的位置是模糊的。当多个视图的相对姿势已知时，可以通过在多个视图上积累额外的线索来消除这种挑战。这些视图可以是来自vi slam的具有姿势的图像序列，也可以是来自校准的多摄像机设备的同时视图。图5显示了这样一个困难场景的例子，通过随着时间的推移累积预测来消除歧义。不同的帧在不同的方向上约束姿势，例如在交叉点之前和之后。融合较长的序列会产生更高的精度（图6）
将ξi表示为视图i的未知绝对姿态，将ξij表示为视图j到i的已知相对姿态。对于任意参考视图i，将所有单视图预测的联合似然表示为：
其中
表示姿势合成运算符。这是通过将每个概率体积pj扭曲到参考帧i来有效计算的。也可以通过迭代扭曲和归一化来定位连续流的每个图像，就像经典的马尔可夫定位一样。
实验：
在驾驶和ar的背景下评估了定位模型。图4显示了定性示例，而图5说明了多帧融合的有效性。
实验表明：
1）orienternet在2d地图定位方面比现有的深度网络更有效；
2） 平面图比卫星图像更准确地定位；
3） 在考虑多个视图时，orienternet比嵌入式消费级gps传感器准确得多。
在mgl数据集的验证拆分上评估了orienternet的设计。这确保了摄像机、动作、观看条件和视觉特征的分布与训练集相同。报告了三个阈值1/3/5m和1/3/5°时的位置和旋转误差的召回
使用kitti数据集考虑驾驶场景中的定位。为了评估零样本性能使用了他们的test2分割，该分割与kitti和mgl训练集不重叠。图像由安装在城市和住宅区行驶的汽车上的摄像头拍摄，并具有rtk的gt姿势。使用osm map来扩充数据集。
用于增强现实（ar）的头戴式设备的定位。 因为没有公共基准可以为在不同的户外空间使用ar设备拍摄的图像提供地理对齐的gt姿势。因此用aria眼镜记录了自己的数据集。它展示了ar的典型模式，带有嘈杂的消费者级传感器和行人的视角和动作。 包括两个地点：i）西雅图市中心，有高层建筑；ii）底特律，有城市公园和较低的建筑。记录了每个城市的几个图像序列，所有图像序列都大致遵循多个街区的相同循环。
记录每幅校准的rgb图像和gps测量值，并从离线专有的vi slam系统中获得相对姿态和重力方向。通过基于gps、vi约束和orienternet的预测联合优化所有序列来获得伪gt全局姿态。
总结：
orienternet是第一个深度神经网络，可以在人类使用的2d平面图中以亚米精度定位图像。orienternet通过将输入地图与源自视觉观察的心理地图相匹配，模仿人类在环境中定位自己的方式。与机器迄今为止所依赖的大型且昂贵的3d地图相比，这种2d地图非常紧凑，因此最终能够在大型环境中进行设备上定位。orienternet基于openstreetmap的全球免费地图，任何人都可以使用它在世界任何地方进行定位。
智能语音落地灯：离线语音控制技术的优势与应用
取土钻的作用是什么，它的意义又是什么
AD19PCB界面出现白色如何解决
亿纬锂能调出募集资金9亿元 用于全自动化圆柱三元锂离子电池
怎样修复钥匙扣和遥控器按钮
基于神经匹配的二维地图视觉定位
作为一种新型的显示技术产品，透明屏有哪些应用场景？
什么是超频 超频关键因素有哪些
中国T800碳纤维量产打破垄断 成本仅为350元/公斤
缓存如何工作，如何设计CPU缓存
继电保护测试仪的功能特点
基于智能PID控制器实现电加热炉控制系统的设计
智能时代互联网车企和传统车企谁能称霸
proteus如何移动整块电路
MWCS大展将在上海召开 阿里YunOS 6将亮相MWCS 多款新机齐发
谷歌前工程师开发实时AI语音APP
回路矩阵与回路电压定律
努比亚挑衅开怼小米MIX 2，全面屏新机型号、外观纷纷曝光：高屏占比
芯动科技参加三星全球晶圆代工论坛Samsung Foundry Forum& SAFE Forum
数码相机录音功能