让机器人具备类似人类的思维能力，一直以来都是一个挑战。
例如，当任务是让机器人去取放在“植物”旁边的遥控器时，机器人几乎能够立刻识别出“植物”盆栽的位置，并发现遥控器的存在。
该项目被ECCV 2020收录，并在居住地目标导航挑战赛中夺得第一名。
接下来，让我们探讨其实现的过程。
让机器人“学习常识”
事实上，以往通过机器学习训练的语义导航机器人在寻找物品方面的表现并不理想。
与人类潜意识中形成的常识相比，机器人往往显得有些“死板”，它们更倾向于记住物体的具体位置。
然而，物体所处的环境通常非常复杂，各种场景之间差异巨大（正如每个家庭都有自己的杂乱格局），单纯依赖大量不同场景进行训练，模型的泛化能力往往不足。
因此，研究者们决定采用一种新的思路，而不是增加训练样本的数量：
他们采用半监督学习，通过一种名为SEMantic cuRiOSITy的奖励机制来训练系统。
训练的主要目标是让系统基于对语义的“理解”来识别目标物体的最佳位置，换句话说，就是让机器人“学习常识”。
举个例子，通过理解冰箱与洗手间的差别，机器人能够理解目标物体与房间布局之间的关系，从而计算出最容易找到某个物体的房间。
一旦确定了物体最可能的位置，机器人就能通过导航直接前往该位置，并快速检测目标物体的存在，这一过程被称为探索策略（exploRation policy）。
利用Mask RCNN训练探索策略
如图所示，该策略的实现分为三个步骤：学习、训练和测试。
首先，利用Mask RCNN对图像进行自上而下的目标预测，以训练探索策略，后者负责生成目标检测和场景分割所需的训练数据。
在对训练数据进行标记后，这些数据将被用于微调和评估目标检测及场景分割的效果。
在目标检测过程中，即使某一物体被360度旋转拍摄，机器人也必须将其识别为同一物体。
构建语义地图是其中一个关键步骤。
构建“神奇的”地图
如图所示，图像被处理为RGB和Depth两种模式。
其中，RGB图像通过Mask RCNN网络进行目标分割预测。
而Depth架构则用于计算点云，每个点将在Mask RCNN的预测结果和语义标签之间建立联系。
最终，基于几何计算，生成一个三维立体图。
每个通道代表一种物体类别，原本的2D地图转变为3D语义地图。
有了语义地图，机器人在移动时能够准确地进行3D空间的目标预测。
“语义好奇心”奖励机制
然而，在某些情况下，如果目标物体在不同帧中的预测标签有所不同，语义图中对应物体的多个通道可能都会被标记为1。
如图所示，不同时间系统预测的目标标签可能会有所变化，有时是床，有时则是沙发。
这便引入了“语义好奇心”的策略。
论文中定义的语义好奇心累计奖励（cuMulative SEMantic cuRiOSITy RewaRd）是指占语义地图中所有元素总和的比例。
而语义好奇心的奖励机制采用强化学习方法，旨在最大化这个比例。
通过理解物体之间的差异，系统逐渐掌握房间与物体之间的关系。
实验结果
事实证明，这种方法非常有效。
在训练过程中，机器人能够专注于理解目标物体与房间布局之间的关系，而不是不断进行路径规划。
经过训练的机器人在与人类交互时变得更加易于操控。
例如，在不同方法下，尽管探索区域不如倒数第二和第三种方法，但语义好奇心依然检测到了相当数量的目标。
这表明，在目标检测过程中，它能够更专注于需要探测的物体。
语义好奇心有效地发现了许多其他策略无法识别的物体，这在目标检测中极具价值。
在最终训练结果中，语义好奇心取得了最高的39.96分。
这一方法使人与机器人之间的交互变得更加顺畅。
作者介绍
DevendRa Singh Chaplot在卡内基梅隆大学（CMU）攻读博士，主要研究深度强化学习及其在机器人和自然语言处理领域的应用。
传送门：
论文链接：https://aRxiv.oRg/pdf/2006.09367.pdf
项目链接：https://devendRachaplot.Github.io/Projects/SEManticCuRiOSITy
