基于层级图网络的图卷积：用点云完成3D目标检测

2020-09-01 11:46

GU－net

本文设计了一个下采样模块，并将其重复堆叠 4 次以形成下采样路径，而将一个上采样模块重复堆叠两次以构成上采样方式。类似 FPN、GU－net 生成三张点特征图的特征金字塔。下采样使用的是 FPS，然后通过KNN构建局部区域，再使用 SA－GConv 更新特征，上采样模块的过程与下采样模块的过程相反，主要由 SA－GConv 执行。

CVPR 2020 |基用于3D目标检测的层级图网络

候选生成器

GU－net 生成了包含多级语义的三张点特征图。一些先前的方法（如 VoteNet）仅使用一个特征图进行目标预测。即使通过在上采样过程中融合较低层的特征来计算较高层的特征，由于不同层的特征提供了各种语义，因此将多层特征一起用于候选生成会更加有益。本文提出了一种候选生成器，以改进的投票模块作为主要结构来预测对象中心，该模型将多级特征转换为相同的特征空间。接下来为了聚合特征，通过 FPS 保留 Np 的投票，该做法与 VoteNet 类似，从而融合多级特征以预测边界框及其类别。

候选推理模块

通过以上几步，多层局部的语义信息已经被很好的捕捉到了，但全局信息还没有很好的学到，或者说可能有些目标在点云中只体现出很小的一部分表面的点，在这样少的信息下很难正确的将其识别出来。其推理过程为：

CVPR 2020 |基用于3D目标检测的层级图网络

其中 Hp 表示候选特征 tensor，P 表示候选的相对位置

论文实验

本文在 SUN RGB－D 和 ScanNet－V2 两个数据集上进行了实验。

CVPR 2020 |基用于3D目标检测的层级图网络

此外，本文还进行了消融实验以证明各模快的有效性。

CVPR 2020 |基用于3D目标检测的层级图网络

结论

本文提出了一种新颖的 HGNet 框架，该框架通过层级图建模学习语义。

具体来说，作者提出了一种新颖且轻巧的形状注意图卷积来捕获局部形状语义，该语义聚合了点的相对几何位置的特征。基于 SA－GConv 和 SA－DeGConv 构建了 GU－net，生成了包含多级语义的特征金字塔。要素金字塔投票的点将位于相应的对象中心，并且进一步聚合多级语义以生成候选。然后使用 ProRe 模块在候选之间合并和传播特征，从而利用全局场景语义来提高检测性能。最后，对边界框和类别进行了预测。

<上一页 1 2