【论文笔记】点云配准网络 3DRegNet: A Deep Neural Network for 3D Point Registration 2020

Instituto Superior T ́ecnico, Lisboa; Google；印度科学研究所，班加罗尔；马里兰大学帕克分校
代码链接：https://github.com/3DVisionISR/3DRegNet

本文提出了一种基于深度学习的点云配准方法3DRegNet，超越了现有RANSAC和ICP的精度，同时在CPU上也达到了25倍RANSAC的速度。

注意3DRegNet假设两个点云之间的对应关系是给定的，3DRegNet只负责剔除噪声点，生成位姿变换矩阵这两个任务。

实验部分对现有的旋转量的各种表示方法、位姿损失的度量方法进行了结果对比。
此外，还对SVD分解和DNN回归两种位姿解算方法进行了对比。

3DRegNet

a: 使用DNN进行位姿回归的网络结构
b: 使用SVD进行位姿解算的模型结构
ab是本文提出的两种模型，实验部分对其性能进行了对比。
c: 分类网络，对给定的对应关系进行内点、噪声点的分类。
d: 使用DNN进行位姿解算的配准模块

分类block

网络层结构如上图所示，主要是FC+ResNet级联
输入N个对应关系（两个对应点坐标）N X 6，输出 N X 1,即每个对应关系的置信度（权重）。

DNN 配准网络：

该网络将分类网络中的输入和每一层输出进行最大池化后进行context normalization，然后作为输入进行配准。最后输出旋转量预测值和平移量预测值。

SVD配准模块：

使用预测的对应关系的权重将噪声点去除，然后再内点中进行中心化操作，使用SVD分解求解变换矩阵和平移向量：
$$\mathbf{M}=\sum _{i\in \mathcal{I}}{w}_i{\mathbf{p}}_i{\mathbf{q}}_i^T$$
$$\mathbf{R}=\mathbf{U}\mathrm{diag}\left(1,1,\det \left({\mathbf{U}\mathbf{V}}^T\right)\right){\mathbf{V}}^T$$
$$\mathbf{t}=\frac{1}{N_{\mathcal{I}}}\left(\sum _{i\in \mathcal{I}}{\mathbf{p}}_i-\mathbf{R}\sum _{i\in \mathcal{I}}{\mathbf{q}}_i\right)$$

损失函数：

$$\begin{gathered} L=\alpha L_c+\beta L_r \\ 其中：{\mathcal{L}}_c=\frac{1}{K}\sum _{k=1}^K{\mathcal{L}}_c^k\text{ 以及 }{\mathcal{L}}_r=\frac{1}{K}\sum _{k=1}^K{\mathcal{L}}_r^k \\ {\mathcal{L}}_c^k=\frac{1}{N}\sum _{i=1}^N{\gamma }_i^{k}H\left(y_i^k,\sigma \left(o_i^k\right)\right) \\ {\mathcal{L}}_r^k=\frac{1}{N}\sum _{i=1}^N\rho \left({\mathbf{q}}_i^k,{\mathbf{R}}^k{\mathbf{p}}_i^k+{\mathbf{t}}^k\right) \end{gathered}$$
第一项是分类损失，H为交叉熵函数，y是label,0或1
第二项是配准损失，衡量配准后的点对之间的距离，距离度量可以选择是L1，weighted leastsquares,L2, 或者Geman-McClure等。

3DRegNet 细化

其实是迭代配准的方法，将两个3DRegNet级联在一起进行配准。
第二个3DRegNet用于细化较小的旋转平移。
结构图：

该网络的损失函数是将两个网络的损失平均了一下：
$${\mathcal{L}}_c=\frac{1}{K}\sum _{k=1}^K\frac{1}{2}\sum _{r=1}^2{\mathcal{L}}_c^{k,r}\text{ and }{\mathcal{L}}_r=\frac{1}{K}\sum _{k=1}^K\frac{1}{2}\sum _{r=1}^2{\mathcal{L}}_r^{k,r}$$

实验

作者使用FPFH方法提取对应关系，每对点云提取3000个对应关系。
在数据扩增阶段，作者使用了Curriculum learning 的方法对网络进行训练，将随机旋转平移的尺度逐渐增大。（后面逐渐减小尺度因为内殿数目也在减少）

距离度量实验

可以看出L1范数最好，精度最高，后续全部使用L1进行实验

旋转量的表示形式：

最小李代数表示、四元数、旋转矩阵、SVD解算

最小李代数精度最佳。后续全部使用其进行实验
同时可以看出sVD解算的精度低于使用DNN回归的精度，因此后续采用DNN方法进行实验。

对应点对数目的影响：

数目越少，配准精度越低，但是不影响分类的精度。

数据扩增的效果：

没有使用数据扩增训练的网络在应对大的旋转时误差越来越大。
使用了CL数据扩增的模型则很好的克服了这一点。
后续网络不进行数据扩充。

级联3DRegNet细化效果：

时间代价不是很大，但是各项指标都有提升，后续采用该级联方法进行评估

与ICP、RANSAC、FGR对比

3DRegNet+U 达到了SOTA的性能，其中U是指least square non-linear Umeyama refinement technique（《least-squares estimation of transformationparameters between two point patterns.》）
达到了与现有baseline相同的精度，但是其速度更快：

• 8被FGR，25倍RANSAC

泛化性对比：

在未见数据集上的评估结果：