【点云阅读笔记】LEARNING CONVOLUTIONAL TRANSFORMS FOR LOSSY POINT CLOUD GEOMETRY COMPRESSION

阅读报告——LEARNING CONVOLUTIONAL TRANSFORMS FOR LOSSY POINT CLOUD GEOMETRY COMPRESSION

Worth noticing in Introduction

质量评价衡量：

D1 and D2

D1：计算重建点和K近邻之间的MSE

D2：计算重建点和超平面之间的MSE

Main Idea

1. 对于基于传统八叉树模型的方法，它在降低比特流时，其点的数量会指数下降；
2. 通过将点云几何体解释为在体素网格上定义的二进制信号，我们将解码转换为对给定体素是否被占用进行分类的问题。
3. 使用3D自动编码器压缩点云几何体：经典的压缩方法使用手工制作的变换，但我们直接从数据中学习过滤器。
4. 综合考虑了在训练中的量化（Quantization）和率失真（Rate-distortion，RD）

创新点

• 将图像压缩中的二维卷积换成了适合点云的三维卷积
• 将原始点云转换成体素网格（尺寸为 长x宽x高 的数组，值为0或1，分别代表该座标上是否存在点），即将问题转化成一个二分类的问题

模型

$f_a$ := 找寻潜在的表示$y=f_a(x)$。

$Q$ := 量化函数。

$f_s$ := 解压缩表示$\hat{x}={\hat{v}}_S=f_s(\hat{y})$。

传统的编码过程需要经过几何编码——几何量化——几何熵编码的三个过程。在此，这里的$f_a$充当了编码角色。但是与传统的几何编码不同，传统几何编码是通过一些变换（如DCT变换，将数据从时空域转到频率域上来）；这里的是用卷积进行变换。

原文中这里所使用的量化处理同Variational Image Compression With A Scale Hyperprior所使用的一致。这里的量化idea并非直接处理原始数据，而是量化其潜在表示。也就是这里的$y$。这里使用的是Deflate算法。

在解码过程中，作者将其视为一个二分类问题：即对于每一个在体素网格上的点$z\in \Omega$，观察其是否存在。做法是将$\hat{x}={\hat{v}}_S$分解到各自的体素$z$中，对应有一个关联值$p_z$。$p_z$反映了与ground truth即类别$y$的接近程度，值越大，则说明越接近类别$y$，即分类越准确。

而且，因为点云是稀疏的（无论有多dense），因此，对于一个点在不在某一个体素上的问题，$v_s(z)$一般都是0。用${\alpha }_x$来补偿。因此，定义focal loss如下：

$$FL\left(p_z^t\right)=-{\alpha }_z{\left(1-p_z^t\right)}^{\gamma }\log \left(p_z^t\right)$$

其中，

$$p_z^t=\{\begin{array}{lr}{p}_z& \text{ if }y=1\\ 1-p_z& \text{ otherwise }\end{array}$$

$$FL(\tilde{x})=\sum _{z\in S}FL\left(p_z^t\right)$$

最终的损失是利用$L=\lambda D+R$；$D$是用上面的focal loss计算的失真，R是bpov(bits per input occupied voxel)。