【干货】The Fast Bilateral Solver 双边算子原理

The Fast Bilateral Solver 双边算子原理

双边算子原理来自Google Research Jon Barron的ECCV2016论文The Fast Bilateral Solver，该论文获得了ECCV 2016年度最佳论文亚军，非常不错论文。

双边算子假设图像平滑区域必然在内部密切相关，并且认为在计算这些区域中的某些视觉任务时必须存在一致性或逐渐变化。

上述假设用于改善各种视觉任务，例如平滑区域中通常一致的颜色（可用于改善图像着色）和渐进深度变化（可用于提高深度超分辨率，立体声）视力）。

通常来自同一个对象（可用于改进语义分割），运动一致（可用于改善光流计算）等。

由于它可以极大地改善各种视觉任务，而且速度超快，比同类算法的计算速度快10到1000倍，并且很快引起了业界和学术界的关注。它在短短半年内被引用了21次。

在谷歌发布的全景相机Jump中，光学算子用于计算光流，用于细化瓦片光流上采样的结果，大大提高了光流计算结果。

让我们看看它的主要架构思想：

如上所述，a是已经计算的感兴趣的量（图例是计算出的图像深度，例如kinect的输出，或其他任务的结果，例如光流，语义分割标签等），c是 它的置信度图，大小相同，

c中的元素越接近1，a中相应元素的正确概率就越高。

d是原始图像的RGB像素图，从中我们可以看到有多个具有相似颜色的平坦区域。以上三个数字是输入图，b是双边算子最终计算的结果。

双边算子可以表示为上述公式（1）的优化问题，x是变量，c是置信度图，t是上图a，i，j是x的像素下标，最终结果 x是上面的b图。上述公式的前半部分是双边平滑术语。

控制优化的结果保证是双边平滑的，后半部分是保真度项。控制优化的结果不能偏离a太远，Wij表示像素i，j的相似性，并且较大的ci表示原始a中的像素。保留。

这是一个最小化问题，这意味着改变x的大小以最小化下面的公式的结果，双边和x类似于a。

双边平滑期中Wij的计算如下：

Px，py是坐标，pl，pu和pv分别表示转换成YUV的图像像素的三个分量。上述公式表示在计算图像像素之间的相似度的平滑程度时联合确定位置和YUV分量。

双边运营商被广泛使用。上述框架在不同问题上是相同的，除了特定问题中的图的计算方法不同于与其相关的置信图c的计算方法。

让我们看看双边运营商的巨大魔力。

下图a是通过使用MC-CNN技术获得的深度估计图。深度用颜色表示，相似的颜色代表相似的深度。在下图中，图片是原始结果，可以清楚地看到一些不自然的斑块。

采用三个小变焦变焦，很明显是深度估计误差。

下面的图b显示了双边运营商处理的结果图。可以看出，算法会自动删除大多数明显的缺陷。

在Jump系统的基于瓦片的光流的计算中，粗粒度光流被输入到双边算子中，并且双边算子在时间维度上被扩展以确保相同的时域并输出最终的光流.

论文和源码地址：关注微信公众号：“图像算法”或者微信搜索imalg_cn 可获取