TextSnake: A Flexible Representation for Detecting Text of Arbitrary Shapes

Author

旷视科技Megvii(Face++) 文本检测
Paper：TextSnake: A Flexible Representation for Detecting Text of Arbitrary Shapes, ECCV 2018

Idea

$curved$ $text$弯曲形状的文本检测。传统的方法受到描述文本表述的限制（如$Fig.1$的水平矩形框，旋转矩形框，任意四边形框），在处理弯曲文本实例时表现差强人意，因此本文提出更灵活的场景文本表示方法，$TextSnake$，可以水平、多方向、弯曲表示，以中心线为中心，有序重叠的圆盘序列组成，每个圆盘具有可变的半径$r$和方向$\theta$。

Datasets

Total-Text、SCUT-CTW1500、ICDAR2015、MSRA-TD500等文本检测数据集

Attributes

• TextSnake，定义了一种弯曲文本实例表示形式
• 基于上述表示，提出了一种有效的场景文本检测的方法
• 在弯曲文本数据集（Total-Text和SCUT-CTW1500）上，提出算法达到了SOTA

Related Work

• 在深度学习之前，两种代表性的算法是$SWT$和$MSER$
• 深度学习的方法出现后，分为两种：基于回归和基于分割的模型。
  基于回归的文本检测方法是受到物体检测框架启发产生的，如TextBoxes，基于$Faster-RCNN$的$RRPN$，$EAST$和$DeepRegression$。
  基于分割的文本检测算法使用语义分割和$FCN$作为参考，如$MSER$，文本实例分类等。但这些方法都忽略了文本的形状问题，没有考虑弯曲形状的文本处理。
• 本文参考$[29][45]$提出了自己的$idea$，可以表示和识别任意形状的文本。

TextSnake Math Representation

TCL文本中线，绿色，TR文本区域，黄色。每个文本实例$t$可表示为序列$S(t)=D0,D1\dots Di\dots Dn$,第$i$个圆盘用$Di=(c,r,\theta )$表示，$c$是中心点，$r$是半径，$\theta$是圆盘中心点连线和水平的夹角。

Framework and Network

流程框架：输入一张图片，经过网络结构FCN+FPN，得到7个特征图，TR*TCL得到Masked TCL，表示在TR区域里提取的TCL，经过Disjoint Set操作得到实例分割结果，与半径角度特征使用Striding算法得到最终文本预测区域。

FCN网络结构：使用VGG16/19提取特征，使用公示1、2进行特征合并，输出层是第五个合并后得到的特征图进行上采样及两层卷基层产生的像素级预测输出层$P=[batchsize,7,h,w]$，7个通道分别是$TR\ast 2,TCL\ast 2,r,cos\theta ,sin\theta$。

loss function

Training

使用TensorFlow1.3.0框架，在SynthText数据集预训练，其他数据集fine-tuned，使用Adam优化算法，lr预训练时取e-3，fine-tuned从e-3开始，每5000 iterations衰减为0.8倍。

Results

Inspirations

• 基于disks的文本表示方式非常novel，作者基于textsnake的数据结构设计了一种深度学习结构，有效解决了弯曲文本表示的问题
• Code: princewang1994/TextSnake.pytorch
• Ref: TextSnake: A Flexible Representation for Detecting Text of Arbitrary Shapes