【论文夜读】【随笔】当今AI研究的几个原则(rule)

【论文夜读】【随笔】当今AI研究的几个原则(rule)

什么原则

总体来说，当前的AI研究不外乎三大原则（这三大原则是我按时间维度排列的）：

• 原则一：未来的预言：复杂的智能来自于密集或海量的线性代数或多项式运算映射拟合加上巧妙仿生的结构图谱组合；
• 原则二：当前的概括：当前paper不外乎：

1. 更好地拟合或映射的技巧；
2. 一种讨巧于特定的任务场景而为之迎合设计的映射方式或结构；
3. 通用的能实现更强大智能的、统御组合各个小映射结构的宏观架构；

• 原则一：过去的起源：人类的梦/灵魂/思维逻辑/记忆：它们在AI中是否能用算法实现，它们的本质到底是什么；

以下是一些鄙人的论文杂记。。。

Beyond Part Models: Person Retrieval with Refined Part Pooling

行人检索，也称为行人重识别（Re-ID），旨在给定一个感兴趣的查询人在一个大的数据库中，检索指定的行人。

本文主要采用ResNet50来进行Part-based Convolutional Baseline (PCB)。本文对解决行人检索问题做出了两方面的贡献。首先，提出了一种基于部分卷积基线（PCB）学习part-informed特征。PCB采用简单的均匀划分策略，并将part-informed特征组装成卷积描述符。PCB将最新的技术水平提升到一个新的水平，证明它是学习part-informed特征的强基线。尽管PCB具有均匀的分区是简单而有效的，但仍有待改进。提出了优化部分池化，以加强在每个部分的内部一致性。细化后，相似的列向量被归纳为相同的部分，使得每个部分更加内部一致。优化部分池化不需要部分标记信息，并显著改善PCB。

总体来说我不大了解这个分支，不过这篇文章属于原则二的第二小点。

Competitive Inner-Imaging Squeeze and Excitation for Residual Network

本文在SE-Net（Squeeze-Excitation）的基础上，根据已有的残差映射作为恒等映射的一种补充建模的论点，提出了残差和恒等流进行竞争建模共同决定channel-wise attention输出的改进，使得恒等流能自主参与对自身补充的权重调控；另外，本文针对网络中间特征的精炼建模任务，提出了对channel squeezed特征进行重成像，将各个信道的global特征重组为一张新的feature map，并使用卷积（21，11两种）操作完成对重组特征图的建模，以此学习来自残差流和恒等流所有channels的信道关系信息，将之前的：1.分别建模chanel-wise关系；2.再合并建模残差映射和恒等映射竞争关系，这样两步融合为建模综合信道关系一步；称这一机制为cnn内部特征的重成像（Inner-Imaging），探索了一种新的，考虑位置关系的，使用卷积进行SE（channel-wise attention）建模的CNNs设计方向。 本文实验在CIFAR-10，100，SVHN，ImageNet2012数据集上进行，验证了提出方法的有效性，并发现提出方法对较小规模网络的潜力挖掘作用，使其能用更少的参数达到甚至超越原先更大网络才能达到的效果。

Inner-Imaging这个概念挺有意思。但是总体来说本文属于原则二的“ 更好地拟合或映射的技巧”。