【胶囊网络-CapsNet】Investigating Capsule Networks with Dynamic Routing for Text Classification

本文主要是介绍【胶囊网络-CapsNet】Investigating Capsule Networks with Dynamic Routing for Text Classification,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Investigating Capsule Networks with Dynamic Routing for Text Classification

发表在EMNLP 2018

文章目录

  • Model
    • N-gram convolutional layer
    • primary capsule layer
      • Child-Parent Relationships
    • Dynamic Routing
    • convolutional capsule layer
    • fully connected capsule layer

  1. CNN 在对空间信息进行建模时,需要对特征检测器进行复制,降低了模型的效率
  2. CNN 空间不敏感的方法不可避免地受限于丰富的文本结构(比如保存单词的位置信息、语义信息、语法结构等),难以有效地进行编码且缺乏文本表达能力

Capsule Network 由hinton提出,用神经元向量代替传统神经网络的单个神经元节点,以 Dynamic Routing 的方式去训练这种全新的神经网络,有效地改善了上述两类方法的缺点。

本文是capsNet在文本分类上的应用,并针对文本分类任务提出了三个策略减少背景或者噪音胶囊对网络的影响。

  1. Orphan Category:在胶囊网络的最后一层,引入 Orphan 类别,它可以捕捉一些背景知识,比如停用词。在视觉任务加入 Orphan 类别效果比较有限,因为图片的背景在训练和测试集里往往是多变的。然而,在文本任务,停用词比较一致,比如谓词和代词等。
  2. Leaky-Softmax:除了在最后一层引入 Orphan 类别,中间的连续卷积层也需要引入去噪机制。对比 Orphan 类别,Leaky-Softmax 是一种轻量的去噪方法,它不需要额外的参数和计算量。
  3. 路由参数修正:传统的路由参数,通常用均与分布进行初始化,忽略了下层胶囊的概率。相反,我们把下层胶囊的概率当成路由参数的先验,改进路由过程。

在 6 个 benchmarks 上进行了实验,Capsule Network 在其中 4 个中取得了最好结果。

同事,在多标签迁移的任务上(fromsingle-label to multi-label text classification),Capsule Network 的性能远远地超过了 CNN 和 LSTM

Model

模型包含四层,

  1. N-gram convolutional layer
  2. primary capsule layer
  3. convolutional capsule layer
  4. fully connected capsule layer

N-gram convolutional layer

这是标准的卷积层,对于每一个卷积,窗口大小 K 1 × v K_1\times v K1×v
m i a = f ( x i : i + K 1 − 1 ∘ W a + b 0 ) m^a_i = f(x_{i:i+K_1-1} \circ W^a + b_0) mia=f(xi:i+K11Wa+b0)
其中, x ∈ R L ∗ V , x i ∈ R V , W a ∈ R K 1 ∗ v , m a ∈ R L − K 1 + 1 x \in R^{L*V}, x_i \in R^V, W^a \in R^{K_1*v}, m^a \in R^{L-K_1+1} xRLV,xiRV,WaRK1v,maRLK1+1,V是词向量维度。

卷积核通道数为B,卷积层输出:
M = [ m 1 , m 2 , . . . m B ] ∈ R ( L − K 1 + 1 ) × B M = [m_1, m_2,... m_B] \in R^{(L-K_1+1) \times B} M=[m1,m2,...mB]R(LK1+1)×B

primary capsule layer

第一层胶囊网络。
p i = g ( W b M i + b 1 ) g ( s j ) = ∣ ∣ s j ∣ ∣ 2 1 + ∣ ∣ s ∣ ∣ 2 s j ∣ ∣ s j ∣ ∣ p_i = g(W^bM_i + b_1) \\ g(s_j) = \frac{||s_j||^2}{1+||s||^2} \frac{s_j}{||s_j||} pi=g(WbMi+b1)g(sj)=1+s2sj2sjsj
其中: W b ∈ R B × d , M i ∈ R B , i ∈ ( 1 , L − K 1 + 1 ) W^b \in R^{B \times d}, M_i \in R^{B}, i \in (1, L-K_1+1) WbRB×d,MiRB,i(1,LK1+1),g是squash函数。

通道数设置为C,即:
P = [ p 1 , p 2 , . . . P C ] ∈ R ( L − K 1 + 1 ) × C × d P = [p_1, p_2, ...P_C] \in R^{(L-K_1+1) \times C \times d} P=[p1,p2,...PC]R(LK1+1)×C×d
最终输出为 ( L − K 1 + 1 ) × C (L-K_1+1) \times C (LK1+1)×C个维度为d的胶囊。

Child-Parent Relationships

在胶囊网络层之间就会存在Child-Parent关系,本文尝试了两种transformation。

  • 共享权重,对于每一个parent胶囊,共享权重 W j t 1 W^{t_1}_j Wjt1
    • u ^ = W j t 1 u i + b j ∣ i \hat{u} = W_j^{t_1} u_i + b_{j|i} u^=Wjt1ui+bji,其中 u i u_i ui是每个child-capsule。
    • 参数量: N ∗ d ∗ d N*d*d Ndd
  • 非共享权重,对于每一个parent胶囊j,child胶囊i,有
    • u ^ = W j ∣ i t 1 u i + b j ∣ i \hat{u} = W_{j|i}^{t_1} u_i + b_{j|i} u^=Wjit1ui+bji
    • 参数量: H ∗ N ∗ d ∗ d H*N*d*d HNdd,parent胶囊N个,child胶囊H个。

Dynamic Routing

通过动态路由算法学习获得child胶囊对parent胶囊的权重,动态的加强或减弱权重,优于会丢失位置信息的max pooling算法。同事本文针对文本分类任务提出了三个策略优化CapsNet:

  1. Orphan Category:在胶囊网络的最后一层,引入 Orphan 类别,它可以捕捉一些背景知识,比如停用词。在视觉任务加入 Orphan 类别效果比较有限,因为图片的背景在训练和测试集里往往是多变的。然而,在文本任务,停用词比较一致,比如谓词和代词等。

  2. Leaky-Softmax:除了在最后一层引入 Orphan 类别,中间的连续卷积层也需要引入去噪机制。对比 Orphan 类别,Leaky-Softmax 是一种轻量的去噪方法,它不需要额外的参数和计算量。

  3. 路由参数修正:传统的路由参数,通常用均与分布进行初始化,忽略了下层胶囊的概率。相反,我们把下层胶囊的概率当成路由参数的先验,改进路由过程。

在这里插入图片描述

原始Dynamic Routing:

在这里插入图片描述

convolutional capsule layer

fully connected capsule layer

这篇关于【胶囊网络-CapsNet】Investigating Capsule Networks with Dynamic Routing for Text Classification的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/456179

相关文章

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

SpringBoot利用dynamic-datasource-spring-boot-starter解决多数据源问题

《SpringBoot利用dynamic-datasource-spring-boot-starter解决多数据源问题》dynamic-datasource-spring-boot-starter是一... 目录概要整体架构构想操作步骤创建数据源切换数据源后续问题小结概要自己闲暇时间想实现一个多租户平台,

如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解

《如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解》:本文主要介绍如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别的相关资料,描述了如何使用海康威视设备网络SD... 目录前言开发流程问题和解决方案dll库加载不到的问题老旧版本sdk不兼容的问题关键实现流程总结前言作为

SSID究竟是什么? WiFi网络名称及工作方式解析

《SSID究竟是什么?WiFi网络名称及工作方式解析》SID可以看作是无线网络的名称,类似于有线网络中的网络名称或者路由器的名称,在无线网络中,设备通过SSID来识别和连接到特定的无线网络... 当提到 Wi-Fi 网络时,就避不开「SSID」这个术语。简单来说,SSID 就是 Wi-Fi 网络的名称。比如

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五

C# dynamic类型使用详解

《C#dynamic类型使用详解》C#中的dynamic类型允许在运行时确定对象的类型和成员,跳过编译时类型检查,适用于处理未知类型的对象或与动态语言互操作,dynamic支持动态成员解析、添加和删... 目录简介dynamic 的定义dynamic 的使用动态类型赋值访问成员动态方法调用dynamic 的