科研学习|论文解读——词汇量及其对主题表示的影响 (IPM, 2017)

本文主要是介绍科研学习|论文解读——词汇量及其对主题表示的影响 (IPM, 2017)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

原文标题

Vocabulary size and its effect on topic representation

摘要

这项研究调查了如何通过选择性地从被建模的文本语料库的词汇中删除术语来减少主题模型训练的计算开销。我们使用三个数据集，比较了删除单独出现的术语、前0.5%、1%和 5% 最频繁出现的术语以及前 0.5% 最频繁和单独出现的术语的影响，以及建模主题数量的变化（10、20、30、40、50、100) 。对四种结果指标进行了比较。删除单独出现的术语对所有测试的结果几乎没有影响。通过文档空间密度来衡量的文档区分能力，随着频繁出现的术语的移除而降低，但随着主题数量的增加而增加。词汇量对熵的影响不大，但熵受主题数量的影响。最后，由成对主题相似度和Jensen-Shannon散度衡量的主题相似度随着频繁项的删除而降低。这些发现对利用主题建模的信息检索和信息计量学中的信息科学研究有影响。

关键词：信息检索；信息计量学；主题建模；潜在狄利克雷分布；词汇量；词频

1.引言

主题建模是一种应用于文本语料库的机器学习技术，最初开发它是为了减少在信息检索 (IR) 等环境中发现的高维空间中固有的计算开销。主题建模采用计算方法 (例如无监督学习或矩阵分解) 从文本语料库中揭示潜在主题结构，即文档和术语之间的不可观察层。这些主题通常被表示为语义连贯性术语 (概率不同) 的混合体，集中在一些可解释的主题上。该技术已广泛用于信息检索，最近已在信息计量研究中得到应用。与传统的词袋表示相比，经过训练的主题也被认为是语义空间的更简洁的表示，因此可能更有利。在过去的十年中，主题建模的形式已应用于信息计量研究，由于现在可以获得更大的全文数据集，类似的计算开销问题正变得越来越普遍。信息计量研究中使用的一种主题建模形式依赖于LDA。

LDA模型将文档视为主题的混合体，将主题视为术语的混合体。Rosenzvi等人(2010)将原始的LDA模型扩展到包含作者，并提出了作者-主题模型，该模型可直接应用于基于作者的比较的信息度量。最近，Lu等人(2012)提出使用LDA来比较作者的作品之间的相似性。

尽管主题建模技术(如LDA)可以在训练主题之后减少比较实体的计算负担，但训练过程本身可能是耗时和计算密集的。LDA算法的复杂度与语料库中的文档数量、主题数量和术语数量成正比。随着越来越大的文本语料库的编制，词汇量可以是巨大的。如果在训练期间可以减少词汇表的大小，而不显著影响主题表示或文档比较的性质，这也可以减少识别主题的计算开销。本研究旨在系统考察词汇量对主题模型结果的影响。本研究探讨了以下研究问题:

1) </