subword专题

自然语言处理(NLP)-子词模型（Subword Models）：BPE（Byte Pair Encoding）、WordPiece、ULM（Unigram Language Model）

在NLP任务中，神经网络模型的训练和预测都需要借助词表来对句子进行表示。传统构造词表的方法，是先对各个句子进行分词，然后再统计并选出频数最高的前N个词组成词表。通常训练集中包含了大量的词汇，以英语为例，总的单词数量在17万到100万左右。出于计算效率的考虑，通常N的选取无法包含训练集中的所有词。因而，这种方法构造的词表存在着如下的问题：实际应用中，模型预测的词汇是开放的，对于未在词表中出现的词

在Chisel3中，不支持对子字（subword）进行赋值。在 Chisel 中，UInt 类型是一个不可变的位宽数据类型，它表示一个固定位宽的无符号整数。

在Chisel3中，不支持对子字（subword）进行赋值。这种设计决策背后的原因涉及到硬件描述语言中类型和数据抽象的最佳实践。不支持子字赋值的原因硬件描述的性质：在硬件设计中，操作和修改单独的位或子字通常与较高的复杂性和资源消耗相关。而且，对单独位的操作可能会导致设计难以预测的时序问题和效率低下。抽象和封装： Chisel鼓励使用更高级别的抽象，如Bundle（类似于结构体或记录

[UIM]论文解读：subword Regularization: Multiple Subword Candidates

文章目录一、完整代码二、论文解读2.1 介绍2.2 NMT2.3 Unigram language model2.4 subword 抽样2.5 效果三、整体总结论文：Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates 作者

论文分享 -- NLP -- Neural machine Translation of Rare Words with Subword Units

博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！本次总结的是一篇16年的关于NLP中分词操作的论文，论文链接Subword，参考的实现代码subword-nmt，许多论文方法（例如BERT等）都将该方法应用到分词处理上，相对于word-level和character-level，该方法取得了不错的效果。动机

[ THUNLP-MT(9/10) ] Neural Machine Translation of Rare Words with Subword Units | Byte Pair Encoding

Sennrich在ACL’2016发表的论文，主要研究神经机器翻译模型中的未登录词问题，提出了Byte Pair Encoding方法，同时该方法也解决了词表过大的问题。本文在介绍Sennrich的研究工作的基础上，也介绍了中文对于未登录词的相关方法。论文传送门引用次数：944 文章目录论文内容》问题》目标：不需要 back-off model 来解决未登录词问题》相关工作介绍及论点