nlp专题
【python 走进NLP】两两求相似度，得到一条文本和其他文本最大的相似度
应用场景： 一个数据框里面文本，两两求相似度，得到一条文本和其他文本最大的相似度。 content source_id0 丰华股份军阀割据发生的故事大概多少w 11 丰华股份军阀割据发生的故事大概多少 22 丰华股份军阀割据发生的故事大概多少 33 丰华股份军阀割据发生的故事大概多少
【Python 走进NLP】NLP词频统计和处理停用词，可视化
# coding=utf-8import requestsimport sysreload(sys)sys.setdefaultencoding('utf-8')from lxml import etreeimport timetime1=time.time()import bs4import nltkfrom bs4 import BeautifulSoupfrom
【java 走进NLP】simhash 算法计算两篇文章相似度
python 计算两篇文章的相似度算法simhash见： https://blog.csdn.net/u013421629/article/details/85052915 对长文本 是比较合适的（超过500字以上） 下面贴上java 版本实现： pom.xml 加入依赖 <dependency><groupId>org.jsoup</groupId><artifactId>jsoup</a
【python 走进NLP】simhash 算法计算两篇文章相似度
互联网网页存在大量的重复内容网页，无论对于搜索引擎的网页去重和过滤、新闻小说等内容网站的内容反盗版和追踪，还是社交媒体等文本去重和聚类，都需要对网页或者文本进行去重和过滤。最简单的文本相似性计算方法可以利用空间向量模型，计算分词后的文本的特征向量的相似性，这种方法存在效率的严重弊端，无法针对海量的文本进行两两的相似性判断。模仿生物学指纹的特点，对每个文本构造一个指纹，来作为该文本的标识，从形式上来
【python 走进NLP】文本相似度各种距离计算
计算文本相似度有什么用？ 1、反垃圾文本的捞取 “诚聘淘宝兼职”、“诚聘打字员”…这样的小广告满天飞，作为网站或者APP的运营者，不可能手动将所有的广告文本放入屏蔽名单里，挑几个典型广告文本，与它满足一定相似度就进行屏蔽。 2、推荐系统 在微博和各大BBS上，每一篇文章/帖子的下面都有一个推荐阅读，那就是根据一定算法计算出来的相似文章。 3、冗余过滤 我们每天接触过量的信息，信息之间存在大量
【python 走进NLP】句子相似度计算--余弦相似度
余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间。 github 参考链接：https://github.com/ZhanPwBibiBibi/CHlikelihood # -*- coding: utf-8 -*-import jiebaimport numpy as npimpor
【python 走进NLP】从零开始搭建textCNN卷积神经网络模型
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。人工智能教程 1、众所周知，tensorflow 是一个开源的机器学习框架，它的出现大大降低了机器学习的门槛，即使你没有太多的数学知识，它也可以允许你用“搭积木”的方式快速实现一个神经网络，即使没有调节太多的参数，模型的表现一般还
NLP文本相似度之LCS
基础 LCS（Longest Common Subsequence）通常指的是最长公共子序列，区别最长公共字串（Longest Common Substring）。我们先从子序列的定义理解： 一个序列S任意删除若干个字符得到新的序列T，则T叫做S的子序列。 子序列和子串的一个很大的不同点是，子序列不要求连接，而子串要求连接。 两个序列X和Y的公共子序列中，长度最长的那个，定义为X和Y
NLP 文本相似度（一）
一份文本，从结构上划分可以是：字、词、句、段、篇。文本比较的粒度是词，一篇文章，可以划分成N个不同的词，选取其中包含重要信息的M个词作为这片文章的特征。M个词构成了M维的向量，两个文本之间的比较就是两个M维向量之间的比较。 余弦相似度 向量之间如何比较？我们可以采用余弦相似度，其描述如下： 一个向量空间中两个向量夹角的余弦值可以作为衡量两个个体之间差异的大小；余弦值越接近1，夹角趋于0，表明
NLP从零开始------文本中阶处理之序列到序列模型（完整版）
1. 序列到序列模型简介 序列到序列( sequence to sequence, seq2seq) 是指输入和输出各为一个序列(如一句话) 的任务。本节将输入序列称作源序列，输出序列称作目标序列。序列到序列有非常多的重要应用， 其中最有名的是机器翻译( machine translation), 机器翻译模型的输入是待翻译语言(源语言) 的文本，输出则是翻译后的语言(目标语言)
【数据应用技巧】NLP领域的预训练之风
案例来源：@AI科技评论 @集智翻译组 @人工智能LeadAI 案例地址：https://mp.weixin.qq.com/s/NCLkZqdmqY9lm5BhyEcLXQ；https://www.sohu.com/a/233269391_395209；https://arxiv.org/pdf/1801.06146.pdf；http://wemedia.ifeng.com/64207141/w
standford nlp 教程
github https://github.com/stanfordnlp/CoreNLP 官网：http://stanfordnlp.github.io/CoreNLP/simple.html 功能： SummaryAnnotator dependenciesTokenizationSentence SplittingLemmatization
关于NLP的word Embedding
Embedding在数学上表示一个maping, f: X -> Y， 也就是一个function，其中该函数是injective（就是我们所说的单射函数，每个Y只有唯一的X对应，反之亦然）和structure-preserving (结构保存，比如在X所属的空间上X1 < X2,那么映射后在Y所属空间上同理 Y1 < Y2)。那么对于word embedding，就是将单词word映射到另外
Chainlit结合百度飞浆的ocr识别和nlp自然语言处理做图片文字信息提取
PP飞桨简介 PaddlePaddle（PArallel Distributed Deep LEarning），是由百度公司开发的一款开源深度学习平台，支持动态和静态图模式，提供了从模型构建到训练、预测等一系列的功能。PaddlePaddle 的设计目标是让开发者能够更容易地实现、训练和部署自己的深度学习模型。它支持多种操作系统，并提供了多种编程接口，包括 Python 和 C++。 Pad
一个简单的 NLP 神经网络
如何搭建一个简单的 NLP 神经网络？ 假设我们一个变量名列表，根据这个变量名列表，学习其中的特征并生成新的变量名。训练一个模型用于预测下一个字符并生成新的变量名。使用一个单层的神经网络实现，假设我们的变量名只能用英文字母，作为网络的输入，使用 Onehot encoding，那么输入就是 (1, 27)，使用 one hot 表示，添加一个特殊字符在作为开始和结束标志 “#”，首先用pytor
NLP-生成模型-2014：Seq2Seq【缺点：①解码器无法对齐编码器（Attention机制）；②编码器端信息过使用或欠使用（Coverage机制）；③解码器无法解决OOV（Pointer机制）】
《原始论文：Sequence to Sequence Learning with Neural Networks》 Seq2Seq模型是将一个序列信号，通过“编码&解码”生成一个新的序列信号，通常用于机器翻译、语音识别、自动对话等任务。 Seq2Seq(多层LSTM-多层LSTM)+Attention架构是Transformer提出之前最好的序列生成模型。 我们之前遇到的较为熟悉的序列问题，
人工智能-机器学习-深度学习-自然语言处理(NLP)-生成模型：Seq2Seq模型（Encoder-Decoder框架、Attention机制）
我们之前遇到的较为熟悉的序列问题，主要是利用一系列输入序列构建模型，预测某一种情况下的对应取值或者标签，在数学上的表述也就是通过一系列形如 X i = ( x 1 , x 2 , . . . , x n ) \textbf{X}_i=(x_1,x_2,...,x_n) Xi=(x1,x2,...,xn) 的向量序列来预测 Y Y Y 值，这类的问题的共同特点是，输入可以是一个定长或者不
自然语言处理(NLP)-预训练模型：别人已经训练好的模型，可直接拿来用【ELMO、BERT、ERNIE（中文版BERT）、GPT、XLNet...】
预训练模型(Pretrained model)：一般情况下预训练模型都是大型模型，具备复杂的网络结构，众多的参数量，以及在足够大的数据集下进行训练而产生的模型. 在NLP领域，预训练模型往往是语言模型，因为语言模型的训练是无监督的，可以获得大规模语料，同时语言模型又是许多典型NLP任务的基础，如机器翻译，文本生成，阅读理解等，常见的预训练模型有BERT, GPT, roBERTa, transf
NLP-生成模型-2017-Transformer（一）：Encoder-Decoder模型【非序列化；并行计算】【O(n²·d)，n为序列长度，d为维度】【用正余弦函数进行“绝对位置函数式编码”】
《原始论文：Attention Is All You Need》 一、Transformer 概述 在2017年《Attention Is All You Need》论文里第一次提出Transformer之前，常用的序列模型都是基于卷积神经网络或者循环神经网络，表现最好的模型也是基于encoder- decoder框架的基础加上attention机制。 2018年10月，Google发出一篇
自然语言处理(NLP)-子词模型（Subword Models）：BPE（Byte Pair Encoding）、WordPiece、ULM（Unigram Language Model）
在NLP任务中，神经网络模型的训练和预测都需要借助词表来对句子进行表示。传统构造词表的方法，是先对各个句子进行分词，然后再统计并选出频数最高的前N个词组成词表。通常训练集中包含了大量的词汇，以英语为例，总的单词数量在17万到100万左右。出于计算效率的考虑，通常N的选取无法包含训练集中的所有词。因而，这种方法构造的词表存在着如下的问题： 实际应用中，模型预测的词汇是开放的，对于未在词表中出现的词
NLP-2015：Luong NMT模型【Attention类型：Global Attention、Local Attention（实践中很少用）】
《原始论文：Effective Approaches to Attention-based Neural Machine Translation》 在实际应用中，全局注意力机制比局部注意力机制有着更广泛的应用，因为局部注意力机制需要预测一个位置向量 p t p_t pt，而这个位置向量的预测并不是非常准确的，会影响对齐向量的准确率。同时，在处理不是很长的源端句子时，相比于全局注意力并没有减少
NLP-文本处理：依存句法分析（主谓、动宾、动补...）【基于“分词后得到的词语列表A”+“A进行词性标注后得到的词性列表B”来进行依存句法分析】【使用成熟的第三方工具包】
句法分析（syntactic parsing）是自然语言处理中的关键技术之一，它是对输入的文本句子进行分析以得到句子的句法结构的处理过程。对句法结构进行分析，一方面是语言理解的自身需求，句法分析是语言理解的重要一环，另一方面也为其它自然语言处理任务提供支持。例如句法驱动的统计机器翻译需要对源语言或目标语言（或者同时两种语言）进行句法分析。 第三方工具包： 哈工大LTP首页 哈工大LTP4 文档
NLP-信息抽取：关系抽取【即：三元组抽取，主要用于抽取实体间的关系】【基于命名实体识别、分词、词性标注、依存句法分析、语义角色标注】【自定义模板/规则、监督学习（分类器）、半监督学习、无监督学习】
信息抽取主要包括三个子任务： 实体抽取与链指：也就是命名实体识别关系抽取：通常我们说的三元组(triple)抽取，主要用于抽取实体间的关系事件抽取：相当于一种多元关系的抽取 一、关系抽取概述 关系抽取通常在实体抽取与实体链指之后。在识别出句子中的关键实体后，还需要抽取两个实体或多个实体之间的语义关系。语义关系通常用于连接两个实体，并与实体一起表达文本的主要含义。常见的关系抽取结果
NLP-文本处理：词性标注【使用成熟的第三方工具包：中文（哈工大LTP）、英文（）】【对分词后得到的“词语列表”进行词性标注，词性标注的结果用于依存句法分析、语义角色标注】
词性: 语言中对词的一种分类方法，以语法特征为主要依据、兼顾词汇意义对词进行划分的结果, 常见的词性有14种, 如: 名词, 动词, 形容词等. 顾名思义, 词性标注(Part-Of-Speech tagging, 简称POS)就是标注出一段文本中每个词汇的词性. 举个栗子: 我爱自然语言处理==>我/rr, 爱/v, 自然语言/n, 处理/vnrr: 人称代词v: 动词n: 名词vn