本文主要是介绍NLP-文本处理：词性标注【使用成熟的第三方工具包：中文（哈工大LTP）、英文（）】【对分词后得到的“词语列表”进行词性标注，词性标注的结果用于依存句法分析、语义角色标注】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
词性: 语言中对词的一种分类方法，以语法特征为主要依据、兼顾词汇意义对词进行划分的结果, 常见的词性有14种, 如: 名词, 动词, 形容词等.
顾名思义, 词性标注(Part-Of-Speech tagging, 简称POS)就是标注出一段文本中每个词汇的词性.
举个栗子:
我爱自然语言处理==>我/rr, 爱/v, 自然语言/n, 处理/vnrr: 人称代词
v: 动词
n: 名词
vn: 动名词
词性标注的作用：词性标注以分词为基础, 是对文本语言的另一个角度的理解, 因此也常常成为AI解决NLP领域高阶任务的重要基础环节.
二、使用第三方工具包实现词性标注
1、使用LTP进行词性标注
LTP 使用的是863词性标注集，其各个词性含义如下表。
2、使用jieba进行中文词性标注
>>> import jieba.posseg as pseg
>>> pseg.lcut("我爱北京天安门")
[pair('我', 'r'), pair('爱', 'v'), pair('北京', 'ns'), pair('天安门', 'ns')]# 结果返回一个装有pair元组的列表, 每个pair元组中分别是词汇及其对应的词性, 具体词性含义请参照[附录: jieba词性对照表]()
jieba词性对照表:
- a 形容词 - ad 副形词 - ag 形容词性语素 - an 名形词
- b 区别词
- c 连词
- d 副词 - df - dg 副语素
- e 叹词
- f 方位词
- g 语素
- h 前接成分
- i 成语
- j 简称略称
- k 后接成分
- l 习用语
- m 数词 - mg - mq 数量词
- n 名词 - ng 名词性语素 - nr 人名 - nrfg - nrt - ns 地名 - nt 机构团体名 - nz 其他专名
- o 拟声词
- p 介词
- q 量词
- r 代词 - rg 代词性语素 - rr 人称代词 - rz 指示代词
- s 处所词
- t 时间词 - tg 时语素
- u 助词 - ud 结构助词 得- ug 时态助词- uj 结构助词 的- ul 时态助词 了- uv 结构助词 地- uz 时态助词 着
- v 动词 - vd 副动词- vg 动词性语素 - vi 不及物动词 - vn 名动词 - vq
- x 非语素词
- y 语气词
- z 状态词 - zg
3、使用hanlp进行中文词性标注
>>> import hanlp
# 加载中文命名实体识别的预训练模型CTB5_POS_RNN_FASTTEXT_ZH
>>> tagger = hanlp.load(hanlp.pretrained.pos.CTB5_POS_RNN_FASTTEXT_ZH)
# 输入是分词结果列表
>>> tagger(['我', '的', '希望', '是', '希望', '和平'])
# 结果返回对应的词性
['PN', 'DEG', 'NN', 'VC', 'VV', 'NN']
4、使用hanlp进行英文词性标注
>>> import hanlp
# 加载英文命名实体识别的预训练模型PTB_POS_RNN_FASTTEXT_EN
>>> tagger = hanlp.load(hanlp.pretrained.pos.PTB_POS_RNN_FASTTEXT_EN)
# 输入是分词结果列表
>>> tagger(['I', 'banked', '2', 'dollars', 'in', 'a', 'bank', '.'])
['PRP', 'VBD', 'CD', 'NNS', 'IN', 'DT', 'NN', '.']
hanlp词性对照表:
【Proper Noun——NR，专有名词】【Temporal Noun——NT，时间名词】【Localizer——LC，定位词】如“内”，“左右”【Pronoun——PN，代词】【Determiner——DT，限定词】如“这”，“全体”【Cardinal Number——CD，量词】【Ordinal Number——OD，次序词】如“第三十一”【Measure word——M，单位词】如“杯”【Verb：VA，VC，VE，VV，动词】【Adverb：AD，副词】如“近”，“极大”【Preposition：P，介词】如“随着”【Subordinating conjunctions：CS，从属连词】【Conjuctions：CC，连词】如“和”【Particle：DEC,DEG,DEV,DER,AS,SP,ETC,MSP，小品词】如“的话”【Interjections：IJ，感叹词】如“哈”【onomatopoeia：ON，拟声词】如“哗啦啦”【Other Noun-modifier：JJ】如“发稿/JJ 时间/NN”【Punctuation：PU，标点符号】【Foreign word：FW，外国词语】如“OK
第三方工具包：
哈工大LTP首页
哈工大LTP4 文档
这篇关于NLP-文本处理：词性标注【使用成熟的第三方工具包：中文（哈工大LTP）、英文（）】【对分词后得到的“词语列表”进行词性标注，词性标注的结果用于依存句法分析、语义角色标注】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
