Win10(x64)系统Python 3.6.5(Anaconda3)本地调用哈工大最新版LTP 3.4

本文主要是介绍Win10(x64)系统Python 3.6.5(Anaconda3)本地调用哈工大最新版LTP 3.4,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Win10(x64)系统Python 3.6.5(Anaconda3)本地调用哈工大最新版LTP 3.4

本文基于网上失败与成功经验,经过多次调试,实现了Win10(x64)系统下Python 3.6.5(Anaconda3)本地调用哈工大LTP 3.4,故将主要关键步骤分述如下:

  • LTP的选择与下载
  • LTP本地安装
  • pyltp库安装
  • 程序调用与测试

LTP的选择与下载

哈工大语言技术平台(LTP) 提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、 高效、精准的自然语言处理技术。 —— [ 哈工大语言技术平台 ]

python语言下本地调用LTP,需要安装LTP、LTP模型文件以及第三方库pyltp。

目前语言技术平台3.4.0版 发布,
* 增加新的基于Bi-LSTM的SRL模型
* 增加了SRL的多线程命令行程序srl_cmdline
* 修改了SRL相关的编程接口已经改变,修复了之前内存泄露的相关问题。

笔者电脑为Win10(x64)系统,Python为Anaconda3所集成的python3.6.5,采用哈工大最新版LTP 3.4,根据版本匹配建议(链接),需下载ltp-3.4.0-win-x64-Release.zip以及模型文件ltp_data_v3.4.0.zip。需要预先说明的是,此时对应的python库
这里写图片描述

LTP采用C++编写,若采用python语言调用LTP,安装pyltp库,版本pyltp-0.2.1,直接采用pip命令安装难以成功,会出现缺少VC++ 14.0 组件的错误。其实笔者电脑已安装Visual studio 2017
这里写图片描述
最后经过多次尝试网上说的一些方法,采用安装pyltp对应的 wheel文件成功。网上能找到pyltp-0.2.1的wheel文件,但更低版本的就难以找到了。据说是一个大神在自己的电脑(win10)上编译的,64bit的windows应该都可以,csdn下载地址(链接)
pyltp-0.2.1-cp35-cp35m-win_amd64.whl
pyltp-0.2.1-cp36-cp36m-win_amd64.whl
注意: 这两个文件的区别是python版本号

LTP本地安装

(1)新建一个项目文件夹,比如:F:\myprojects\LTP;

(2)将模型文件ltp_data_v3.4.0.zip解压后的ltp_data文件夹放入项目文件夹;

(3)将ltp-3.4.0-win-x64-Release.zip解压后的dll、exe文件全部拷入项目文件夹。
LTP文件夹

这里写图片描述

模型文件夹
这里写图片描述

按照官网提示(链接),LTP 3.4.0 版本 SRL模型 pisrl.model 如在windows系统下不可用,可以到官网“此链接” 下载支持windows的语义角色标注模型。
这里写图片描述

由后期调试经验表明,此步骤非常重要,语义角色标注模型基本报错,通过替换win版本后调试成功。

pyltp库安装

由前述下载好pyltp-0.2.1-cp36-cp36m-win_amd64.whl 文件后,存放到本地文件夹,然后采用pip命令安装,如笔者存放在路径F:\fruanjian\pyth下,pip命令:
pip install F:\fruanjian\pyth\pyltp-0.2.1-cp36-cp36m-win_amd64.whl
这里写图片描述

程序调用与测试

参考网上示例(链接),做了细部修改,比如更改路径,以及3.4版本语义角色分析需采用pisrl.model

程序调用代码块

代码块语法遵循标准markdown代码,例如:

import os
LTP_DATA_DIR = 'F:\myprojects\LTP\ltp_data34'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径,模型名称为`cws.model`
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model')  # 词性标注模型路径,模型名称为`pos.model`
ner_model_path = os.path.join(LTP_DATA_DIR, 'ner.model')  # 命名实体识别模型路径,模型名称为`pos.model`
par_model_path = os.path.join(LTP_DATA_DIR, 'parser.model')  # 依存句法分析模型路径,模型名称为`parser.model`
srl_model_path = os.path.join(LTP_DATA_DIR, 'pisrl.model')  # 语义角色标注模型目录路径,模型目录为`srl`。注意该模型路径是一个目录,而不是一个文件。from pyltp import SentenceSplitter
from pyltp import Segmentor
from pyltp import Postagger
from pyltp import NamedEntityRecognizer
from pyltp import Parser
from pyltp import SementicRoleLabeller#分句,也就是将一片文本分割为独立的句子
def sentence_splitter(sentence='人生苦短。我用python。你呢?'):sents = SentenceSplitter.split(sentence)  # 分句print ('\n'.join(sents))#分词
def segmentor(sentence='我是中国人'):segmentor = Segmentor()  # 初始化实例segmentor.load(cws_model_path)  # 加载模型words = segmentor.segment(sentence)  # 分词#默认可以这样输出print ('\t'.join(words))# 可以转换成List 输出words_list = list(words)segmentor.release()  # 释放模型return words_listdef posttagger(words):postagger = Postagger() # 初始化实例postagger.load(pos_model_path)  # 加载模型postags = postagger.postag(words)  # 词性标注for word,tag in zip(words,postags):print (word+'/'+tag)postagger.release()  # 释放模型return postags#命名实体识别
def ner(words, postags):recognizer = NamedEntityRecognizer() # 初始化实例recognizer.load(ner_model_path)  # 加载模型netags = recognizer.recognize(words, postags)  # 命名实体识别for word, ntag in zip(words, netags):print (word + '/' + ntag)recognizer.release()  # 释放模型return netags#依存语义分析
def parse(words, postags):parser = Parser() # 初始化实例parser.load(par_model_path)  # 加载模型arcs = parser.parse(words, postags)  # 句法分析print ("\t".join("%d:%s" % (arc.head, arc.relation) for arc in arcs))parser.release()  # 释放模型return arcs#角色标注
def role_label(words, postags, arcs):labeller = SementicRoleLabeller() # 初始化实例labeller.load(srl_model_path)  # 加载模型roles = labeller.label(words, postags,  arcs)  # 语义角色标注for role in roles:print (role.index, "".join(["%s:(%d,%d)" % (arg.name, arg.range.start, arg.range.end) for arg in role.arguments]))labeller.release()  # 释放模型#测试分句子
print('******************测试将会顺序执行:**********************')
sentence_splitter()
print('###############以上为分句子测试###############')
#测试分词
words=segmentor()
print('###############以上为分词标注测试###############')
#测试标注
tags = posttagger(words)
print('###############以上为词性标注测试###############')
#命名实体识别
netags = ner(words,tags)
print('###############以上为命名实体识别测试###############')
#依存句法识别
arcs = parse(words,tags)
print('###############以上为依存句法测试###############')
#角色标注
roles = role_label(words,tags,arcs)
print('###############以上为角色标注测试###############')

再次提醒,可能替换ltp_data文件夹下语义角色分析的pisrl.model,否则可能出错。
另一个出错的地方就是 SementicRoleLabeller.label函数,笔者修改后采用3个参数,调试成功。
这里写图片描述
测试结果为
这里写图片描述
而 SementicRoleLabeller.label采用网上的4个参数,调用函数如下
这里写图片描述
一直调试不成功,出现如下错误:
Traceback (most recent call last):
File “F:\xuexi\spypython\nlpprogram\test_ltp.py”, line 95, in
roles = role_label(words,tags,netags,arcs)
File “F:\xuexi\spypython\nlpprogram\test_ltp.py”, line 72, in role_label
roles = labeller.label(words, postags, netags, arcs) # 语义角色标注
Boost.Python.ArgumentError: Python argument types in
SementicRoleLabeller.label(SementicRoleLabeller, list, VectorOfString, VectorOfString, VectorOfParseResult)
did not match C++ signature:

以上即是本人初次学习LTP时安装LTP的尝试,其中也存在很多不懂的地方,欢迎各位交流,敬请不吝珠玉!qq:2735500267

这篇关于Win10(x64)系统Python 3.6.5(Anaconda3)本地调用哈工大最新版LTP 3.4的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/702798

相关文章

Python正则表达式语法及re模块中的常用函数详解

《Python正则表达式语法及re模块中的常用函数详解》这篇文章主要给大家介绍了关于Python正则表达式语法及re模块中常用函数的相关资料,正则表达式是一种强大的字符串处理工具,可以用于匹配、切分、... 目录概念、作用和步骤语法re模块中的常用函数总结 概念、作用和步骤概念: 本身也是一个字符串,其中

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

python实现svg图片转换为png和gif

《python实现svg图片转换为png和gif》这篇文章主要为大家详细介绍了python如何实现将svg图片格式转换为png和gif,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录python实现svg图片转换为png和gifpython实现图片格式之间的相互转换延展:基于Py

Python中的getopt模块用法小结

《Python中的getopt模块用法小结》getopt.getopt()函数是Python中用于解析命令行参数的标准库函数,该函数可以从命令行中提取选项和参数,并对它们进行处理,本文详细介绍了Pyt... 目录getopt模块介绍getopt.getopt函数的介绍getopt模块的常用用法getopt模

Python利用ElementTree实现快速解析XML文件

《Python利用ElementTree实现快速解析XML文件》ElementTree是Python标准库的一部分,而且是Python标准库中用于解析和操作XML数据的模块,下面小编就来和大家详细讲讲... 目录一、XML文件解析到底有多重要二、ElementTree快速入门1. 加载XML的两种方式2.

Python如何精准判断某个进程是否在运行

《Python如何精准判断某个进程是否在运行》这篇文章主要为大家详细介绍了Python如何精准判断某个进程是否在运行,本文为大家整理了3种方法并进行了对比,有需要的小伙伴可以跟随小编一起学习一下... 目录一、为什么需要判断进程是否存在二、方法1:用psutil库(推荐)三、方法2:用os.system调用

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Maven如何手动安装依赖到本地仓库

《Maven如何手动安装依赖到本地仓库》:本文主要介绍Maven如何手动安装依赖到本地仓库问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、下载依赖二、安装 JAR 文件到本地仓库三、验证安装四、在项目中使用该依赖1、注意事项2、额外提示总结一、下载依赖登

一文带你搞懂Python中__init__.py到底是什么

《一文带你搞懂Python中__init__.py到底是什么》朋友们,今天我们来聊聊Python里一个低调却至关重要的文件——__init__.py,有些人可能听说过它是“包的标志”,也有人觉得它“没... 目录先搞懂 python 模块(module)Python 包(package)是啥?那么 __in