Win10(x64)系统Python 3.6.5(Anaconda3)本地调用哈工大最新版LTP 3.4

本文主要是介绍Win10(x64)系统Python 3.6.5(Anaconda3)本地调用哈工大最新版LTP 3.4,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Win10(x64)系统Python 3.6.5(Anaconda3)本地调用哈工大最新版LTP 3.4

本文基于网上失败与成功经验,经过多次调试,实现了Win10(x64)系统下Python 3.6.5(Anaconda3)本地调用哈工大LTP 3.4,故将主要关键步骤分述如下:

  • LTP的选择与下载
  • LTP本地安装
  • pyltp库安装
  • 程序调用与测试

LTP的选择与下载

哈工大语言技术平台(LTP) 提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、 高效、精准的自然语言处理技术。 —— [ 哈工大语言技术平台 ]

python语言下本地调用LTP,需要安装LTP、LTP模型文件以及第三方库pyltp。

目前语言技术平台3.4.0版 发布,
* 增加新的基于Bi-LSTM的SRL模型
* 增加了SRL的多线程命令行程序srl_cmdline
* 修改了SRL相关的编程接口已经改变,修复了之前内存泄露的相关问题。

笔者电脑为Win10(x64)系统,Python为Anaconda3所集成的python3.6.5,采用哈工大最新版LTP 3.4,根据版本匹配建议(链接),需下载ltp-3.4.0-win-x64-Release.zip以及模型文件ltp_data_v3.4.0.zip。需要预先说明的是,此时对应的python库
这里写图片描述

LTP采用C++编写,若采用python语言调用LTP,安装pyltp库,版本pyltp-0.2.1,直接采用pip命令安装难以成功,会出现缺少VC++ 14.0 组件的错误。其实笔者电脑已安装Visual studio 2017
这里写图片描述
最后经过多次尝试网上说的一些方法,采用安装pyltp对应的 wheel文件成功。网上能找到pyltp-0.2.1的wheel文件,但更低版本的就难以找到了。据说是一个大神在自己的电脑(win10)上编译的,64bit的windows应该都可以,csdn下载地址(链接)
pyltp-0.2.1-cp35-cp35m-win_amd64.whl
pyltp-0.2.1-cp36-cp36m-win_amd64.whl
注意: 这两个文件的区别是python版本号

LTP本地安装

(1)新建一个项目文件夹,比如:F:\myprojects\LTP;

(2)将模型文件ltp_data_v3.4.0.zip解压后的ltp_data文件夹放入项目文件夹;

(3)将ltp-3.4.0-win-x64-Release.zip解压后的dll、exe文件全部拷入项目文件夹。
LTP文件夹

这里写图片描述

模型文件夹
这里写图片描述

按照官网提示(链接),LTP 3.4.0 版本 SRL模型 pisrl.model 如在windows系统下不可用,可以到官网“此链接” 下载支持windows的语义角色标注模型。
这里写图片描述

由后期调试经验表明,此步骤非常重要,语义角色标注模型基本报错,通过替换win版本后调试成功。

pyltp库安装

由前述下载好pyltp-0.2.1-cp36-cp36m-win_amd64.whl 文件后,存放到本地文件夹,然后采用pip命令安装,如笔者存放在路径F:\fruanjian\pyth下,pip命令:
pip install F:\fruanjian\pyth\pyltp-0.2.1-cp36-cp36m-win_amd64.whl
这里写图片描述

程序调用与测试

参考网上示例(链接),做了细部修改,比如更改路径,以及3.4版本语义角色分析需采用pisrl.model

程序调用代码块

代码块语法遵循标准markdown代码,例如:

import os
LTP_DATA_DIR = 'F:\myprojects\LTP\ltp_data34'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径,模型名称为`cws.model`
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model')  # 词性标注模型路径,模型名称为`pos.model`
ner_model_path = os.path.join(LTP_DATA_DIR, 'ner.model')  # 命名实体识别模型路径,模型名称为`pos.model`
par_model_path = os.path.join(LTP_DATA_DIR, 'parser.model')  # 依存句法分析模型路径,模型名称为`parser.model`
srl_model_path = os.path.join(LTP_DATA_DIR, 'pisrl.model')  # 语义角色标注模型目录路径,模型目录为`srl`。注意该模型路径是一个目录,而不是一个文件。from pyltp import SentenceSplitter
from pyltp import Segmentor
from pyltp import Postagger
from pyltp import NamedEntityRecognizer
from pyltp import Parser
from pyltp import SementicRoleLabeller#分句,也就是将一片文本分割为独立的句子
def sentence_splitter(sentence='人生苦短。我用python。你呢?'):sents = SentenceSplitter.split(sentence)  # 分句print ('\n'.join(sents))#分词
def segmentor(sentence='我是中国人'):segmentor = Segmentor()  # 初始化实例segmentor.load(cws_model_path)  # 加载模型words = segmentor.segment(sentence)  # 分词#默认可以这样输出print ('\t'.join(words))# 可以转换成List 输出words_list = list(words)segmentor.release()  # 释放模型return words_listdef posttagger(words):postagger = Postagger() # 初始化实例postagger.load(pos_model_path)  # 加载模型postags = postagger.postag(words)  # 词性标注for word,tag in zip(words,postags):print (word+'/'+tag)postagger.release()  # 释放模型return postags#命名实体识别
def ner(words, postags):recognizer = NamedEntityRecognizer() # 初始化实例recognizer.load(ner_model_path)  # 加载模型netags = recognizer.recognize(words, postags)  # 命名实体识别for word, ntag in zip(words, netags):print (word + '/' + ntag)recognizer.release()  # 释放模型return netags#依存语义分析
def parse(words, postags):parser = Parser() # 初始化实例parser.load(par_model_path)  # 加载模型arcs = parser.parse(words, postags)  # 句法分析print ("\t".join("%d:%s" % (arc.head, arc.relation) for arc in arcs))parser.release()  # 释放模型return arcs#角色标注
def role_label(words, postags, arcs):labeller = SementicRoleLabeller() # 初始化实例labeller.load(srl_model_path)  # 加载模型roles = labeller.label(words, postags,  arcs)  # 语义角色标注for role in roles:print (role.index, "".join(["%s:(%d,%d)" % (arg.name, arg.range.start, arg.range.end) for arg in role.arguments]))labeller.release()  # 释放模型#测试分句子
print('******************测试将会顺序执行:**********************')
sentence_splitter()
print('###############以上为分句子测试###############')
#测试分词
words=segmentor()
print('###############以上为分词标注测试###############')
#测试标注
tags = posttagger(words)
print('###############以上为词性标注测试###############')
#命名实体识别
netags = ner(words,tags)
print('###############以上为命名实体识别测试###############')
#依存句法识别
arcs = parse(words,tags)
print('###############以上为依存句法测试###############')
#角色标注
roles = role_label(words,tags,arcs)
print('###############以上为角色标注测试###############')

再次提醒,可能替换ltp_data文件夹下语义角色分析的pisrl.model,否则可能出错。
另一个出错的地方就是 SementicRoleLabeller.label函数,笔者修改后采用3个参数,调试成功。
这里写图片描述
测试结果为
这里写图片描述
而 SementicRoleLabeller.label采用网上的4个参数,调用函数如下
这里写图片描述
一直调试不成功,出现如下错误:
Traceback (most recent call last):
File “F:\xuexi\spypython\nlpprogram\test_ltp.py”, line 95, in
roles = role_label(words,tags,netags,arcs)
File “F:\xuexi\spypython\nlpprogram\test_ltp.py”, line 72, in role_label
roles = labeller.label(words, postags, netags, arcs) # 语义角色标注
Boost.Python.ArgumentError: Python argument types in
SementicRoleLabeller.label(SementicRoleLabeller, list, VectorOfString, VectorOfString, VectorOfParseResult)
did not match C++ signature:

以上即是本人初次学习LTP时安装LTP的尝试,其中也存在很多不懂的地方,欢迎各位交流,敬请不吝珠玉!qq:2735500267

这篇关于Win10(x64)系统Python 3.6.5(Anaconda3)本地调用哈工大最新版LTP 3.4的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/702798

相关文章

Python将博客内容html导出为Markdown格式

《Python将博客内容html导出为Markdown格式》Python将博客内容html导出为Markdown格式,通过博客url地址抓取文章,分析并提取出文章标题和内容,将内容构建成html,再转... 目录一、为什么要搞?二、准备如何搞?三、说搞咱就搞!抓取文章提取内容构建html转存markdown

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

Spring Boot 3.4.3 基于 Spring WebFlux 实现 SSE 功能(代码示例)

《SpringBoot3.4.3基于SpringWebFlux实现SSE功能(代码示例)》SpringBoot3.4.3结合SpringWebFlux实现SSE功能,为实时数据推送提供... 目录1. SSE 简介1.1 什么是 SSE?1.2 SSE 的优点1.3 适用场景2. Spring WebFlu