NLPIR(ICTCLAS2013) Python版

2024-05-15 05:58
文章标签 python nlpir ictclas2013

本文主要是介绍NLPIR(ICTCLAS2013) Python版,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在国内研究自然语言处理的人大概都知道ICTCLAS分词系统的大名。该系统是由张华平博士开发的基于层叠隐性马可夫链的分词系统,在中文分词领域具有领先的优势。今年一月张华平博士已经放出了最新的ICTCLAS2013分词系统,并更名为NLPIR,加入了新词发现,微博分词等功能。
在官方网站上,提供了C,Java,C#等语言的绑定。本文将介绍把最新的NLPIR分词系统与Python绑定的方法。
首先下载swig,swig可以帮助我们将C或者C++编写的DLL或者SO文件绑定到包括Python在内的多种语言。Windows下将安装包下载到一定目录下将该目录加入环境变量的path中即可使用swig(当然也可以输入完整的路径来使用swig)。可以打开命令行窗口,在里面输入swig,如果出现“Must specify an input file. Use -help for available options.”则表示一切顺利。
下面通过swig来讲NLPIR系统封装成Python的扩展。新建一个空白的目录,取名为nlpirpy_ext。首先要写的是swig的接口文件,可以参考swig文档的写法,下面就简单介绍一下:
(这儿的代码就不贴了,果壳没有代码功能,贴大段代码太蛋疼,代码可以看文章最后的原文链接)
%module 后面跟的是模块名,也就是Python中import后跟名字。
%{
%}中的是放头文件的地方(所以说用swig做封装的话,至少得有头文件。)
其中“#define SWIG_FILE_WITH_INIT”是说封装成扩展的时候包含python的__init__.py的内容。"#include "NLPIR.h""大家懂的。
接下来那一堆#define也就是从头文件中复制出来的,这样在封装之后这些define的内容直接可以再模块中使用。
再接下来的函数声明就是要从C文件中导出的接口了。
下面再写一个setup.bat文件,将swig和扩展接口的工作统一起来:

swig -c++ -python NLPIR.i
python setup.py build_ext --inplace
echo "Build Complete!"
pause

第一行就是swig的命令。-c++是说扩展的是C++编写的库, -python当然是说扩展为Python,NLPIR.i就是刚才写的接口文件
第二行我不懂……这是照别人写的,Python刚入门,对这些都还不太熟悉。包括接下来setup.py里面的内容也不太懂,都是依样画葫芦。大家可以参看以下这方面的教程。
(这儿的代码也不贴了,看文章最后的原文链接)
要注意的两点是,第一是Extension的第一个参数前一定要有个"_"这是swig的规定,souces里面的cxx代表的就是c++文件。是第一步swig自动生成的文件。
接下来在目录里放置一个空白的__init__.py文件。为的是这个扩展可以直接放到python的目录中取。
最后,讲下载好的NLPIR文件夹中的NLPIR.dll,NLPIR.h,NLPIR.lib,Data文件夹放到和刚才同样的目录下。运行setup.bat
我就是在这里遇到了很大的问题的:我的是64位的win7系统,装的是64位的Python2.7.3。首先,在运行bat文件后,第一步能成功,在第二步的时候,首先Python会去查找VS2008的编译器,因为windows Python2.7.3本身就是VS2008编译的,但我恰恰装的是VS2012Express,所以查找失败。爆出:“Unable to find vcvarsall.bat”的错误,几经周折,发现如下解决方法:直接更改C:/Python32/Lib/distutils/msvc9compiler.py文件。。。然后失败了。。然后找到了改环境变量的方法:添加"VS90COMNTOOLS"指向VS2012的环境,例如C:\Program Files\Microsoft Visual Studio 10.0\Common7\Tools\。
到此时好像更进一步了,但是又遇到了新的问题:不是正确的win32文件。然后我发现问题出在Express版本的编译器不能编译64位文件……要么安装一个1.4G的windows的东西,要么换成32位版本的python……我表示败了,还是换32版本python吧,两个版本并存好了。
重新安装python32位版,更改环境变量指向新的Python,搞定。
上述工作完成后,将文件夹拷到python安装目录下的lib\site-packages目录下,就可以直接使用该扩展了。
下面是一个文中所提到的源代码的打包下载,一个是只含上述源代码的:nlpirpy_ext原始版.7z。另一个已经通过swig封装过了,目前只支持windows python2.7.3 32位版。其他环境需要自己封装或者测试,还带有一个小的Seg.py,是进一步封装的分词器类:NLPIRPY_EXT_built版.7z
本文就到这里了,欢迎指正。

参考文献:
1.http://www.cnblogs.com/toofooltosaysmth/archive/2011/10/21/Python_SegTools.html
2.http://www.linuxidc.com/Linux/2011-08/39722.htm
3.http://stackoverflow.com/questions/2667069/cannot-find-vcvarsall-bat-when-running-a-python-script
4.http://blog.victorjabur.com/2011/06/05/compiling-python-2-7-modules-on-windows-32-and-64-using-msvc-2008-express/
5.http://stackoverflow.com/questions/4635734/trying-to-build-the-basic-python-extension-example-fails-windows
6.http://bugs.python.org/issue7511

#-------------------------------------------------转载于:http://www.guokr.com/blog/440564/

这篇关于NLPIR(ICTCLAS2013) Python版的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/990994

相关文章

Python实现终端清屏的几种方式详解

《Python实现终端清屏的几种方式详解》在使用Python进行终端交互式编程时,我们经常需要清空当前终端屏幕的内容,本文为大家整理了几种常见的实现方法,有需要的小伙伴可以参考下... 目录方法一:使用 `os` 模块调用系统命令方法二:使用 `subprocess` 模块执行命令方法三:打印多个换行符模拟

Python实现MQTT通信的示例代码

《Python实现MQTT通信的示例代码》本文主要介绍了Python实现MQTT通信的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 安装paho-mqtt库‌2. 搭建MQTT代理服务器(Broker)‌‌3. pytho

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计(扩展版本)二、核心算法深入解析2.1 自

从入门到进阶讲解Python自动化Playwright实战指南

《从入门到进阶讲解Python自动化Playwright实战指南》Playwright是针对Python语言的纯自动化工具,它可以通过单个API自动执行Chromium,Firefox和WebKit... 目录Playwright 简介核心优势安装步骤观点与案例结合Playwright 核心功能从零开始学习

Python 字典 (Dictionary)使用详解

《Python字典(Dictionary)使用详解》字典是python中最重要,最常用的数据结构之一,它提供了高效的键值对存储和查找能力,:本文主要介绍Python字典(Dictionary)... 目录字典1.基本特性2.创建字典3.访问元素4.修改字典5.删除元素6.字典遍历7.字典的高级特性默认字典

Python自动化批量重命名与整理文件系统

《Python自动化批量重命名与整理文件系统》这篇文章主要为大家详细介绍了如何使用Python实现一个强大的文件批量重命名与整理工具,帮助开发者自动化这一繁琐过程,有需要的小伙伴可以了解下... 目录简介环境准备项目功能概述代码详细解析1. 导入必要的库2. 配置参数设置3. 创建日志系统4. 安全文件名处

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数