NLPIR(ICTCLAS2013) Python版

2024-05-15 05:58
文章标签 python nlpir ictclas2013

本文主要是介绍NLPIR(ICTCLAS2013) Python版,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在国内研究自然语言处理的人大概都知道ICTCLAS分词系统的大名。该系统是由张华平博士开发的基于层叠隐性马可夫链的分词系统,在中文分词领域具有领先的优势。今年一月张华平博士已经放出了最新的ICTCLAS2013分词系统,并更名为NLPIR,加入了新词发现,微博分词等功能。
在官方网站上,提供了C,Java,C#等语言的绑定。本文将介绍把最新的NLPIR分词系统与Python绑定的方法。
首先下载swig,swig可以帮助我们将C或者C++编写的DLL或者SO文件绑定到包括Python在内的多种语言。Windows下将安装包下载到一定目录下将该目录加入环境变量的path中即可使用swig(当然也可以输入完整的路径来使用swig)。可以打开命令行窗口,在里面输入swig,如果出现“Must specify an input file. Use -help for available options.”则表示一切顺利。
下面通过swig来讲NLPIR系统封装成Python的扩展。新建一个空白的目录,取名为nlpirpy_ext。首先要写的是swig的接口文件,可以参考swig文档的写法,下面就简单介绍一下:
(这儿的代码就不贴了,果壳没有代码功能,贴大段代码太蛋疼,代码可以看文章最后的原文链接)
%module 后面跟的是模块名,也就是Python中import后跟名字。
%{
%}中的是放头文件的地方(所以说用swig做封装的话,至少得有头文件。)
其中“#define SWIG_FILE_WITH_INIT”是说封装成扩展的时候包含python的__init__.py的内容。"#include "NLPIR.h""大家懂的。
接下来那一堆#define也就是从头文件中复制出来的,这样在封装之后这些define的内容直接可以再模块中使用。
再接下来的函数声明就是要从C文件中导出的接口了。
下面再写一个setup.bat文件,将swig和扩展接口的工作统一起来:

swig -c++ -python NLPIR.i
python setup.py build_ext --inplace
echo "Build Complete!"
pause

第一行就是swig的命令。-c++是说扩展的是C++编写的库, -python当然是说扩展为Python,NLPIR.i就是刚才写的接口文件
第二行我不懂……这是照别人写的,Python刚入门,对这些都还不太熟悉。包括接下来setup.py里面的内容也不太懂,都是依样画葫芦。大家可以参看以下这方面的教程。
(这儿的代码也不贴了,看文章最后的原文链接)
要注意的两点是,第一是Extension的第一个参数前一定要有个"_"这是swig的规定,souces里面的cxx代表的就是c++文件。是第一步swig自动生成的文件。
接下来在目录里放置一个空白的__init__.py文件。为的是这个扩展可以直接放到python的目录中取。
最后,讲下载好的NLPIR文件夹中的NLPIR.dll,NLPIR.h,NLPIR.lib,Data文件夹放到和刚才同样的目录下。运行setup.bat
我就是在这里遇到了很大的问题的:我的是64位的win7系统,装的是64位的Python2.7.3。首先,在运行bat文件后,第一步能成功,在第二步的时候,首先Python会去查找VS2008的编译器,因为windows Python2.7.3本身就是VS2008编译的,但我恰恰装的是VS2012Express,所以查找失败。爆出:“Unable to find vcvarsall.bat”的错误,几经周折,发现如下解决方法:直接更改C:/Python32/Lib/distutils/msvc9compiler.py文件。。。然后失败了。。然后找到了改环境变量的方法:添加"VS90COMNTOOLS"指向VS2012的环境,例如C:\Program Files\Microsoft Visual Studio 10.0\Common7\Tools\。
到此时好像更进一步了,但是又遇到了新的问题:不是正确的win32文件。然后我发现问题出在Express版本的编译器不能编译64位文件……要么安装一个1.4G的windows的东西,要么换成32位版本的python……我表示败了,还是换32版本python吧,两个版本并存好了。
重新安装python32位版,更改环境变量指向新的Python,搞定。
上述工作完成后,将文件夹拷到python安装目录下的lib\site-packages目录下,就可以直接使用该扩展了。
下面是一个文中所提到的源代码的打包下载,一个是只含上述源代码的:nlpirpy_ext原始版.7z。另一个已经通过swig封装过了,目前只支持windows python2.7.3 32位版。其他环境需要自己封装或者测试,还带有一个小的Seg.py,是进一步封装的分词器类:NLPIRPY_EXT_built版.7z
本文就到这里了,欢迎指正。

参考文献:
1.http://www.cnblogs.com/toofooltosaysmth/archive/2011/10/21/Python_SegTools.html
2.http://www.linuxidc.com/Linux/2011-08/39722.htm
3.http://stackoverflow.com/questions/2667069/cannot-find-vcvarsall-bat-when-running-a-python-script
4.http://blog.victorjabur.com/2011/06/05/compiling-python-2-7-modules-on-windows-32-and-64-using-msvc-2008-express/
5.http://stackoverflow.com/questions/4635734/trying-to-build-the-basic-python-extension-example-fails-windows
6.http://bugs.python.org/issue7511

#-------------------------------------------------转载于:http://www.guokr.com/blog/440564/

这篇关于NLPIR(ICTCLAS2013) Python版的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/990994

相关文章

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

nudepy,一个有趣的 Python 库!

更多资料获取 📚 个人网站:ipengtao.com 大家好,今天为大家分享一个有趣的 Python 库 - nudepy。 Github地址:https://github.com/hhatto/nude.py 在图像处理和计算机视觉应用中,检测图像中的不适当内容(例如裸露图像)是一个重要的任务。nudepy 是一个基于 Python 的库,专门用于检测图像中的不适当内容。该

pip-tools:打造可重复、可控的 Python 开发环境,解决依赖关系,让代码更稳定

在 Python 开发中,管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等,都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools? pip-tools 是一组命令行工具,旨在简化 Python 依赖关系的管理,确保项目环境的稳定性和可重复性。它主要包含两个核心工具:pip-compile 和 pip

HTML提交表单给python

python 代码 from flask import Flask, request, render_template, redirect, url_forapp = Flask(__name__)@app.route('/')def form():# 渲染表单页面return render_template('./index.html')@app.route('/submit_form',

Python QT实现A-star寻路算法

目录 1、界面使用方法 2、注意事项 3、补充说明 用Qt5搭建一个图形化测试寻路算法的测试环境。 1、界面使用方法 设定起点: 鼠标左键双击,设定红色的起点。左键双击设定起点,用红色标记。 设定终点: 鼠标右键双击,设定蓝色的终点。右键双击设定终点,用蓝色标记。 设置障碍点: 鼠标左键或者右键按着不放,拖动可以设置黑色的障碍点。按住左键或右键并拖动,设置一系列黑色障碍点

Python:豆瓣电影商业数据分析-爬取全数据【附带爬虫豆瓣,数据处理过程,数据分析,可视化,以及完整PPT报告】

**爬取豆瓣电影信息,分析近年电影行业的发展情况** 本文是完整的数据分析展现,代码有完整版,包含豆瓣电影爬取的具体方式【附带爬虫豆瓣,数据处理过程,数据分析,可视化,以及完整PPT报告】   最近MBA在学习《商业数据分析》,大实训作业给了数据要进行数据分析,所以先拿豆瓣电影练练手,网络上爬取豆瓣电影TOP250较多,但对于豆瓣电影全数据的爬取教程很少,所以我自己做一版。 目

【Python报错已解决】AttributeError: ‘list‘ object has no attribute ‘text‘

🎬 鸽芷咕:个人主页  🔥 个人专栏: 《C++干货基地》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 文章目录 前言一、问题描述1.1 报错示例1.2 报错分析1.3 解决思路 二、解决方法2.1 方法一:检查属性名2.2 步骤二:访问列表元素的属性 三、其他解决方法四、总结 前言 在Python编程中,属性错误(At