【NLP】Stanfordcorenlp和Stanfordnlp的安装和基本使用

2024-02-16 07:48

本文主要是介绍【NLP】Stanfordcorenlp和Stanfordnlp的安装和基本使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、stanfordcorenlp安装和使用

1.安装Python包

pip install stanfordcorenlp

2.下载数据文件

https://stanfordnlp.github.io/CoreNLP/index.html#download

 

corenlp

 

下载好后解压,

 

记当前路径为path_or_host

 

另外,将下载的各语种模型文件

也放在解压后的目录path_or_host下

 

3.安装JDK 1.8 和JRE 1.8

Java SE  JDK安装包下载

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

Win 64位 JDK1.8

jdk-8u251-windows-x64.exe

 

tips:需要先用邮箱注册一个账号才能下载

 

配置环境:

Java环境的配置

https://blog.csdn.net/weixin_43529904/article/details/88370720

https://jingyan.baidu.com/article/08b6a591bdb18314a80922a0.html

 

检查:

cmd中输入java、 javac、 java -version有对应的信息出现

 

 

报错解决:

https://blog.csdn.net/sunflower_sara/article/details/106473753

Javac不是外部命令

https://blog.csdn.net/tg928600774/article/details/80992683

Java1.7和1.8冲突

https://blog.csdn.net/weinichendian/article/details/78559496

4. Ner

https://nlp.stanford.edu/software/CRF-NER.html

下载stanford-ner-4.0.0.zip

解压

 

5. 示例:

python直接调用


from stanfordcorenlp import StanfordCoreNLPnlp = StanfordCoreNLP(r'.\\stanford_nlp\\stanford-corenlp-4.0.0', lang='en')# sentence = '斯坦福大学自然语言处理包StanfordNLP'sentence = "This is a growing trend particularly in the United States. Oftentimes there are great opportunities for glamping just outside national park boundaries. Yellowstone, Zion National Park, and Yosemite are excellent both for their supreme natural beauty as well as their many prime opportunities for some glamping."print(nlp.word_tokenize(sentence))  # 分词print(nlp.pos_tag(sentence))  # 词性标注print(nlp.ner(sentence))  # 实体识别print(nlp.parse(sentence))  # 语法树print(nlp.dependency_parse(sentence))  # 依存句法nlp.close() # Do not forget to close! The backend server will consume a lot memery.

 

如果用端口模式:

(详细可参考:https://blog.csdn.net/qq_35203425/article/details/80451243)

 

cmd中启动端口

java -mx4g -cp "*" edu.stanford.nlp.pipeline.StanfordCoreNLPServer -port 9000 -timeout 15000

 

 

Python脚本中用

nlp = StanfordCoreNLP('http://localhost', port=9000)

替换

nlp = StanfordCoreNLP(r'.\\stanford_nlp\\stanford-corenlp-4.0.0', lang='en')

from stanfordcorenlp import StanfordCoreNLPnlp = StanfordCoreNLP('http://localhost', port=9000)# sentence = '斯坦福大学自然语言处理包StanfordNLP'
sentence = "This is a growing trend particularly in the United States. Oftentimes there are great opportunities for glamping just outside national park boundaries. Yellowstone, Zion National Park, and Yosemite are excellent both for their supreme natural beauty as well as their many prime opportunities for some glamping."print(nlp.word_tokenize(sentence))  # 分词
print(nlp.pos_tag(sentence))  # 词性标注
print(nlp.ner(sentence))  # 实体识别
print(nlp.parse(sentence))  # 语法树
print(nlp.dependency_parse(sentence))  # 依存句法nlp.close() # Do not forget to close! The backend server will consume a lot memery.

 

二、Stanfordnlp安装和使用

 

1. 安装python包

pip install stanfordnlp

 

2. 下载数据文件

python中:

import stanfordnlp

stanfordnlp.download('en')

根据提示输入y即可下载数据

我的下载到了 D:\Users\user\stanfordnlp_resources

大小大概270M

 

3. 安装pytorch

需要依赖pytorch 1.0.0以上版本

打开如下链接选择相应的环境和版本的pytorch

https://pytorch.org/get-started/locally/

https://download.pytorch.org/whl/torch_stable.html

 

 

4. 示例代码:

import stanfordnlp

 

# stanfordnlp.download('en')   # This downloads the English models for the neural pipeline

 

nlp = stanfordnlp.Pipeline() # This sets up a default neural pipeline in English

doc = nlp("Barack Obama was born in Hawaii.  He was elected president in 2008.")

doc.sentences[0].print_dependencies()

 

 

 

参考资料:

https://blog.csdn.net/qq_35203425/article/details/80451243

https://blog.csdn.net/qq_40426415/article/details/80994622

 

其他:

python nltk中使用StanfordNER

https://www.jianshu.com/p/f5c893c89c28

这篇关于【NLP】Stanfordcorenlp和Stanfordnlp的安装和基本使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/713945

相关文章

SQL server数据库如何下载和安装

《SQLserver数据库如何下载和安装》本文指导如何下载安装SQLServer2022评估版及SSMS工具,涵盖安装配置、连接字符串设置、C#连接数据库方法和安全注意事项,如混合验证、参数化查... 目录第一步:打开官网下载对应文件第二步:程序安装配置第三部:安装工具SQL Server Manageme

C#连接SQL server数据库命令的基本步骤

《C#连接SQLserver数据库命令的基本步骤》文章讲解了连接SQLServer数据库的步骤,包括引入命名空间、构建连接字符串、使用SqlConnection和SqlCommand执行SQL操作,... 目录建议配合使用:如何下载和安装SQL server数据库-CSDN博客1. 引入必要的命名空间2.

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

深入理解Go语言中二维切片的使用

《深入理解Go语言中二维切片的使用》本文深入讲解了Go语言中二维切片的概念与应用,用于表示矩阵、表格等二维数据结构,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录引言二维切片的基本概念定义创建二维切片二维切片的操作访问元素修改元素遍历二维切片二维切片的动态调整追加行动态

prometheus如何使用pushgateway监控网路丢包

《prometheus如何使用pushgateway监控网路丢包》:本文主要介绍prometheus如何使用pushgateway监控网路丢包问题,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录监控网路丢包脚本数据图表总结监控网路丢包脚本[root@gtcq-gt-monitor-prome

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

SpringBoot中如何使用Assert进行断言校验

《SpringBoot中如何使用Assert进行断言校验》Java提供了内置的assert机制,而Spring框架也提供了更强大的Assert工具类来帮助开发者进行参数校验和状态检查,下... 目录前言一、Java 原生assert简介1.1 使用方式1.2 示例代码1.3 优缺点分析二、Spring Fr

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》:本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件

Java中的数组与集合基本用法详解

《Java中的数组与集合基本用法详解》本文介绍了Java数组和集合框架的基础知识,数组部分涵盖了一维、二维及多维数组的声明、初始化、访问与遍历方法,以及Arrays类的常用操作,对Java数组与集合相... 目录一、Java数组基础1.1 数组结构概述1.2 一维数组1.2.1 声明与初始化1.2.2 访问