本文主要是介绍使用百度AI开放平台进行财经语料用户情感分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
目录
一、实现过程操作步骤
二、遇到的问题与解决
三、详细代码
一、实现过程操作步骤
1、百度AI开放平台上创建应用
详细过程比较简单, 不详细描述
1)到http://ai.baidu.com/上一步步注册账号
2)创建一个自然语言分析下语料情感分析的应用。(根据步骤创建模型、训练、创建即可。其中涉及相关预料的获取,可以写个爬虫弄一下。 具体可以参考 https://blog.csdn.net/ebzxw/article/details/101853610 的第三部分“scrapy框架基本使用及完整案例”的案例代码)
结果是这样子的:
2、获取通过API调用的token
官方文档最详细。百度AIP开放平台使用OAuth2.0授权调用开放API,调用API时必须在URL中带上access_token参数,获取Access Token的流程如下。
方式一鉴权使用的Access_token必须通过API Key和Secret Key获取。
请求URL数据格式
向授权服务地址https://aip.baidubce.com/oauth/2.0/token
发送请求(推荐使用POST),并在URL中带上以下参数:
- grant_type: 必须参数,固定为
client_credentials
; - client_id: 必须参数,应用的
API Key
; - client_secret: 必须参数,应用的
Secret Key
;
例如:
https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=Va5yQRHlA4Fq5eR3LT0vuXV4&client_secret=0rDSjzQ20XUj5itV6WRtznPQSzr5pVw2&
服务器返回的JSON文本参数如下:
- access_token: 要获取的Access Token;
- expires_in: Access Token的有效期(秒为单位,一般为1个月);
- 其他参数忽略,暂时不用;
例如:
{"refresh_token": "25.b55fe1d287227ca97aab219bb249b8ab.315360000.1798284651.282335-8574074","expires_in": 2592000,"scope": "public wise_adapt","session_key": "9mzdDZXu3dENdFZQurfg0Vz8slgSgvvOAUebNFzyzcpQ5EnbxbF+hfG9DQkpUVQdh4p6HbQcAiz5RmuBAja1JJGgIdJI","access_token": "24.6c5e1ff107f0e8bcef8c46d3424a0e78.2592000.1485516651.282335-8574074","session_secret": "dfac94a3489fe9fca7c3221cbf7525ff"
}
若请求错误,服务器将返回的JSON文本包含以下参数:
- error: 错误码;关于错误码的详细信息请参考下方鉴权认证错误码。
- error_description: 错误描述信息,帮助理解和解决发生的错误。
使用Access Key ID/Secret Access Key的开发者注意
如果您使用的是“安全认证/Access Key ”中的Access Key ID 和 Secret Access Key的开发者,则不能使用获取Access Token的方式鉴权,具体鉴权认证机制参考“百度云鉴权认证机制”。
3、情感倾向分析接口调用
情感倾向分析接口(通用版):自动对包含主观信息的文本进行情感倾向性判断(积极、消极、中性),并给出相应的置信度。为口碑分析、话题监控、舆情分析等应用提供基础技术支持,同时支持用户自行定制模型效果调优。
情感倾向分析接口(定制版):用户在控制台中的【个性化定制】中选择【情感倾向分析定制】,通过上传特定应用场景的正负情感语料来训练模型,满足用户多样场景的精度要求。
定制版接口的详细使用教程,请您在论坛查看教学帖,帖子链接:http://ai.baidu.com/forum/topic/show/942825
请求说明
请求示例
(情感分析通用版)
HTTP方法: POST
请求URL: https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify
(情感分析定制版,注意需要先保证定制模型生效成功再调用,否则接口会报错)
HTTP方法: POST
请求URL: https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify_custom
URL参数:
参数 | 值 |
---|---|
access_token | 通过API Key和Secret Key获取的access_token,参考“Access Token获取” |
Header如下:
参数 | 值 |
---|---|
Content-Type | application/json |
Body请求示例:
{ "text": "光大是一家伟大的公司" }
请求格式
POST方式调用
注意:要求使用JSON格式的结构体来描述一个请求的具体内容。
body整体文本内容可以支持GBK和UTF-8两种格式的编码。
1、GBK支持:默认按GBK进行编码,输入内容为GBK编码,输出内容为GBK编码,否则会接口报错编码错误
2、UTF-8支持:若文本需要使用UTF-8编码,请在url参数中添加charset=UTF-8 (大小写敏感) 例如 https://aip.baidubce.com/rpc/2.0/nlp/v1/lexer?charset=UTF-8&access_token=24.f9ba9c5241b67688bb4adbed8bc91dec.2592000.1485570332.282335-8574074
请求参数
参数 | 类型 | 描述 |
---|---|---|
text | string | 文本内容,最大2048字节 |
返回格式
JSON格式
默认返回内容为GBK编码,若用户指定输入为UTF-8编码(通过指定charset参数),则返回内容为UTF-8编码
返回说明
返回参数
参数 | 说明 | 描述 |
---|---|---|
log_id | uint64 | 请求唯一标识码 |
sentiment | int | 表示情感极性分类结果,0:负向,1:中性,2:正向 |
confidence | float | 表示分类的置信度,取值范围[0,1] |
positive_prob | float | 表示属于积极类别的概率 ,取值范围[0,1] |
negative_prob | float | 表示属于消极类别的概率,取值范围[0,1] |
返回示例
{"text":"光大是一家伟大的公司","items":[{"sentiment":2, //表示情感极性分类结果"confidence":0.40, //表示分类的置信度"positive_prob":0.73, //表示属于积极类别的概率"negative_prob":0.27 //表示属于消极类别的概率}]
}
二、遇到的问题与解决
1、error_code': 110, 'error_msg': 'Access token invalid or no longer valid'
网上搜了一堆,都对不上号。
后仔细看了下官方文档,发现开始漏过了流程的第二步,要通过api key和secret key 来获取 access_token ,用access_token 来访问才行。
看来凡是要按方法,急了自己乱整不行,折腾浪费了半小时。
2、'error_code': 282004, 'error_msg': 'invalid parameter(s)'
原因与解决:代码问题。因为传入数据是字典需要进行编码。
encode_data=json.dumps(data).encode('GBK')
三、详细代码
import json,csv,sys
from urllib.request import urlopen, quotedef getToken():# client_id 为官网获取的AK, client_secret 为官网获取的SKhost = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=rqw416K1e80V9IId888G1HUl&client_secret=q5kLRfP9lxdC83QBe5gIsoMXPmkZ6xcT'response = urlopen(host)content = response.read()if (content):#print(type(content)) #<class 'bytes'>content_str=str(content, encoding="utf-8")content_dir = eval(content_str)access_token = content_dir['access_token']return access_tokendef getBaiduNlpMotion():ak = getToken()url = 'https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify?access_token=' +ak print('请求:' + url) data = {"text":sys.argv[1]}encode_data=json.dumps(data).encode('GBK')req = urlopen(url,encode_data)res = req.read() # content是一个utf-8格式的<class 'bytes'>#bytes ⇒ str:str(b, encoding='utf-8')content_str = str(res, encoding="gbk") #content被编码为gbk格式的字节串,赋给content_strif (content_str):return content_str file = open(r'files\\baiduapi_nlp1.json','w')
print('\r\n参数:' + sys.argv[1])
rt = getBaiduNlpMotion()
print('\r\n百度返回结果:'+ rt +'\r\n')
file.write(rt)
file.close()
成功的执行结果如下:
输出items的各个结果含义参照第一部分内容,不重复。
这篇关于使用百度AI开放平台进行财经语料用户情感分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!