人工智能老师教AI，AI审核人工智能领域 横批：百度飞桨

本文主要是介绍人工智能老师教AI，AI审核人工智能领域 横批：百度飞桨，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

 

       不觉”百度7日打卡Python+AI“学习已经过去5天，也该发点心得 了，收获颇丰啊

中间也踏过了很多小坑坑。分享一下了。

我的学习来源于百度AI aistudio。

https://aistudio.baidu.com/bdcpu6/user/281958/436937/notebooks/436937.ipynb?redirects=1

第五天的作业要求如下：

综合大作业

第一步：爱奇艺《青春有你2》评论数据爬取(参考链接：https://www.iqiyi.com/v_19ryfkiv8w.html#curid=15068699100_9f9bab7e0d1e30c494622af777f4ba39)

• 爬取任意一期正片视频下评论
• 评论条数不少于1000条

第二步：词频统计并可视化展示

• 数据预处理：清理清洗评论中特殊字符（如：@#￥%、emoji表情符）,清洗后结果存储为txt文档
• 中文分词：添加新增词（如：青你、奥利给、冲鸭），去除停用词（如：哦、因此、不然、也好、但是）
• 统计top10高频词
• 可视化展示高频词

第三步：绘制词云

• 根据词频生成词云
• 可选项-添加背景图片，根据背景图片轮廓生成词云

第四步：结合PaddleHub，对评论进行内容审核

 

1、需要的配置和准备

• 中文分词需要jieba
• 词云绘制需要wordcloud
• 可视化展示中需要的中文字体
• 网上公开资源中找一个中文停用词表
• 根据分词结果自己制作新增词表
• 准备一张词云背景图（附加项，不做要求，可用hub抠图实现）
• paddlehub配置

2、字体安装

#!wget https://mydueros.cdn.bcebos.com/font/simhei.ttf # 下载中文字体 

 1 坑

如果下载不下来，可以去第2天作业中下载该字体

!cp simhei.ttf /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf/

# #创建字体目录fonts

#!mkdir .fonts

# # 复制字体文件到该路径

!cp simhei.ttf .fonts/

以上字体拷贝也要做，否则如下图

 3、模型安装

#安装模型

#!hub install porn_detection_lstm==1.1.0

#!pip install --upgrade paddlehub

不安装，内容分析时会报错。

#!pip install wordcloud  #云词库安装 不安装云词库运行时报错

 

4、准备爬评论

2坑

 &callback=jsonp_15xxxxxxxxxxxxxxxxxxx这个要去掉，否则返回的数据不是标准json，分析时出错。

5、可以正确完成作业的代码展示

5.1 引入所需要库

 

#请求爱奇艺评论接口，返回response信息
def getMovieinfo(url):'''请求爱奇艺评论接口，返回response信息参数  url: 评论的url:return: response信息'''session=requests.Session()headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36','Accept':'Application/json',}#url='https://sns-comment.iqiyi.com/v3/comment/get_comments.action?agent_type=118&agent_version=9.11.5&authcookie=null&business_type=17&content_id=15068699100&hot_size=0&last_id=240883095621&page=&page_size=20&types=time&callback=jsonp_1587991085438_40156'                         try:#response = requests.get(url,headers=headers)response=session.get(url,headers=headers)#print(response.status_code)if response.status_code==200:return response.textexcept Exception as e:print(e)return Nonereturn None#解析json数据，获取评论
def saveMovieInfoToFile(lastId,txtlst):'''解析json数据，获取评论参数  lastId:最后一条评论ID  arr:存放文本的list:return: 新的lastId'''url='https://sns-comment.iqiyi.com/v3/comment/get_comments.action?agent_type=118&agent_version=9.11.5&authcookie=null&business_type=17&content_id=15068699100&hot_size=0&last_id='url=url+str(lastId)responseTxt=getMovieinfo(url)#pdb.set_trace()responseJson=json.loads(responseTxt)comments=responseJson['data']['comments']for var  in comments:if 'content' in var.keys():#print(var['content'])txtlst.append(var['content'])lastId=str(var['id'])return str(lastId)

#去除文本中特殊字符
def clear_special_char(content):'''正则处理特殊字符参数 content:原文本return: 清除后的文本'''#正则表达式过滤非中英文和数字的字符串s=re.sub(r'</?(.+?)>|&nbsp;|\t\r',"",content)s=re.sub('[^\u4e00-\u9fa5^a-z^A-Z^0-9]', '', content)s=re.sub(r'\n',' ',s)s=re.sub(r'\*','\\*',s)s=re.sub('a-zA-Z','',s)#s=re.sub('^\d+(\.\d+)?$','',s)s = re.sub('^\d+(\.\d+)?$', '', s)  # 去掉纯数字#去掉控制字符s = re.sub('[\001\002\003\004\005\006\007\x08\x09\x0a\x0b\x0c\x0d\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a]+', '', s)  # 去除不可见字符 noqareturn s

 

def fenci(text):'''利用jieba进行分词参数 text:需要分词的句子或文本return：分词结果'''jieba.load_userdict('self_words.txt') #自定义分词seg=jieba.lcut(text,cut_all=False)return seg
def stopwordslist(file_path):'''创建停用词表参数 file_path:停用词文本路径return：停用词list'''stopwords=[line.strip() for line in open(file_path,encoding='utf-8').readline()]return stopwordsdef movestopwords(sentence,stopwords,counts):'''去除停用词,统计词频参数 file_path:停用词文本路径 stopwords:停用词list counts: 词频统计结果return：None'''out=[]for word in sentence:if word not in stopwords:if len(word)!=1:counts[word]=counts.get(word,0)+1return Nonedef drawcounts(counts,num):'''绘制词频统计表参数 counts: 词频统计结果 num:绘制topNreturn：none'''x_aixs=[]y_axis=[]c_order=sorted(counts.items(),key=lambda x:x[1],reverse=True)for c in c_order[:num]:x_aixs.append(c[0])y_axis.append(c[1])#设置中文显示#matplotlib.rcParams['font.sans-serif']=['SimHei'] #默认字体#matplotlib.rcParams['font.sans-serif'] = ['SimHei']  # 设置字体为SimHei显示中文plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置字体为SimHei显示中文plt.rcParams['axes.unicode_minus']=False # 解决图像是负号‘-’显示为方块的问题plt.figure(figsize=(20, 15))plt.bar(range(len(y_axis)),y_axis,color='r',tick_label=x_aixs,facecolor='#9999ff',edgecolor='white')# 这里是调节横坐标的倾斜度，rotation是度数，以及设置刻度字体大小plt.xticks(rotation=45, fontsize=20)plt.yticks(fontsize=20)plt.legend()#plt.bar(x_aixs,y_axis)plt.title('词频统计结果表')plt.savefig('high_words_pic.jpg')plt.show()#return Nonedef drawcloud(word_f):'''根据词频绘制词云图参数 word_f:统计出的词频结果return：none'''# 加载背景图片cloud_mask = np.array(Image.open('/home/aistudio/cloudBg.png'))# 忽略显示的词st = {'不是', '还是', '什么', '那么', '怎么', '就是', '没有'}font = r'/home/aistudio/.fonts/simhei.ttf'#pdb.set_trace();# 生成wordcloud对象wc = WordCloud(font_path=font,background_color='white',margin=5,mask=cloud_mask,max_words=200,min_font_size=10,max_font_size=100,width=800,height=600,relative_scaling=0.3,random_state=20,stopwords=st)wc.fit_words(word_f)  # 这种方式也可以#wc.generate_from_frequencies(word_f)# 显示生成的词云plt.imshow(wc)plt.axis("off")plt.show()wc.to_file('pic.png')def text_detection(text,file_path):'''使用hub对评论进行内容分析text:返回列表 file_path:评论文件路径return：分析结果'''porn_detection_lstm=hub.Module('porn_detection_lstm')with open(file_path,'r',encoding='utf-8') as f:for Line in f:if len(Line.strip())==1:continueelse:text.append(Line)f.close()input_dict={"text":text}result=porn_detection_lstm.detection(data=input_dict,use_gpu=False,batch_size=1)#print(result)for index,item in enumerate(result):if item['porn_detection_key']=='porn':print(item['text'],item['porn_probs'])return result#评论是多分页的，得多次请求爱奇艺的评论接口才能获取多页评论,有些评论含有表情、特殊字符之类的
#num 是页数，一页10条评论，假如爬取1000条评论，设置num=100  主程序
if __name__ == "__main__":txlst=[] #评论内容列表num=111lastId='0' # 接口最后一个人员idwith open('aqytl.txt','a',encoding='utf-8') as f: #追加方式打开文件for i in range(num):saveMovieInfoToFile(lastId,txlst)time.sleep(0.5) #sleep 0.5sfor item in txlst:item=clear_special_char(item)if item.strip()!='':try:f.write(item+'\n')except Exception as e:print('评论内容有特殊字符未清理')print('共爬取评论：'+str(len(txlst)))with open('aqytl.txt','r',encoding='utf-8') as fn:counts={}for Line in fn:words=fenci(Line)stopwords=stopwordslist('cn_stopwords.txt')movestopwords(words,stopwords,counts)drawcounts(counts,10) #top 10 高频词drawcloud(counts)fn.close()'''user hub 内容分析'''file_path='aqytl.txt'test_text=[]text_detection(test_text,file_path)display(Image.open('high_words_pic.jpg')) #显示生成的高频柱状图像display(Image.open('pic.png')) #显示生成的词云图像

6 最后的输出结果 

6.1 柱状图 

 

6.2 云词图 

总结： 

匆匆忙忙，学了很多，但还不牢固，需要再多练习，才能由Python小白升级。欢迎大家交流学习。

本次学习所得主要来自百度AI学习，谢谢各位老师及班班，还有同学的帮助！

https://aistudio.baidu.com/

这篇关于人工智能老师教AI，AI审核人工智能领域 横批：百度飞桨的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---