Python自定义豆瓣电影种类，排行，点评的爬取与存储（初级）

2024-05-06 04:32
文章标签 python 自定义 初级 存储 种类 电影 排行 点评 豆瓣

本文主要是介绍Python自定义豆瓣电影种类，排行，点评的爬取与存储（初级），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Python 2.7 
IDE Pycharm 5.0.3 
Firefox 47.0.1

具体Selenium和PhantomJS配置及使用请看调用PhantomJS.exe自动续借图书馆书籍

网上一溜豆瓣TOP250---有意思么？

起因

就是想写个豆瓣电影的爬取，给我电影荒的同学。。。。当然自己也练手啦

目的

1.根据用户输入，列出豆瓣高分TOP(用户自定义)的电影，链接，及热评若干。 
2.制作不需要Python环境可运行的exe，但由于bug未修复，需要火狐浏览器支持

方案

使用PhantomJS+Selenium+Firefox实现

实现过程

1.get到首页后，根据选择，点击种类，然后根据输入需求，进行排序 
2.抓取每个电影及超链接，进入超链接后，抓取当前电影的热评及长评 
3.当用户所要求TOP数目大于第一页的20个时候，点击加载更多，再出现20个电影，重复2操作。

以豆瓣高分，然后按评分排序的点击过程（其余操作一致，先种类后排序选择，再爬）

这里写图片描述

实现代码

# -*- coding: utf-8 -*-
#Author:哈士奇说喵
#爬豆瓣高分电影及hot影评from selenium import webdriver
import selenium.webdriver.support.ui as ui
import timeprint "---------------system loading...please wait...---------------"
SUMRESOURCES = 0 #全局变量
driver_detail = webdriver.PhantomJS(executable_path="phantomjs.exe")
#driver_item=webdriver.PhantomJS(executable_path="phantomjs.exe")
driver_item=webdriver.Firefox()
url="https://movie.douban.com/"
#等待页面加载方法
wait = ui.WebDriverWait(driver_item,15)
wait1 = ui.WebDriverWait(driver_detail,15)#获取URL和文章标题def getURL_Title():global SUMRESOURCES##############################################################################
#需要键入想要获取的信息，比如种类，排序方式，想看多少内容
##############################################################################print "please select:"kind=input("1-Hot\n2-Newest\n3-Classics\n4-Playable\n5-High Scores\n6-Wonderful but not popular\n7-Chinese film\n8-Hollywood\n9-Korea\n10-Japan\n11-Action movies\n12-Comedy\n13-Love story\n14-Science fiction\n15-Thriller\n16-Horror film\n17-Cartoon\nplease select:")print "--------------------------------------------------------------------------"sort=input("1-Sort by hot\n2-Sort by time\n3-Sort by score\nplease select:")print "--------------------------------------------------------------------------"number = input("TOP ?:")print "--------------------------------------------------------------------------"ask_long=input("don't need long-comments,enter 0,i like long-comments enter 1:")print "--------------------------------------------------------------------------"global save_namesave_name=raw_input("save_name (xx.txt):")print "---------------------crawling...---------------------"driver_item.get(url)##############################################################################
#进行网页get后，先进行电影种类选择的模拟点击操作，然后再是排序方式的选择
#最后等待一会，元素都加载完了，才能开始爬电影，不然元素隐藏起来，不能被获取
#wait.until是等待元素加载完成！
##############################################################################wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='fliter-wp']/div/form/div/div/label[%s]"%kind))driver_item.find_element_by_xpath("//div[@class='fliter-wp']/div/form/div/div/label[%s]"%kind).click()wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='fliter-wp']/div/form/div[3]/div/label[%s]"%sort))driver_item.find_element_by_xpath("//div[@class='fliter-wp']/div/form/div[3]/div/label[%s]"%sort).click()num=number+1#比如输入想看的TOP22，那需要+1在进行操作，细节问题time.sleep(2)#打开几次“加载更多”num_time = num/20+1wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='list-wp']/a[@class='more']"))for times in range(1,num_time):time.sleep(1)driver_item.find_element_by_xpath("//div[@class='list-wp']/a[@class='more']").click()time.sleep(1)wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='list']/a[%d]"%num))#print '点击\'加载更多\'一次'#使用wait.until使元素全部加载好能定位之后再操作，相当于try/except再套个while把for i in range(1,num):wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='list']/a[%d]"%num))list_title=driver_item.find_element_by_xpath("//div[@class='list']/a[%d]"%i)print '----------------------------------------------'+'NO' + str(SUMRESOURCES +1)+'----------------------------------------------'print u'电影名: ' + list_title.textprint u'链接: ' + list_title.get_attribute('href')#print unicode码自动转换为utf-8的#写入txt中部分1list_title_wr=list_title.text.encode('utf-8')#unicode码，需要重新编码再写入txtlist_title_url_wr=list_title.get_attribute('href')Write_txt('\n----------------------------------------------'+'NO' + str(SUMRESOURCES +1)+'----------------------------------------------','',save_name)Write_txt(list_title_wr,list_title_url_wr,save_name)SUMRESOURCES = SUMRESOURCES +1try:#获取具体内容和评论。href是每个超链接也就是资源单独的urlgetDetails(str(list_title.get_attribute('href')),ask_long)except:print 'can not get the details!'##############################################################################
#当选择一部电影后，进入这部电影的超链接，然后才能获取
#同时别忽视元素加载的问题
#在加载长评论的时候，注意模拟点击一次小三角，不然可能会使内容隐藏
##############################################################################
def getDetails(url,ask_long):driver_detail.get(url)wait1.until(lambda driver: driver.find_element_by_xpath("//div[@id='link-report']/span"))drama = driver_detail.find_element_by_xpath("//div[@id='link-report']/span")print u"剧情简介："+drama.textdrama_wr=drama.text.encode('utf-8')Write_txt(drama_wr,'',save_name)print "--------------------------------------------Hot comments TOP----------------------------------------------"for i in range(1,5):#四个短评try:comments_hot = driver_detail.find_element_by_xpath("//div[@id='hot-comments']/div[%s]/div/p"%i)print u"最新热评："+comments_hot.textcomments_hot_wr=comments_hot.text.encode('utf-8')Write_txt("--------------------------------------------Hot comments TOP%d----------------------------------------------"%i,'',save_name)Write_txt(comments_hot_wr,'',save_name)except:print 'can not caught the comments!'#加载长评if ask_long==1:try:driver_detail.find_element_by_xpath("//img[@class='bn-arrow']").click()#wait.until(lambda driver: driver.find_element_by_xpath("//div[@class='review-bd']/div[2]/div/div"))time.sleep(1)#解决加载长评会提示剧透问题导致无法加载comments_get = driver_detail.find_element_by_xpath("//div[@class='review-bd']/div[2]/div")if comments_get.text.encode('utf-8')=='提示: 这篇影评可能有剧透':comments_deep=driver_detail.find_element_by_xpath("//div[@class='review-bd']/div[2]/div[2]")else:comments_deep = comments_getprint "--------------------------------------------long-comments---------------------------------------------"print u"深度长评："+comments_deep.textcomments_deep_wr=comments_deep.text.encode('utf-8')Write_txt("--------------------------------------------long-comments---------------------------------------------\n",'',save_name)Write_txt(comments_deep_wr,'',save_name)except:print 'can not caught the deep_comments!'##############################################################################
#将print输出的写入txt中查看，也可以在cmd中查看，换行符是为了美观
##############################################################################
def Write_txt(text1='',text2='',title='douban.txt'):with open(title,"a") as f:for i in text1:f.write(i)f.write("\n")for j in text2:f.write(j)f.write("\n")def main():getURL_Title()driver_item.quit()main()

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • 135
  • 136
  • 137
  • 138
  • 139
  • 140
  • 141
  • 142
  • 143
  • 144
  • 145
  • 146
  • 147
  • 148
  • 149
  • 150
  • 151
  • 152
  • 153
  • 154
  • 155
  • 156
  • 157
  • 158
  • 159
  • 160
  • 161
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • 135
  • 136
  • 137
  • 138
  • 139
  • 140
  • 141
  • 142
  • 143
  • 144
  • 145
  • 146
  • 147
  • 148
  • 149
  • 150
  • 151
  • 152
  • 153
  • 154
  • 155
  • 156
  • 157
  • 158
  • 159
  • 160
  • 161

上面的代码是可以实现的，但需要Firefox的配合，因为我其中一个引擎调用了Firefox，另一个抓评论的用了PhantomJS。

实现效果

这里直接上传打包成exe后的形式，如何打包exe请看将python打包成exe

这里写图片描述

存入的txt文件 
这里写图片描述

因为打包成exe必须是中文的键入，所以没办法，我改成英文来着，不然会出现这种情况。。。 
这里写图片描述

输出内容是没有问题的。。。。。。

问题及解决方案

1.使用PhantomJS和Firefox出现不同效果的问题，第21个回到起点。 
1.解决方案，暂且我也没有找到，只有调用Firefox然后完事后再关闭，分析请见伪解决Selenium中调用PhantomJS无法模拟点击(click)操作 

2.在对unicode输出在txt出现的问题，但是在print可以直接中文输出的。 
2.解决方案：详见Python输出(print)内容写入txt中保存 

Pay Attention

这里和上篇 伪解决Selenium中调用PhantomJS无法模拟点击(click)操作 

这里解决的问题和昨天的Pay Attention是一样的，本来程序也是增强性补充而已，所以重复了。

1.元素无法定位问题 
1.解决方案，首先查看是不是隐藏元素，其次再看自己的规则有没有写错，还有就是是不是页面加载未完成，详见解决网页元素无法定位（NoSuchElementException: Unable to locate element）的几种方法 

2.只采集自己需要的数据，剔除无用数据，比如说，刚开始我用

driver_detail.find_elements_by_xpath
  • 1
  • 1

然后写个取出list中元素的方法，但是这样的话，一个便签下内容未必太多，并不是我想要的如图：

这里写图片描述

比如说，我只想要红色的部分，那么，采取elements就不太好处理。

2.解决方案，我采用的方法是格式化字符串！这个方法我在Selenium+PhantomJS自动续借图书馆书籍（下）也用过，根据元素的特性，可以发现，每个热评的正文标签不一样的，其余标签一样，只要格式化正文标签即可，像这样

for i in range(1,5):#取了前四条热评try:comments = driver_detail.find_element_by_xpath("//div[@id='hot-comments']/div[%s]/div/p"%i)print u"最新热评："+comments.textexcept:print 'can not caught comments!'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

3.一个引擎干有个事！我现在没办法，只有将第一个需要处理的页面用Firefox来处理，之后评论用PhantomJS来抓取，之后可以用quit来关闭浏览器，但是启动浏览器还是会耗费好多资源，而且挺慢，虽然PhantomJS也很慢，我12G内存都跑完了。。。。。。看样子是给我买8x2 16G双通道的借口啊。

4.备注不标准也会导致程序出错，这个是我没想到的，我一直以为在”’备注”’之间的都可以随便来，结果影响程序运行了，之后分模块测试才注意到这个问题，也是以前没有遇到过的，切记！需要规范自己代码，特别是像Python这样缩进是灵魂的语言。。。。

5.补充，长评论的抓取

这里写图片描述

这是点击之后的图，可以看到元素定位也是不一样的，注意

这里写图片描述

最后

今天在知乎上回答了个问题，能帮助和吸引一些人过来学这门让人上瘾的语言感觉很有成就感啊，哈哈哈 
希望能帮助更多的人，同时请不吝赐教！

PS

知乎关注我有毛用，还不如这里呢。感兴趣的可以下载exe文件，已打包上传资源 
这里写图片描述

致谢

@MrLevo520–伪解决Selenium中调用PhantomJS无法模拟点击(click)操作 
@MrLevo520–Python输出(print)内容写入txt中保存 
@MrLevo520–解决网页元素无法定位（NoSuchElementException: Unable to locate element）的几种方法 
@Eastmount–[Python爬虫] Selenium+Phantomjs动态获取CSDN下载资源信息和评论 
@Eastmount–[Python爬虫] 在Windows下安装PIP+Phantomjs+Selenium 
@MrLevo520–解决Selenium弹出新页面无法定位元素问题（Unable to locate element）

顶
1
踩

这篇关于Python自定义豆瓣电影种类，排行，点评的爬取与存储（初级）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/963431。

相关文章

不懂怎样摘草莓的电影我

不懂怎样摘草莓的电影我

拿起来后摘掉茎的电影 今天的拿起来后摘掉茎的电影，诶，我在某某自选商店，他们上了我的太阳飞机，那些小平房呢，不懂怎样摘草莓的电影我，我开着飞机，哪来的高楼大厦，我找了两个小时，是不是作弊了。 只好求助农民伯伯，都是很简单的，这是冀州市吗，快快充实交代梁锦宇笑着说，拿起来后摘掉茎，我说，咦，许多同学问梁锦宇，后来我才知道。 是东面还是西面，是团队的富民政策把平房变成了高楼大厦，找自己的住处，
阅读更多...
一些人熟练的电影在雪地里滑来滑去

一些人熟练的电影在雪地里滑来滑去

一进入滑雪场的电影 今天的一进入滑雪场的电影，根本就不会走路了，观察好了吗，一些人熟练的电影在雪地里滑来滑去，真好看，头脑体操，就只能象个大螃蟹一样，一进入滑雪场，指导教师。 恨不得一下子就像滑雪高手那样随心所欲的滑翔，在那块布料上比划来比划去，我读到了一本自己最喜欢的书，心里痒痒的，很想送一件特别的礼物给青蛙，王秀香参观半坡博物馆一天早上老师对我们说，精心的挑选了一块漂亮的布料，发自内心的
阅读更多...
我的电影好成绩都是通过努力得来的

我的电影好成绩都是通过努力得来的

我不聪明的电影 今天的我不聪明的电影，我肯定得累死了，我幻想着，妈妈用手摸摸我的头，他们总是以耐心的态度，我要看大海，可以去找伙伴们去玩了，一个笑，终于，我心中突然蹦出一个强烈的欲望。 我成功了，但是没有人来叫妈妈，又听到这个广告词，它让我真切地体会到了老舍先生写的不劳动连棵花也养不活的深刻含义，嗯还有那个张林海，另一个舒适的家，它就会很不高兴地大声汪汪叫，我还在那里唠叨，经过妈妈的一番指导
阅读更多...
Python 字符串占位

Python 字符串占位

在Python中，可以使用字符串的格式化方法来实现字符串的占位。常见的方法有百分号操作符 % 以及 str.format() 方法 百分号操作符 % name = "张三"age = 20message = "我叫%s，今年%d岁。" % (name, age)print(message) # 我叫张三，今年20岁。 str.format() 方法 name = "张三"age
阅读更多...
【服务器运维】MySQL数据存储至数据盘

【服务器运维】MySQL数据存储至数据盘

查看磁盘及分区 [root@MySQL tmp]# fdisk -lDisk /dev/sda: 21.5 GB, 21474836480 bytes255 heads, 63 sectors/track, 2610 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical)
阅读更多...
ROS话题通信流程自定义数据格式

ROS话题通信流程自定义数据格式

ROS话题通信流程自定义数据格式 需求流程实现步骤定义msg文件编辑配置文件编译 在 ROS 通信协议中，数据载体是一个较为重要组成部分，ROS 中通过 std_msgs 封装了一些原生的数据类型,比如:String、Int32、Int64、Char、Bool、Empty… 但是，这些数据一般只包含一个 data 字段，结构的单一意味着功能上的局限性，当传输一些复杂的数据，比如:
阅读更多...
一道经典Python程序样例带你飞速掌握Python的字典和列表

一道经典Python程序样例带你飞速掌握Python的字典和列表

Python中的列表（list）和字典（dict）是两种常用的数据结构，它们在数据组织和存储方面有很大的不同。 列表（List） 列表是Python中的一种有序集合，可以随时添加和删除其中的元素。列表中的元素可以是任何数据类型，包括数字、字符串、其他列表等。列表使用方括号[]表示，元素之间用逗号,分隔。 定义和使用 # 定义一个列表 fruits = ['apple', 'banana
阅读更多...
Python应用开发——30天学习Streamlit Python包进行APP的构建（9）

Python应用开发——30天学习Streamlit Python包进行APP的构建（9）

st.area_chart 显示区域图。 这是围绕 st.altair_chart 的语法糖。主要区别在于该命令使用数据自身的列和指数来计算图表的 Altair 规格。因此，在许多 "只需绘制此图 "的情况下，该命令更易于使用，但可定制性较差。 如果 st.area_chart 无法正确猜测数据规格，请尝试使用 st.altair_chart 指定所需的图表。 Function signa
阅读更多...
python实现最简单循环神经网络(RNNs)

python实现最简单循环神经网络(RNNs)

Recurrent Neural Networks（RNNs） 的模型： 上图中红色部分是输入向量。文本、单词、数据都是输入，在网络里都以向量的形式进行表示。 绿色部分是隐藏向量。是加工处理过程。 蓝色部分是输出向量。 python代码表示如下： rnn = RNN()y = rnn.step(x) # x为输入向量，y为输出向量 RNNs神经网络由神经元组成， python
阅读更多...
python 喷泉码

python 喷泉码

因为要完成毕业设计，毕业设计做的是数据分发与传输的东西。在网络中数据容易丢失，所以我用fountain code做所发送数据包的数据恢复。fountain code属于有限域编码的一部分，有很广泛的应用。 我们日常生活中使用的二维码，就用到foutain code做数据恢复。你遮住二维码的四分之一，用手机的相机也照样能识别。你遮住的四分之一就相当于丢失的数据包。 为了实现并理解foutain
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2