Python | 50行代码爬取猫眼 top100

本文主要是介绍Python | 50行代码爬取猫眼 top100，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

微信公众号：一个优秀的废人
如有问题或建议，请后台留言，我会尽力解决你的问题。

霸王别姬

前言

好久不见，已经有一个月没更新了。主要是因为最近工作特别忙，上班要撸 java，撸完 java，又要撸前端。真的是忙到 x 生活都没时间（说的好像不忙就有一样），手动滑稽。话不多说了，因为工作的原因，所以我的 Python 学的特别慢，学了许久，终于接触到爬虫了。那今天给你们带来的就是一个简单的静态网页的爬取：requests + 正则爬取猫眼 top100

环境

wi10 + python3.6

思路

这个简单的爬虫有两个主要的思路。
1、打开猫眼 top100 网址：http://maoyan.com/board/4，确定要爬取得内容。
那这里打开猫眼 top100 之后是这样的：
猫眼Top100首页.png
上图，我以霸王别姬为例讲解，我们要爬取的目标内容有电影排名，电影海报链接，电影名称，主演，上映时间以及评分等 6 个主要内容。

2、审查元素，思考如何使用正则匹配你需要的内容

同样以霸王别姬为例审查元素：

可以看到上图，分别标出了我们要爬取得内容。其中每一个电影使用了一个

标签包裹，我们要爬取的内容就在这个标签下，如，排名被包裹在标签里面，海报链接被包裹在标签内，电影名称被包裹在篇 p 标签下的 a 标签内，主演、上映时间以及评分都被包裹在 p 标签内，其中评分被分开成两个 a 标签装载。

代码

获取 html

如何用代码打开指定的网页并获取其 html 代码？
这里用到了 Python 的网络请求库 requests。还没安装的打开你的 cmd 窗口，执行命令：pip install requests（仅限 windows 平台）之后会收到安装成功的提示。那安装完之后就可以开始写代码了。网络请求代码如下：

import requests
from requests.exceptions import RequestExceptiondef get_one_page(url):# headers, 伪装成浏览器headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ''AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/68.0.3440.106 Safari/537.36'}try:response = requests.get(url, headers=headers)if response.status_code == 200:return response.textreturn Noneexcept RequestException:return Nonedef main():url = "http://maoyan.com/board/4"html = get_one_page(url)print(html)if __name__ == '__main__':main()

这段代码也没啥好讲的，首先就是导入 requests 库，使用它的 get 方法传入 url 和 header（特别重要）返回的是字符串类型的 html 代码以及请求状态码。判断返回的状态码是否等于 200 ，等于 200 则返回 text 即网页html代码。返回的代码和我们审查元素时看到的是一样的（仅限此网页），这里不多赘述。

解析 html

def parse_one_page(html):# 正则匹配规则pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>'+ '.*?data-src="(.*?)"'+ '.*?name"><a.*?>(.*?)</a>'+ '.*?star">(.*?)</p>'+ '.*?releasetime">(.*?)</p>'+ '.*?integer">(.*?)</i>'+ '.*?fraction">(.*?)</i>.*?</dd>', re.S)# 列表形式返回匹配项items = re.findall(pattern, html)print(items)

上述代码出现了很多 .*？这个符号的意思就是贪婪模式，原则是匹配尽可能多的字符，如果看不明白上面那个正则匹配的话，建议去菜鸟教程学习一下正则表达式。
运行上述代码解析出来的 html 就是这样的：列表形式返回匹配项

[
('1', 'http://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c', '霸王别姬', '\n                主演：张国荣,张丰毅,巩俐\n        ', '上映时间：1993-01-01(中国香港)', '9.', '6'),
('2', 'http://p0.meituan.net/movie/54617769d96807e4d81804284ffe2a27239007.jpg@160w_220h_1e_1c', '罗马假日', '\n                主演：格利高里·派克,奥黛丽·赫本,埃迪·艾伯特\n        ', '上映时间：1953-09-02(美国)', '9.', '1'), 
('3', 'http://p0.meituan.net/movie/283292171619cdfd5b240c8fd093f1eb255670.jpg@160w_220h_1e_1c', '肖申克的救赎', '\n                主演：蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿\n        ', '上映时间：1994-10-14(美国)', '9.', '5'), 
('4', 'http://p0.meituan.net/movie/e55ec5d18ccc83ba7db68caae54f165f95924.jpg@160w_220h_1e_1c', '这个杀手不太冷', '\n                主演：让·雷诺,加里·奥德曼,娜塔莉·波特曼\n        ', '上映时间：1994-09-14(法国)', '9.', '5'), 
('5', 'http://p1.meituan.net/movie/f5a924f362f050881f2b8f82e852747c118515.jpg@160w_220h_1e_1c', '教父', '\n                主演：马龙·白兰度,阿尔·帕西诺,詹姆斯·肯恩\n        ', '上映时间：1972-03-24(美国)', '9.', '3'),
('6', 'http://p1.meituan.net/movie/0699ac97c82cf01638aa5023562d6134351277.jpg@160w_220h_1e_1c', '泰坦尼克号', '\n                主演：莱昂纳多·迪卡普里奥,凯特·温丝莱特,比利·赞恩\n        ', '上映时间：1998-04-03', '9.', '5'), 
('7', 'http://p0.meituan.net/movie/b03e9c52c585635d2cb6a3f7c08a8a50112441.jpg@160w_220h_1e_1c', '龙猫', '\n                主演：日高法子,坂本千夏,糸井重里\n        ', '上映时间：1988-04-16(日本)', '9.', '2'), 
('8', 'http://p0.meituan.net/movie/da64660f82b98cdc1b8a3804e69609e041108.jpg@160w_220h_1e_1c', '唐伯虎点秋香', '\n                主演：周星驰,巩俐,郑佩佩\n        ', '上映时间：1993-07-01(中国香港)', '9.', '2'), 
('9', 'http://p0.meituan.net/movie/b076ce63e9860ecf1ee9839badee5228329384.jpg@160w_220h_1e_1c', '千与千寻', '\n                主演：柊瑠美,入野自由,夏木真理\n        ', '上映时间：2001-07-20(日本)', '9.', '3'), 
('10', 'http://p0.meituan.net/movie/46c29a8b8d8424bdda7715e6fd779c66235684.jpg@160w_220h_1e_1c', '魂断蓝桥', '\n                主演：费雯·丽,罗伯特·泰勒,露塞尔·沃特森\n        ', '上映时间：1940-05-17(美国)', '9.', '2')
]

格式化匹配项

def parse_one_page(html):pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>'+ '.*?data-src="(.*?)"'+ '.*?name"><a.*?>(.*?)</a>'+ '.*?star">(.*?)</p>'+ '.*?releasetime">(.*?)</p>'+ '.*?integer">(.*?)</i>'+ '.*?fraction">(.*?)</i>.*?</dd>', re.S)items = re.findall(pattern, html)for item in items:yield {'排名': item[0],'海报': item[1],'电影': item[2],'主演': item[3].strip()[3:],# 删除前面三个字符'时间': item[4].strip()[5:],# 删除前面五个字符'评分': item[5]+item[6]}

如上 yield 的作用就是生成一个迭代器。

写入文件

def write_to_file(content):with open('top100.txt', 'a', encoding='utf-8') as f:f.write(json.dumps(content, ensure_ascii=False) + '\n')f.flush()f.close()

这里用到了 json 库。首先就是指定文件（默认存储在当前路径），之后就是开启一个文件流并指定编码格式，把 content 写入文件中。

实现翻页

上述代码只是爬取首页的 10 部电影而已，要爬取剩下的 90 部电影，我们需要在浏览器点击下页时，观察地址栏的变化。
这里的话，点击下页其实就是一个 offset 的改变。原来是地址是：http://maoyan.com/board/4
点击第二页是：
http://maoyan.com/board/4?offset=1
后面页数以此类推。
思考后可得出下面代码：

def main(offset):url = "http://maoyan.com/board/4?offset=" + str(offset)html = get_one_page(url)for item in parse_one_page(html):print(item)write_to_file(item)if __name__ == '__main__':for i in range(10):main(i*10)

这时爬取得就是猫眼 TOP100 的电影，并保存在 top100.txt 文件中：

至此，requests + 正则爬取猫眼电影 Top100 项目已完成。一个用了 50 行代码左右。完整代码如下：

import json
import requests
from requests.exceptions import RequestException
import redef get_one_page(url):# headers, 伪装成浏览器headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ''AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/68.0.3440.106 Safari/537.36'}try:response = requests.get(url, headers=headers)if response.status_code == 200:return response.textreturn Noneexcept RequestException:return Nonedef parse_one_page(html):pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>'+ '.*?data-src="(.*?)"'+ '.*?name"><a.*?>(.*?)</a>'+ '.*?star">(.*?)</p>'+ '.*?releasetime">(.*?)</p>'+ '.*?integer">(.*?)</i>'+ '.*?fraction">(.*?)</i>.*?</dd>', re.S)items = re.findall(pattern, html)for item in items:yield {'排名': item[0],'海报': item[1],'电影': item[2],'主演': item[3].strip()[3:],# 删除前面三个字符'时间': item[4].strip()[5:],# 删除前面五个字符'评分': item[5]+item[6]}def write_to_file(content):with open('top100.txt', 'a', encoding='utf-8') as f:f.write(json.dumps(content, ensure_ascii=False) + '\n')f.flush()f.close()def main(offset):url = "http://maoyan.com/board/4?offset=" + str(offset)html = get_one_page(url)for item in parse_one_page(html):print(item)write_to_file(item)if __name__ == '__main__':for i in range(10):main(i*10)

当然，这只是爬取静态网页而已，代码非常的简单，但是也建议初学者自己动手实践一下，虽然很简单，但千万不能有所见即所得的想法。刚开始我也觉得很简单。但是有时你可能会遇到意想不到的坑，比如我在写这篇代码时，就忽略了 yield 的用法，踩了一个很大的坑，用了我一小时才填完。但是也没关系，所谓大神也是踩坑–填坑
不断循环这个过程锻炼而来的。

最后，如果对 Python 、Java 感兴趣请长按二维码关注一波，我会努力带给你们价值，赞赏就不必了，能力没到，受之有愧。我会告诉你关注之后回复爬虫可以领取一份最新的爬虫教学视频吗？