python爬虫实例—猫眼TOP100榜

2023-12-27 17:18

本文主要是介绍python爬虫实例—猫眼TOP100榜,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

1. 实验内容

2. 脚本代码

3.实验结果

4.参考资料


1. 实验内容

Requests+正则表达式抓取猫眼电影TOP100榜单
URL:https://maoyan.com/board/4
一页有10个推荐电影,https://maoyan.com/board/4?offset=10(第二页)
使用技术:
1.匿名代理
2.python的requests请求包
3.re,正则表达式
4.结果保存json格式
5.使用无线程、多线程、线程池执行爬取任务

2. 脚本代码

# -*- coding: utf-8 -*-
# @Time    : 2020/11/17 10:29
# @Author  : jpgong
# @FileName: maoyan_spider.py
# @Blog    :'''Requests+正则表达式抓取猫眼电影TOP100榜单URL:https://maoyan.com/board/4一页有10个推荐电影,https://maoyan.com/board/4?offset=10(第二页)使用技术:1.匿名代理2.python的requests请求包3.re,正则表达式4.结果保存json格式5.使用无线程、多线程、线程池执行爬取任务
'''
import codecs
import datetime
import json
import time
import requests
from requests.exceptions import RequestException
import re
from requests.packages.urllib3.exceptions import InsecureRequestWarning
from colorama import Foredef get_one_page(url):'''爬取页面内容:param url::return: HTML文本内容'''try:headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'}proxy = '127.0.0.1:7890'proxies = {'http': 'http://' + proxy,'https': 'https://' + proxy}'''r.text 返回headers中的编码解析的结果,可以通过r.encoding = 'gbk'来变更解码方式r.content返回二进制结果r.json()返回JSON格式,可能抛出异常r.status_code'''# 禁用安全请求警告requests.packages.urllib3.disable_warnings(InsecureRequestWarning)response = requests.get(url, proxies=proxies, headers=headers, verify=False)# print(response.text)if response.status_code == 200:return response.textreturn Noneexcept RequestException:return Nonedef parse_one_page(html):'''解析response响应内容通过正则表达式对html解析获取电影名称、时间、评分、图片等信息。:param html::return:'''pattern = re.compile('<dd>'    #  (.*)代表匹配除换行符之外的所有字符;(.*?)代表非贪婪模式,也就是说只匹配符合条件的最少字符+ '.*?<i class="board-index.*?">(\d+)</i>'  # 获取电影的排名<i class="board-index board-index-1">1</i>+ '.*?<img data-src="(.*?)" alt="(.*?)"'  # 获取图片网址和图片名称<img data-src="xxxxx" alt="我和我的祖国"+ '.*?<p class="star">(.*?)</p>'  # 获取电影的主演: <p class="star">主演:黄渤,张译,韩昊霖</p>+ '.*?<p class="releasetime">(.*?)</p>'  # 获取电影的上映时间: <p class="releasetime">上映时间:2019-09-30</p>+ '.*?<i class="integer">(.*?)</i>'+ '*?<i class="fraction">(.*?)</i>'   # 评分,整数部分和分数部分'.*?</dd>',re.S)# pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'#                      + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'#                      + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)# findall返回列表, finditer返回的是迭代器# print(html)items = re.finditer(pattern, html)for item in items:yield {'index': item.groups()[0],  # 索引'image': item.groups()[1],  # 图片链接'title': item.groups()[2],  # 影片名称'star': item.groups()[3].strip().lstrip('主演:'),'time': item.groups()[4].lstrip('上映时间:'),'score': item.groups()[5] + item.groups()[6]}# yield {#     'index': item[0],#     'image': item[1],#     'title': item[2],#     'actor': item[3].strip()[3:],#     'time': item[4].strip()[5:],#     'score': item[5] + item[6]# }def save_to_json(data, filename):'''将爬取的数据信息写入json文件中r, r+, w, w+, a, a+解决的问题:1. python数据类型如何存储到文件中? json将python数据类型序列化为json字符串2. json中中文不能存储如何解决?     ensure_ascii=False3. 存储到文件中的数据不是utf-8格式的,怎么解决?   ''.encode('utf-8'):param item::return:'''# with open(filename, 'ab')  as f:#     f.write(json.dumps(data, ensure_ascii=False,indent=4).encode('utf-8'))#     print(Fore.GREEN + '[+] 保存电影 %s 的信息成功' %(data['title']))with codecs.open(filename, 'a', 'utf-8') as f:# f.write(json.dumps(data, ensure_ascii=False) + '\n')f.write(json.dumps(data, ensure_ascii=False, indent=4))print(Fore.RED + '[+] 保存电影 %s 的信息成功' % (data['title']))def spider(page):'''抓取猫眼TOP100榜单的某一个:param offset::return:'''url = 'https://maoyan.com/board/4?offset=' + str((page-1)*10)html = get_one_page(url)       # 通过request请求获取爬取的HTML页面# print(html)items = parse_one_page(html)  # 对HTML页面进行解析,并输出for item in items:# print(item)save_to_json(item, 'maoyan.json')   # 将输出结果保存为json格式文件def no_use_thread():start = time.time()for i in range(1, 11):spider(page=i)print(Fore.GREEN + '[+] 采集第[%s]页数据' % (i))# 反爬虫策略: 方式爬虫速度太快被限速, 在采集数据的过程中,休眠一段时间time.sleep(1)    # 推迟调用线程的运行,可通过参数secs指秒数,表示进程挂起的时间。end = time.time()print('采集结束,no_use_thread()函数爬取时间',end-start)def use_multi_thread():start = time.time()# 使用多线程实现的代码from threading import Threadfor i in range(1, 11):thread = Thread(target=get_one_page, args=(i,))  # 给每一页分配一个线程thread.start()print(Fore.GREEN + '[+] 采集第[%s]页数据' % (i))end = time.time()print('采集结束,use_multi_thread()函数爬取时间', end - start)def use_thread_pool():start = time.time()from concurrent.futures import ThreadPoolExecutor# 实例化线程池并指定线程池线程个数pool = ThreadPoolExecutor(100)pool.map(spider, range(1, 11))end = time.time()print("采集结束,use_thread_pool()函数爬取时间",end - start)'''查询TOP100榜单
'''
if __name__ == '__main__':no_use_thread()# use_multi_thread()# use_thread_pool()

3.实验结果

比较无线程、多线程、线程池三种方式实现爬虫的性能对比

4.参考资料

python requests用法总结:https://www.cnblogs.com/lilinwei340/p/6417689.html

爬虫使用代理出现的问题:https://blog.csdn.net/qq_19294857/article/details/99653889

python爬虫—–网络数据分析:https://www.codenong.com/cs105647570/

国内高匿代理:https://www.kuaidaili.com/free/inha/

解决Python3 控制台输出InsecureRequestWarning的问题:https://www.cnblogs.com/helloworldcc/p/11107920.html

 

这篇关于python爬虫实例—猫眼TOP100榜的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/543845

相关文章

Python实现终端清屏的几种方式详解

《Python实现终端清屏的几种方式详解》在使用Python进行终端交互式编程时,我们经常需要清空当前终端屏幕的内容,本文为大家整理了几种常见的实现方法,有需要的小伙伴可以参考下... 目录方法一:使用 `os` 模块调用系统命令方法二:使用 `subprocess` 模块执行命令方法三:打印多个换行符模拟

Python实现MQTT通信的示例代码

《Python实现MQTT通信的示例代码》本文主要介绍了Python实现MQTT通信的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 安装paho-mqtt库‌2. 搭建MQTT代理服务器(Broker)‌‌3. pytho

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计(扩展版本)二、核心算法深入解析2.1 自

从入门到进阶讲解Python自动化Playwright实战指南

《从入门到进阶讲解Python自动化Playwright实战指南》Playwright是针对Python语言的纯自动化工具,它可以通过单个API自动执行Chromium,Firefox和WebKit... 目录Playwright 简介核心优势安装步骤观点与案例结合Playwright 核心功能从零开始学习

Python 字典 (Dictionary)使用详解

《Python字典(Dictionary)使用详解》字典是python中最重要,最常用的数据结构之一,它提供了高效的键值对存储和查找能力,:本文主要介绍Python字典(Dictionary)... 目录字典1.基本特性2.创建字典3.访问元素4.修改字典5.删除元素6.字典遍历7.字典的高级特性默认字典

Python自动化批量重命名与整理文件系统

《Python自动化批量重命名与整理文件系统》这篇文章主要为大家详细介绍了如何使用Python实现一个强大的文件批量重命名与整理工具,帮助开发者自动化这一繁琐过程,有需要的小伙伴可以了解下... 目录简介环境准备项目功能概述代码详细解析1. 导入必要的库2. 配置参数设置3. 创建日志系统4. 安全文件名处

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

JSONArray在Java中的应用操作实例

《JSONArray在Java中的应用操作实例》JSONArray是org.json库用于处理JSON数组的类,可将Java对象(Map/List)转换为JSON格式,提供增删改查等操作,适用于前后端... 目录1. jsONArray定义与功能1.1 JSONArray概念阐释1.1.1 什么是JSONA

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定