Python爬虫首秀:尝试爬取热播英美剧剧名及评分

2024-02-11 04:08

本文主要是介绍Python爬虫首秀:尝试爬取热播英美剧剧名及评分,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

    第一次尝试,踩了很多坑,面向百度编程实战~

在寻找具体的URL上,翻来覆去的研究的半天,毕竟,模拟浏览器发送请求,最为重要的就是保证请求的URL一定要是对的,稍有不慎便会失之毫厘谬以千里(有点夸张、夸夸其谈、夸……)
最初直接写了N行命令,各种尝试,如愿以偿后便想着对代码进行完善一下,然而对于小白而言,面向对象的写法,仍旧只是个说法,还未能落地。
废话不多说,附上代码,供大佬们批评指点~

# -*- coding: UTF-8 -*-# 导入第三方库
import requests
import jsonpath
import json# 定义方法,发送请求,返回响应数据
def __getRequests__():# 确定urlurl = 'https://m.douban.com/rexxar/api/v2/subject_collection/tv_american/items?'# 实现对应页码进行爬取pn = int(input('请输入查询页码:'))# 定义url对应的参数params = {"for_mobile": pn,"start": (pn - 1) * 18,"count": pn * 18,}# 定义请求头headers = {'Referer': 'https://m.douban.com/tv/american','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4128.3 Safari/537.36',}# 发送请求、获取响应response = requests.get(url, headers=headers, params=params).content.decode()# 把json响应转为字典dict_data = json.loads(response)return dict_data# 定义main方法,对响应数据进行处理并打印
def main():result = __getRequests__()# 将剧名存入列表Movie_name = jsonpath.jsonpath(result, '$..title')# 将剧名对应的评分存入列表Movie_value = jsonpath.jsonpath(result, '$..value')print('豆瓣最近热播的英美剧:')i = 0try:while True:print(f'剧名:{Movie_name[i]}|🌹❀🌹❀🌹|评分:{Movie_value[i]}')i += 1except:if i == 18:print('未完待续')else:print('读取结束,后续更新')if __name__ == '__main__':main()

人生苦短,学有所择,学有所需,学有所得~
进步不怕晚,不怕慢,远胜于止步不前。

下期再见~

这篇关于Python爬虫首秀:尝试爬取热播英美剧剧名及评分的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/698791

相关文章

Python脚本实现自动删除C盘临时文件夹

《Python脚本实现自动删除C盘临时文件夹》在日常使用电脑的过程中,临时文件夹往往会积累大量的无用数据,占用宝贵的磁盘空间,下面我们就来看看Python如何通过脚本实现自动删除C盘临时文件夹吧... 目录一、准备工作二、python脚本编写三、脚本解析四、运行脚本五、案例演示六、注意事项七、总结在日常使用

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

python管理工具之conda安装部署及使用详解

《python管理工具之conda安装部署及使用详解》这篇文章详细介绍了如何安装和使用conda来管理Python环境,它涵盖了从安装部署、镜像源配置到具体的conda使用方法,包括创建、激活、安装包... 目录pytpshheraerUhon管理工具:conda部署+使用一、安装部署1、 下载2、 安装3

Python进阶之Excel基本操作介绍

《Python进阶之Excel基本操作介绍》在现实中,很多工作都需要与数据打交道,Excel作为常用的数据处理工具,一直备受人们的青睐,本文主要为大家介绍了一些Python中Excel的基本操作,希望... 目录概述写入使用 xlwt使用 XlsxWriter读取修改概述在现实中,很多工作都需要与数据打交

使用Python实现在Word中添加或删除超链接

《使用Python实现在Word中添加或删除超链接》在Word文档中,超链接是一种将文本或图像连接到其他文档、网页或同一文档中不同部分的功能,本文将为大家介绍一下Python如何实现在Word中添加或... 在Word文档中,超链接是一种将文本或图像连接到其他文档、网页或同一文档中不同部分的功能。通过添加超

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

利用Python编写一个简单的聊天机器人

《利用Python编写一个简单的聊天机器人》这篇文章主要为大家详细介绍了如何利用Python编写一个简单的聊天机器人,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 使用 python 编写一个简单的聊天机器人可以从最基础的逻辑开始,然后逐步加入更复杂的功能。这里我们将先实现一个简单的

基于Python开发电脑定时关机工具

《基于Python开发电脑定时关机工具》这篇文章主要为大家详细介绍了如何基于Python开发一个电脑定时关机工具,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 简介2. 运行效果3. 相关源码1. 简介这个程序就像一个“忠实的管家”,帮你按时关掉电脑,而且全程不需要你多做

Python实现高效地读写大型文件

《Python实现高效地读写大型文件》Python如何读写的是大型文件,有没有什么方法来提高效率呢,这篇文章就来和大家聊聊如何在Python中高效地读写大型文件,需要的可以了解下... 目录一、逐行读取大型文件二、分块读取大型文件三、使用 mmap 模块进行内存映射文件操作(适用于大文件)四、使用 pand

python实现pdf转word和excel的示例代码

《python实现pdf转word和excel的示例代码》本文主要介绍了python实现pdf转word和excel的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价... 目录一、引言二、python编程1,PDF转Word2,PDF转Excel三、前端页面效果展示总结一