【python】爬取知乎热榜Top50保存到Excel文件中【附源码】

2024-01-09 01:20
文章标签 python 源码 excel 保存 爬取 热榜 知乎 top50

本文主要是介绍【python】爬取知乎热榜Top50保存到Excel文件中【附源码】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

欢迎来到英杰社区icon-default.png?t=N7T8https://bbs.csdn.net/topics/617804998

   一、导入必要的模块：

    这篇博客将介绍如何使用Python编写一个爬虫程序，从斗鱼直播网站上获取图片信息并保存到本地。我们将使用requests模块发送HTTP请求和接收响应，以及os模块处理文件和目录操作。

        如果出现模块报错

        进入控制台输入：建议使用国内镜像源

pip install requests -i https://mirrors.aliyun.com/pypi/simple

         我大致罗列了以下几种国内镜像源：

        

清华大学
https://pypi.tuna.tsinghua.edu.cn/simple阿里云
https://mirrors.aliyun.com/pypi/simple/豆瓣
https://pypi.douban.com/simple/ 百度云
https://mirror.baidu.com/pypi/simple/中科大
https://pypi.mirrors.ustc.edu.cn/simple/华为云
https://mirrors.huaweicloud.com/repository/pypi/simple/腾讯云
https://mirrors.cloud.tencent.com/pypi/simple/

    

二、发送GET请求获取响应数据：

        设置了请求头部信息，以模拟浏览器的请求，函数返回响应数据的JSON格式内容。

def get_html(url):header = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}response = requests.get(url=url, headers=header)# print(response.json())html = response.json()return html

        如何获取请求头：

        火狐浏览器：

  1. 打开目标网页并右键点击页面空白处。
  2. 选择“检查元素”选项，或按下快捷键Ctrl + Shift + C（Windows）
  3. 在开发者工具窗口中，切换到“网络”选项卡。
  4. 刷新页面以捕获所有的网络请求。
  5. 在请求列表中选择您感兴趣的请求。
  6. 在右侧的“请求标头”或“Request Headers”部分，即可找到请求头信息。

     将以下请求头信息复制出来即可

三、代码实现

这段代码是用来爬取知乎热榜数据并保存到 Excel 文件中的。具体实现方法如下：

  1. 定义了一个函数 get_time，用于获取当前时间，并可以按照指定的格式进行输出。

def get_time(fmt:str='%Y-%m-%d %H-%M-%S') -> str:'''获取当前时间'''ts = time.time()ta = time.localtime(ts)t = time.strftime(fmt, ta)return t

  1. 定义了一个函数 save_hot_list，用于保存热榜数据到 Excel 文件中。

def save_hot_list() -> None:# 请求头headers = {
​'User-Agent': 'osee2unifiedRelease/4318 osee2unifiedReleaseVersion/7.7.0 Mozilla/5.0 (iPhone; CPU iPhone OS 14_4_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148','Host': 'api.zhihu.com',
​
​}# 请求参数params = (('limit', '50'),('reverse_order', '0'),)# 发送请求response = requests.get('https://zhihu.com/topstory/hot-list', headers=headers, params=params)
​items = response.json()['data']

首先定义请求头和请求参数，然后发送 GET 请求获取知乎热榜数据。其中 response.json()['data'] 取出了返回结果中的 data 字段，即热榜列表数据。

    rows = []now = get_time()# 取日期为文件夹名称dir_path = now.split(' ')[0]# 文件夹不存在则创建if not os.path.exists(dir_path):os.makedirs(dir_path)

定义一个空列表 rows 来存储热榜数据，然后获取当前时间并将其拆分为日期和时间两个部分。这里我们只需要日期部分作为保存数据的文件夹名称，如果这个文件夹不存在，则创建它。

  
  for rank, item in enumerate(items, start=1):target = item.get('target')title = target.get('title')answer_count = target.get('answer_count')hot = int(item.get('detail_text').split(' ')[0])follower_count = target.get('follower_count')question_url = target.get('url').replace('api', 'www').replace('questions', 'question')rows.append({'排名': rank,'标题': title,'回答数': answer_count,'关注数': follower_count,'热度(万)': hot,'问题链接': question_url})

遍历全部热榜数据，并从中取出我们需要的属性，包括：标题、回答数、关注数、热度和问题链接。将这些属性添加到 rows 列表中。

    df = pd.DataFrame(rows)now = get_time()excel_path = dir_path+'/Yan-英杰.xlsx'df.to_excel(excel_path, index=None)print(now, '的热榜数据数据已保存到文件', excel_path)

将 rows 列表转化为 Pandas 的 DataFrame，并将其保存到 Excel 文件中。Excel 文件的名称以当前日期作为文件夹名称，以 "Yan-英杰.xlsx" 作为文件名。最后输出保存完成的信息。

# 保存热榜数据
save_hot_list()

调用 save_hot_list 函数来执行保存操作。

四、效果图：

五、完整代码

import requests
import pandas as pd
import time
import osdef get_time(fmt:str='%Y-%m-%d %H-%M-%S') -> str:'''获取当前时间'''ts = time.time()ta = time.localtime(ts)t = time.strftime(fmt, ta)return tdef save_hot_list() -> None:# 请求头headers = {'User-Agent': 'osee2unifiedRelease/4318 osee2unifiedReleaseVersion/7.7.0 Mozilla/5.0 (iPhone; CPU iPhone OS 14_4_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148','Host': 'api.zhihu.com',}# 请求参数params = (('limit', '50'),('reverse_order', '0'),)# 发送请求response = requests.get('https://zhihu.com/topstory/hot-list', headers=headers, params=params)items = response.json()['data']rows = []now = get_time()# 取日期为文件夹名称dir_path = now.split(' ')[0]# 文件夹不存在则创建if not os.path.exists(dir_path):os.makedirs(dir_path)# 遍历全部热榜，取出几个属性for rank, item in enumerate(items, start=1):target = item.get('target')title = target.get('title')answer_count = target.get('answer_count')hot = int(item.get('detail_text').split(' ')[0])follower_count = target.get('follower_count')question_url = target.get('url').replace('api', 'www').replace('questions', 'question')rows.append({'排名': rank,'标题': title,'回答数': answer_count,'关注数': follower_count,'热度(万)': hot,'问题链接': question_url})df = pd.DataFrame(rows)now = get_time()excel_path = dir_path+'/Yan-英杰.xlsx'df.to_excel(excel_path, index=None)print(now, '的热榜数据数据已保存到文件', excel_path)# 保存热榜数据
save_hot_list()

   给大家推荐一个网站

    IT今日热榜 一站式资讯平台


        里面包含了上百个IT网站，欢迎大家访问：IT今日热榜 一站式资讯平台

   iToday，打开信息的新时代。作为一家创新的IT数字媒体平台，iToday致力于为用户提供最新、最全面的IT资讯和内容。里面包含了技术资讯、IT社区、面试求职、前沿科技等诸多内容。我们的团队由一群热爱创作的开发者和分享的专业编程知识爱好者组成，他们精选并整理出真实可信的信息，确保您获得独特、有价值的阅读体验。随时随地，尽在iToday，与世界保持连接，开启您的信息新旅程！

IT今日热榜 一站式资讯平台IT今日热榜汇聚各类IT热榜：虎嗅、知乎、36氪、京东图书销售、晚点、全天候科技、极客公园、GitHub、掘金、CSDN、哔哩哔哩、51CTO、博客园、GitChat、开发者头条、思否、LeetCode、人人都是产品经理、牛客网、看准、拉勾、Boss直聘http://itoday.top/#/

这篇关于【python】爬取知乎热榜Top50保存到Excel文件中【附源码】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/585486。

相关文章

python: 多模块(.py)中全局变量的导入

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别： 当你在一个模块（文件）中使用 global 声明变量时，这个变量只在该模块的全局命名空
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟 开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚 第一站：海量资源，应有尽有 走进“智听
阅读更多...
【Python编程】Linux创建虚拟环境并配置与notebook相连接

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如，在当前目录下创建一个名为 myenv 的虚拟环境： python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行： source myenv/bin/activate 3.与notebook连接 在虚拟环境中，使用 pip 安装 Jupyter 和 ipykernel： pip instal
阅读更多...
【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程（Gaussian Process，简称GP）是一种概率模型，用于描述一组随机变量的联合概率分布，其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数（或核函数） 1.3 核函数1.4 高斯过程回归（Gauss
阅读更多...
【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络（1）sklearn

系列文章目录 监督学习：参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归（SAheart.csv） 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学
阅读更多...
Java ArrayList扩容机制 （源码解读）

Java ArrayList扩容机制 （源码解读）

结论：初始长度为10，若所需长度小于1.5倍原长度，则按照1.5倍扩容。若不够用则按照所需长度扩容。 一. 明确类内部重要变量含义         1：数组默认长度         2:这是一个共享的空数组实例，用于明确创建长度为0时的ArrayList ，比如通过 new ArrayList<>(0)，ArrayList 内部的数组 elementData 会指向这个 EMPTY_EL
阅读更多...
如何在Visual Studio中调试.NET源码

如何在Visual Studio中调试.NET源码

今天偶然在看别人代码时，发现在他的代码里使用了Any判断List<T>是否为空。 我一般的做法是先判断是否为null，再判断Count。 看了一下Count的源码如下： 1 [__DynamicallyInvokable]2 public int Count3 {4 [__DynamicallyInvokable]5 get
阅读更多...
nudepy，一个有趣的 Python 库！

nudepy，一个有趣的 Python 库！

更多资料获取 📚 个人网站：ipengtao.com 大家好，今天为大家分享一个有趣的 Python 库 - nudepy。 Github地址：https://github.com/hhatto/nude.py 在图像处理和计算机视觉应用中，检测图像中的不适当内容（例如裸露图像）是一个重要的任务。nudepy 是一个基于 Python 的库，专门用于检测图像中的不适当内容。该
阅读更多...
工厂ERP管理系统实现源码（JAVA）

工厂ERP管理系统实现源码（JAVA）

工厂进销存管理系统是一个集采购管理、仓库管理、生产管理和销售管理于一体的综合解决方案。该系统旨在帮助企业优化流程、提高效率、降低成本，并实时掌握各环节的运营状况。 在采购管理方面，系统能够处理采购订单、供应商管理和采购入库等流程，确保采购过程的透明和高效。仓库管理方面，实现库存的精准管理，包括入库、出库、盘点等操作，确保库存数据的准确性和实时性。 生产管理模块则涵盖了生产计划制定、物料需求计划、
阅读更多...
pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定

pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定

在 Python 开发中，管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等，都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools？ pip-tools 是一组命令行工具，旨在简化 Python 依赖关系的管理，确保项目环境的稳定性和可重复性。它主要包含两个核心工具：pip-compile 和 pip
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2