第10课:利用Headers 的 cookie,实现爬取需要登录的网站信息

2024-08-20 17:08

本文主要是介绍第10课:利用Headers 的 cookie,实现爬取需要登录的网站信息,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本节课目录:

  • Cookie 的概念:
  • 网站 Cookie 的获取方法 :
  • Cookie 访问登录网站演示:
    • 实战演习:
  • Cookie 安全:
  • 本节课总结:

Cookie 的概念:

Cookie 是储存在用户本地终端上的数据。是由用户使用浏览器请求访问服务器端时,服务端接受到请求后会自动生成一个Cookie数据。并把Cookie 返回给浏览器,允许浏览器访问服务器网站。浏览器收到Cookie后,会把Cookie保存下来。当发送下一个请求的时候,会直接调用保存下来的Cookie 请求访问服务端。

通俗意思:
我要访问某国,首先我要申请一个我能允许通行证申请,当某国收到这个申请后,就开始制作一个通行证,然后发给我,我收到通行证之后,我就可以访问某国了。当要进入某国的时候,我需要把通行证给某国的关卡看。关卡看了后是允许访问的,然后让我进了。

其中的申请,就是发送一个请求。制作通行证就是 服务器生成了一个Cookie ,然后将 Cookie(通行证)发给我,我再一次访问服务器网站,就需要使用这个通行证,也就是这个 Cookie 。

网站 Cookie 的获取方法 :

打开CSDN 网站 https://blog.csdn.net/nav/python ,鼠标右键 查看元素 或者 检查,或者 按键盘的 F12 的快捷键,打开 开发者调试模式,点击Doc,点击 HTML 文档,点击Headers ,找到 Requests Headers ,在 Requests Headers 有一个Cookie 的一些数据。

动态图操作演示如下&

这篇关于第10课:利用Headers 的 cookie,实现爬取需要登录的网站信息的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1090665

相关文章

C#借助Spire.XLS for .NET实现在Excel中添加文档属性

《C#借助Spire.XLSfor.NET实现在Excel中添加文档属性》在日常的数据处理和项目管理中,Excel文档扮演着举足轻重的角色,本文将深入探讨如何在C#中借助强大的第三方库Spire.... 目录为什么需要程序化添加Excel文档属性使用Spire.XLS for .NET库实现文档属性管理Sp

Python+FFmpeg实现视频自动化处理的完整指南

《Python+FFmpeg实现视频自动化处理的完整指南》本文总结了一套在Python中使用subprocess.run调用FFmpeg进行视频自动化处理的解决方案,涵盖了跨平台硬件加速、中间素材处理... 目录一、 跨平台硬件加速:统一接口设计1. 核心映射逻辑2. python 实现代码二、 中间素材处

Java数组动态扩容的实现示例

《Java数组动态扩容的实现示例》本文主要介绍了Java数组动态扩容的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1 问题2 方法3 结语1 问题实现动态的给数组添加元素效果,实现对数组扩容,原始数组使用静态分配

Python实现快速扫描目标主机的开放端口和服务

《Python实现快速扫描目标主机的开放端口和服务》这篇文章主要为大家详细介绍了如何使用Python编写一个功能强大的端口扫描器脚本,实现快速扫描目标主机的开放端口和服务,感兴趣的小伙伴可以了解下... 目录功能介绍场景应用1. 网络安全审计2. 系统管理维护3. 网络故障排查4. 合规性检查报错处理1.

Python轻松实现Word到Markdown的转换

《Python轻松实现Word到Markdown的转换》在文档管理、内容发布等场景中,将Word转换为Markdown格式是常见需求,本文将介绍如何使用FreeSpire.DocforPython实现... 目录一、工具简介二、核心转换实现1. 基础单文件转换2. 批量转换Word文件三、工具特性分析优点局

Springboot3统一返回类设计全过程(从问题到实现)

《Springboot3统一返回类设计全过程(从问题到实现)》文章介绍了如何在SpringBoot3中设计一个统一返回类,以实现前后端接口返回格式的一致性,该类包含状态码、描述信息、业务数据和时间戳,... 目录Spring Boot 3 统一返回类设计:从问题到实现一、核心需求:统一返回类要解决什么问题?

Java使用Spire.Doc for Java实现Word自动化插入图片

《Java使用Spire.DocforJava实现Word自动化插入图片》在日常工作中,Word文档是不可或缺的工具,而图片作为信息传达的重要载体,其在文档中的插入与布局显得尤为关键,下面我们就来... 目录1. Spire.Doc for Java库介绍与安装2. 使用特定的环绕方式插入图片3. 在指定位

Java使用Spire.Barcode for Java实现条形码生成与识别

《Java使用Spire.BarcodeforJava实现条形码生成与识别》在现代商业和技术领域,条形码无处不在,本教程将引导您深入了解如何在您的Java项目中利用Spire.Barcodefor... 目录1. Spire.Barcode for Java 简介与环境配置2. 使用 Spire.Barco

Java利用Spire.Doc for Java实现在模板的基础上创建Word文档

《Java利用Spire.DocforJava实现在模板的基础上创建Word文档》在日常开发中,我们经常需要根据特定数据动态生成Word文档,本文将深入探讨如何利用强大的Java库Spire.Do... 目录1. Spire.Doc for Java 库介绍与安装特点与优势Maven 依赖配置2. 通过替换

Android使用java实现网络连通性检查详解

《Android使用java实现网络连通性检查详解》这篇文章主要为大家详细介绍了Android使用java实现网络连通性检查的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录NetCheck.Java(可直接拷贝)使用示例(Activity/Fragment 内)权限要求