第10课:利用Headers 的 cookie,实现爬取需要登录的网站信息

2024-08-20 17:08

本文主要是介绍第10课:利用Headers 的 cookie,实现爬取需要登录的网站信息,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本节课目录:

  • Cookie 的概念:
  • 网站 Cookie 的获取方法 :
  • Cookie 访问登录网站演示:
    • 实战演习:
  • Cookie 安全:
  • 本节课总结:

Cookie 的概念:

Cookie 是储存在用户本地终端上的数据。是由用户使用浏览器请求访问服务器端时,服务端接受到请求后会自动生成一个Cookie数据。并把Cookie 返回给浏览器,允许浏览器访问服务器网站。浏览器收到Cookie后,会把Cookie保存下来。当发送下一个请求的时候,会直接调用保存下来的Cookie 请求访问服务端。

通俗意思:
我要访问某国,首先我要申请一个我能允许通行证申请,当某国收到这个申请后,就开始制作一个通行证,然后发给我,我收到通行证之后,我就可以访问某国了。当要进入某国的时候,我需要把通行证给某国的关卡看。关卡看了后是允许访问的,然后让我进了。

其中的申请,就是发送一个请求。制作通行证就是 服务器生成了一个Cookie ,然后将 Cookie(通行证)发给我,我再一次访问服务器网站,就需要使用这个通行证,也就是这个 Cookie 。

网站 Cookie 的获取方法 :

打开CSDN 网站 https://blog.csdn.net/nav/python ,鼠标右键 查看元素 或者 检查,或者 按键盘的 F12 的快捷键,打开 开发者调试模式,点击Doc,点击 HTML 文档,点击Headers ,找到 Requests Headers ,在 Requests Headers 有一个Cookie 的一些数据。

动态图操作演示如下&

这篇关于第10课:利用Headers 的 cookie,实现爬取需要登录的网站信息的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1090665

相关文章

基于C++的UDP网络通信系统设计与实现详解

《基于C++的UDP网络通信系统设计与实现详解》在网络编程领域,UDP作为一种无连接的传输层协议,以其高效、低延迟的特性在实时性要求高的应用场景中占据重要地位,下面我们就来看看如何从零开始构建一个完整... 目录前言一、UDP服务器UdpServer.hpp1.1 基本框架设计1.2 初始化函数Init详解

Java中Map的五种遍历方式实现与对比

《Java中Map的五种遍历方式实现与对比》其实Map遍历藏着多种玩法,有的优雅简洁,有的性能拉满,今天咱们盘一盘这些进阶偏基础的遍历方式,告别重复又臃肿的代码,感兴趣的小伙伴可以了解下... 目录一、先搞懂:Map遍历的核心目标二、几种遍历方式的对比1. 传统EntrySet遍历(最通用)2. Lambd

springboot+redis实现订单过期(超时取消)功能的方法详解

《springboot+redis实现订单过期(超时取消)功能的方法详解》在SpringBoot中使用Redis实现订单过期(超时取消)功能,有多种成熟方案,本文为大家整理了几个详细方法,文中的示例代... 目录一、Redis键过期回调方案(推荐)1. 配置Redis监听器2. 监听键过期事件3. Redi

SpringBoot全局异常拦截与自定义错误页面实现过程解读

《SpringBoot全局异常拦截与自定义错误页面实现过程解读》本文介绍了SpringBoot中全局异常拦截与自定义错误页面的实现方法,包括异常的分类、SpringBoot默认异常处理机制、全局异常拦... 目录一、引言二、Spring Boot异常处理基础2.1 异常的分类2.2 Spring Boot默

基于SpringBoot实现分布式锁的三种方法

《基于SpringBoot实现分布式锁的三种方法》这篇文章主要为大家详细介绍了基于SpringBoot实现分布式锁的三种方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、基于Redis原生命令实现分布式锁1. 基础版Redis分布式锁2. 可重入锁实现二、使用Redisso

SpringBoo WebFlux+MongoDB实现非阻塞API过程

《SpringBooWebFlux+MongoDB实现非阻塞API过程》本文介绍了如何使用SpringBootWebFlux和MongoDB实现非阻塞API,通过响应式编程提高系统的吞吐量和响应性能... 目录一、引言二、响应式编程基础2.1 响应式编程概念2.2 响应式编程的优势2.3 响应式编程相关技术

C#实现将XML数据自动化地写入Excel文件

《C#实现将XML数据自动化地写入Excel文件》在现代企业级应用中,数据处理与报表生成是核心环节,本文将深入探讨如何利用C#和一款优秀的库,将XML数据自动化地写入Excel文件,有需要的小伙伴可以... 目录理解XML数据结构与Excel的对应关系引入高效工具:使用Spire.XLS for .NETC

Nginx更新SSL证书的实现步骤

《Nginx更新SSL证书的实现步骤》本文主要介绍了Nginx更新SSL证书的实现步骤,包括下载新证书、备份旧证书、配置新证书、验证配置及遇到问题时的解决方法,感兴趣的了解一下... 目录1 下载最新的SSL证书文件2 备份旧的SSL证书文件3 配置新证书4 验证配置5 遇到的http://www.cppc

Nginx之https证书配置实现

《Nginx之https证书配置实现》本文主要介绍了Nginx之https证书配置的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起... 目录背景介绍为什么不能部署在 IIS 或 NAT 设备上?具体实现证书获取nginx配置扩展结果验证

C#如何在Excel文档中获取分页信息

《C#如何在Excel文档中获取分页信息》在日常工作中,我们经常需要处理大量的Excel数据,本文将深入探讨如何利用Spire.XLSfor.NET,高效准确地获取Excel文档中的分页信息,包括水平... 目录理解Excel中的分页机制借助 Spire.XLS for .NET 获取分页信息为什么选择 S