打卡学习Python爬虫第六天|处理cookie登录小说网

本文主要是介绍打卡学习Python爬虫第六天|处理cookie登录小说网，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

引言：一些网站不需要登录就能看到信息，但对于需要登录才能看见信息的网站，我们就需要借助cookie，使爬虫能够顺利登录网站，从而获取所需数据。

1、登录后查看页面源代码

并没有我们需要的数据

2、利用抓包工具

右键-->检查或者直接按F12，进入开发者页面，找到数据，拿到其url

3、编写程序

# 1、登录 --> 得到cookie
# 2、访问 --> 带cookie访问，请求书架urlimport requestssessions = requests.session()
response = sessions.get("https://user.17k.com/ck/author2/shelf?page=1&appKey=2406394919",headers={"Cookie":"此处填入自己的cookie" })
print(response.json())

得到想要的数据

4、保存为json文件

# 保存为json文件
import json
json.dump(response.json(),open("17k.json","w",encoding="utf-8"),ensure_ascii=False,indent=4)
# 读取json文件
json.load(open("17k.json","r",encoding="utf-8"))

完整代码：

# 1、登录 --> 得到cookie
# 2、访问 --> 带cookie访问，请求书架urlimport requests
import jsonsessions = requests.session()
response = sessions.get("https://user.17k.com/ck/author2/shelf?page=1&appKey=2406394919",headers={"Cookie":"此处填入自己的cookie" })# 保存为json文件
json.dump(response.json(),open("17k.json","w",encoding="utf-8"),ensure_ascii=False,indent=4)
# 读取json文件
json.load(open("17k.json","r",encoding="utf-8"))