本文主要是介绍爬虫剑谱第四页(网课笔记),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
前期准备:
requests第三方库 headers请求头user-agent
requests模块:
Python原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高。
安装流程:
pip install requests
镜像:
使用pip的时候加参数-i https://pypi.tuna.tsinghua.edu.cn/simple
例如:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 库名
headers请求头:
打开网页,F12或鼠标右键检查进入开发者选项
进入如下页面:
进入Network界面,然后刷新网页,随后点击开发者选项中的停止红色按钮
会刷新出很多数据,点击其中一个,进入Headers,向下滑动寻找Request Headers区域,user-agent在它的最后一栏
将user-agent进行复制,准备开始实战演练
代码如下:
import requestsurl = 'https://www.bilibili.com/'
headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3823.400 QQBrowser/10.7.4307.400'}
#会返回一个响应对象,打印出来为目标网页源码
request = requests.get(url=url,headers=headers)
#获取响应数据,.text返回的是字符串类型的响应数据
page_text = request.text
print(page_text)
运行结果:
这篇关于爬虫剑谱第四页(网课笔记)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!