本文主要是介绍【爬虫神器 pyppeteer】比 selenium 更高效的爬虫利器--pyppeteer,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Puppeteer 是 Google 基于 Node.js 开发的工具,调用 Chrome 的 API,通过 JavaScript 代码来操纵 Chrome 完成一些操作,用于网络爬虫、Web 程序自动测试等。pyppeteer 使用了 Python 异步协程库 asyncio,可整合 Scrapy 进行分布式爬虫。要注意的是它执行python3.6+以后版本使用,下面我们一起来了解下如何使用。
安装:
pip install pyppeteer
说明:
- 当你第一次运行 pyppeteer 时,它会下载最新版本的 Chromium
(~100MB)。如果您不喜欢这种行为,请pyppeteer-install在运行使用 pyppeteer 的脚本之前运行命令。 - Pyppeteer 与 puppeteer 一样相似,但 python 和 JavaScript 之间的一些差异使其变得困难。 这些是
puppeteer 和 pyppeteer 之间的区别。
例子使用:我们使用pyppeteer 对百度网页进行截图操作:
# -*- coding: utf-8 -*-
这篇关于【爬虫神器 pyppeteer】比 selenium 更高效的爬虫利器--pyppeteer的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!