Go使用chromedp库操作headless-chrome爬取JS画出来的网站

2024-04-21 05:08

本文主要是介绍Go使用chromedp库操作headless-chrome爬取JS画出来的网站,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

随着类似Vue、Angular这类通过JS将web页面"画"出来的前端框架的流行,爬取网页不再像以前那样随便发个GET请求,解析HTML就能搞定了。对于使用这类框架制作的SPA(Single Page Web Application)网站来说,必须使用一个全功能浏览器将JS脚本执行一遍才能获得想要的数据,除此之外别无他法。这里我们介绍如何使用Go语言的chromedp库来操作headless-chrome模拟浏览器操作,然后抓取网页数据的方案。

"无头"Chrome与远程调式协议

所谓headless-chrome,是Chrome浏览器的无GUI的命令行版浏览器。虽然没有UI,但是功能上跟我们日常使用的Chrome是没有任何区别的。从Chrome的59版本开始,无头浏览器就已经在安装Chrome的时候自动装好了。例如在MacOS上,我们可以直接通过终端调用chrome将HTML代码直接输出到控制台:

/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --headless --disable-gpu --dump-dom https://www.sogou.com

有了这东西以后其实就能做很多事了,如果你只是想爬取JS生成的网页内容,通过shell脚本,或者其他任何编程语言,都可以使用这种方式获取到完整的html,然后再进一步解析获取数。但是如果你想模拟一下用户的操作,比如表单提交、截图等操作,这就不好办了。这就需要chrome能够提供一种远程交互协议, 然后允许各编程语言通过次协议进行通讯,这就是远程调试协议Remote Debugging Protocol

幸运的是我们并不需要学习协议的具体内容,Go有一个chromedp第三方库,允许我们以更简单的编程的方式通过远程调试协议操作Chrome,github地址:https://github.com/chromedp/chromedp

使用方法和注意事项

现在网上很多例子都是只爬取一个页面的例子,然而实际中我们经常需要按一定规则爬取整个网站,这时候就涉及到Chrome实例的复用问题,总不能跟其他博客说的那样每爬取一个网页都要销毁、打开Chrome吧,效率太低了。

在爬取之前,我们需要做一些重要的设置,比如要自定义User-Agent,因为默认情况下headless-chrome会很实在的在UA中标记出来自己是headless的,这样就有可能被目标网站拒绝。其次是要禁用图片加载,因为通过测试发现,如果网页中有动态GIF, chromedp会卡住,原因未知。禁止图片加载即可解决问题。设置的方式如下:

	options := []chromedp.ExecAllocatorOption{chromedp.Flag("headless", false), // debug使用chromedp.Flag("blink-settings", "imagesEnabled=false"),chromedp.UserAgent(`Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36`),}options = append(chromedp.DefaultExecAllocatorOptions[:], options...)

Chrome初始化代码如下:

c, _ := chromedp.NewExecAllocator(context.Background(), options...)// create contextchromeCtx, cancel := chromedp.NewContext(c, chromedp.WithLogf(log.Printf))// 执行一个空task, 用提前创建Chrome实例chromedp.Run(chromeCtx, make([]chromedp.Action, 0, 1)...)

可以看到chromedp是严重依赖于go的context包的,如果不熟悉context的使用最好先去研究一下。

注意这里我们初始化完context以后,先调用Run()方法传递了一个空的Action列表,这是为了让chrome在实际执行爬取任务之前先完成Chrome进程的创建和初始化工作,否则就会延迟到爬取的时候才会初始化,因为chromedp当前的API设计逻辑是只会在第一次调用Run()的时候创建headless-chrome进程。

完成初始化后,还有一个重要的设置就是一定要设置超时时间,否则很容易卡住:

// 给每个页面的爬取设置超时时间timeoutCtx, cancel := context.WithTimeout(chromeContext, 20 * time.Second)defer cancel()

然后,就可以向无头浏览器发送指令了:

log.Printf("Chrome visit page %s\n", link)var htmlContent stringerr := chromedp.Run(timeoutCtx,chromedp.Navigate(link),chromedp.WaitVisible(waitExpression),chromedp.OuterHTML(`document.querySelector("body")`, &htmlContent, chromedp.ByJSPath),)

这部分代码表示命令chrome访问指定url, 然后等待指定的HTML标签出现(通过waitExpression参数指定),最后获取到<body>标签里的全部HTML代码保存到htmlContent中。至此我们就获得了JS渲染后的完整HTML,后续就可以用goquery之类的库解析数据了。

注意waitExpression并不是我们熟知的JQuery选择器,我们可以通过自己打开Chrome -> Inspect -> 找到你想等待的标签 -> 右键菜单 -> copy -> copy selector 来直接获取,并不需要研究学习。例如:

body > div.aw-container-wrap

表示body标签下的第一个携带aw-container-wrap class属性的div。

在实际应用中连续爬取多个网页,只需要每次在chromeCtx的基础上,派生一个带有超时功能的子Context即可:

timeoutCtx, cancel := context.WithTimeout(chromeContext, 20 * time.Second)

这样就不会销毁Chrome进程再重新创建一遍了。

有了这个神器,爬天爬地爬空气都不怕,只是慢了点而已。

这篇关于Go使用chromedp库操作headless-chrome爬取JS画出来的网站的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/922222

相关文章

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》:本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window

Ubuntu如何分配​​未使用的空间

《Ubuntu如何分配​​未使用的空间》Ubuntu磁盘空间不足,实际未分配空间8.2G因LVM卷组名称格式差异(双破折号误写)导致无法扩展,确认正确卷组名后,使用lvextend和resize2fs... 目录1:原因2:操作3:报错5:解决问题:确认卷组名称​6:再次操作7:验证扩展是否成功8:问题已解

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Java操作Word文档的全面指南

《Java操作Word文档的全面指南》在Java开发中,操作Word文档是常见的业务需求,广泛应用于合同生成、报表输出、通知发布、法律文书生成、病历模板填写等场景,本文将全面介绍Java操作Word文... 目录简介段落页头与页脚页码表格图片批注文本框目录图表简介Word编程最重要的类是org.apach

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核