Go使用chromedp库操作headless-chrome爬取JS画出来的网站

2024-04-21 05:08

本文主要是介绍Go使用chromedp库操作headless-chrome爬取JS画出来的网站,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

随着类似Vue、Angular这类通过JS将web页面"画"出来的前端框架的流行,爬取网页不再像以前那样随便发个GET请求,解析HTML就能搞定了。对于使用这类框架制作的SPA(Single Page Web Application)网站来说,必须使用一个全功能浏览器将JS脚本执行一遍才能获得想要的数据,除此之外别无他法。这里我们介绍如何使用Go语言的chromedp库来操作headless-chrome模拟浏览器操作,然后抓取网页数据的方案。

"无头"Chrome与远程调式协议

所谓headless-chrome,是Chrome浏览器的无GUI的命令行版浏览器。虽然没有UI,但是功能上跟我们日常使用的Chrome是没有任何区别的。从Chrome的59版本开始,无头浏览器就已经在安装Chrome的时候自动装好了。例如在MacOS上,我们可以直接通过终端调用chrome将HTML代码直接输出到控制台:

/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --headless --disable-gpu --dump-dom https://www.sogou.com

有了这东西以后其实就能做很多事了,如果你只是想爬取JS生成的网页内容,通过shell脚本,或者其他任何编程语言,都可以使用这种方式获取到完整的html,然后再进一步解析获取数。但是如果你想模拟一下用户的操作,比如表单提交、截图等操作,这就不好办了。这就需要chrome能够提供一种远程交互协议, 然后允许各编程语言通过次协议进行通讯,这就是远程调试协议Remote Debugging Protocol

幸运的是我们并不需要学习协议的具体内容,Go有一个chromedp第三方库,允许我们以更简单的编程的方式通过远程调试协议操作Chrome,github地址:https://github.com/chromedp/chromedp

使用方法和注意事项

现在网上很多例子都是只爬取一个页面的例子,然而实际中我们经常需要按一定规则爬取整个网站,这时候就涉及到Chrome实例的复用问题,总不能跟其他博客说的那样每爬取一个网页都要销毁、打开Chrome吧,效率太低了。

在爬取之前,我们需要做一些重要的设置,比如要自定义User-Agent,因为默认情况下headless-chrome会很实在的在UA中标记出来自己是headless的,这样就有可能被目标网站拒绝。其次是要禁用图片加载,因为通过测试发现,如果网页中有动态GIF, chromedp会卡住,原因未知。禁止图片加载即可解决问题。设置的方式如下:

	options := []chromedp.ExecAllocatorOption{chromedp.Flag("headless", false), // debug使用chromedp.Flag("blink-settings", "imagesEnabled=false"),chromedp.UserAgent(`Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36`),}options = append(chromedp.DefaultExecAllocatorOptions[:], options...)

Chrome初始化代码如下:

c, _ := chromedp.NewExecAllocator(context.Background(), options...)// create contextchromeCtx, cancel := chromedp.NewContext(c, chromedp.WithLogf(log.Printf))// 执行一个空task, 用提前创建Chrome实例chromedp.Run(chromeCtx, make([]chromedp.Action, 0, 1)...)

可以看到chromedp是严重依赖于go的context包的,如果不熟悉context的使用最好先去研究一下。

注意这里我们初始化完context以后,先调用Run()方法传递了一个空的Action列表,这是为了让chrome在实际执行爬取任务之前先完成Chrome进程的创建和初始化工作,否则就会延迟到爬取的时候才会初始化,因为chromedp当前的API设计逻辑是只会在第一次调用Run()的时候创建headless-chrome进程。

完成初始化后,还有一个重要的设置就是一定要设置超时时间,否则很容易卡住:

// 给每个页面的爬取设置超时时间timeoutCtx, cancel := context.WithTimeout(chromeContext, 20 * time.Second)defer cancel()

然后,就可以向无头浏览器发送指令了:

log.Printf("Chrome visit page %s\n", link)var htmlContent stringerr := chromedp.Run(timeoutCtx,chromedp.Navigate(link),chromedp.WaitVisible(waitExpression),chromedp.OuterHTML(`document.querySelector("body")`, &htmlContent, chromedp.ByJSPath),)

这部分代码表示命令chrome访问指定url, 然后等待指定的HTML标签出现(通过waitExpression参数指定),最后获取到<body>标签里的全部HTML代码保存到htmlContent中。至此我们就获得了JS渲染后的完整HTML,后续就可以用goquery之类的库解析数据了。

注意waitExpression并不是我们熟知的JQuery选择器,我们可以通过自己打开Chrome -> Inspect -> 找到你想等待的标签 -> 右键菜单 -> copy -> copy selector 来直接获取,并不需要研究学习。例如:

body > div.aw-container-wrap

表示body标签下的第一个携带aw-container-wrap class属性的div。

在实际应用中连续爬取多个网页,只需要每次在chromeCtx的基础上,派生一个带有超时功能的子Context即可:

timeoutCtx, cancel := context.WithTimeout(chromeContext, 20 * time.Second)

这样就不会销毁Chrome进程再重新创建一遍了。

有了这个神器,爬天爬地爬空气都不怕,只是慢了点而已。

这篇关于Go使用chromedp库操作headless-chrome爬取JS画出来的网站的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/922222

相关文章

Python 字典 (Dictionary)使用详解

《Python字典(Dictionary)使用详解》字典是python中最重要,最常用的数据结构之一,它提供了高效的键值对存储和查找能力,:本文主要介绍Python字典(Dictionary)... 目录字典1.基本特性2.创建字典3.访问元素4.修改字典5.删除元素6.字典遍历7.字典的高级特性默认字典

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

一文详解如何使用Java获取PDF页面信息

《一文详解如何使用Java获取PDF页面信息》了解PDF页面属性是我们在处理文档、内容提取、打印设置或页面重组等任务时不可或缺的一环,下面我们就来看看如何使用Java语言获取这些信息吧... 目录引言一、安装和引入PDF处理库引入依赖二、获取 PDF 页数三、获取页面尺寸(宽高)四、获取页面旋转角度五、判断

Ubuntu 24.04启用root图形登录的操作流程

《Ubuntu24.04启用root图形登录的操作流程》Ubuntu默认禁用root账户的图形与SSH登录,这是为了安全,但在某些场景你可能需要直接用root登录GNOME桌面,本文以Ubuntu2... 目录一、前言二、准备工作三、设置 root 密码四、启用图形界面 root 登录1. 修改 GDM 配

C++中assign函数的使用

《C++中assign函数的使用》在C++标准模板库中,std::list等容器都提供了assign成员函数,它比操作符更灵活,支持多种初始化方式,下面就来介绍一下assign的用法,具有一定的参考价... 目录​1.assign的基本功能​​语法​2. 具体用法示例​​​(1) 填充n个相同值​​(2)

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命

JSONArray在Java中的应用操作实例

《JSONArray在Java中的应用操作实例》JSONArray是org.json库用于处理JSON数组的类,可将Java对象(Map/List)转换为JSON格式,提供增删改查等操作,适用于前后端... 目录1. jsONArray定义与功能1.1 JSONArray概念阐释1.1.1 什么是JSONA

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

深入理解Go语言中二维切片的使用

《深入理解Go语言中二维切片的使用》本文深入讲解了Go语言中二维切片的概念与应用,用于表示矩阵、表格等二维数据结构,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录引言二维切片的基本概念定义创建二维切片二维切片的操作访问元素修改元素遍历二维切片二维切片的动态调整追加行动态

prometheus如何使用pushgateway监控网路丢包

《prometheus如何使用pushgateway监控网路丢包》:本文主要介绍prometheus如何使用pushgateway监控网路丢包问题,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录监控网路丢包脚本数据图表总结监控网路丢包脚本[root@gtcq-gt-monitor-prome