chromedp专题

Go使用chromedp库操作headless-chrome爬取JS画出来的网站

随着类似Vue、Angular这类通过JS将web页面"画"出来的前端框架的流行,爬取网页不再像以前那样随便发个GET请求,解析HTML就能搞定了。对于使用这类框架制作的SPA(Single Page Web Application)网站来说,必须使用一个全功能浏览器将JS脚本执行一遍才能获得想要的数据,除此之外别无他法。这里我们介绍如何使用Go语言的chromedp库来操作headless-ch

【go语言】Chromeless简介及Chromedp库实现模拟登录截屏

一、什么是Chromeless chromeless 是一个基于 Node.js 的库,用于通过无头浏览器(Headless Chrome)进行自动化测试和网页截图。它允许开发者使用 JavaScript 脚本来控制和操作浏览器,而无需实际打开浏览器窗口。 以下是一些 chromeless 的主要特性和用法: 基于 Chrome DevTools Protocol:chromeless 使用

chromedp+goquery爬取打字邀请码实战

背景: 最近一直在研究钉钉机器人用于推送消息,突然想到小组同学经常会键盘打字竞赛,竞赛所用的邀请码一直是手动获取,不够自动化,较为繁琐,想着给钉钉机器人添加一个定时推送打字邀请码的功能,方便大家打字,提高效率。 思路分析 最近了解了Golang的chromedp库,此库功能十分强大,能够让电脑自动操控浏览器,不需要人为介入。而且还能截图,这就解决了二维码登录的难题。爬虫的话,使用的是goqu