go 语言爬虫库goquery介绍

2024-01-21 19:52
文章标签 语言 go 介绍 爬虫 goquery

本文主要是介绍go 语言爬虫库goquery介绍，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 爬虫介绍
  • goquery介绍
  • 利用NewDocumentFromReader方法获取主页信息
  • Document介绍
  • 通过查询获取文章信息
    • css选择器介绍
    • goquery中的选择器
    • 获取主页中的文章链接
  • 爬取
  • 总结

爬虫介绍

爬虫，又称网页抓取、网络蜘蛛或网络爬虫，是一种自动浏览互联网并从网站上获取信息的程序或脚本。它通过模拟人类浏览器的行为，按照预设的规则和策略遍历互联网上的网页，并将所获取的数据存储下来进行进一步处理和分析。
爬虫在我们生活中可以产生的东西有很多

  1. 搜索引擎索引构建：搜索引擎会使用爬虫抓取互联网上的网页，分析其内容并建立索引，以便用户在搜索时能够快速找到相关结果。

  2. 数据分析与研究：数据分析师和研究人员可以编写爬虫来收集特定领域的信息，如电子商务网站的商品价格、评论等，用于市场趋势分析、竞品监测、消费者行为研究等。

  3. 新闻聚合：新闻聚合类应用通过爬虫从多个新闻网站获取最新的文章标题、摘要以及链接，为用户提供一站式的新闻阅读体验。

  4. 社交媒体监控：针对社交媒体平台的爬虫可以抓取公开的帖子、评论等内容，用于舆情分析、热点话题追踪、品牌口碑监测等。

  5. 企业信息抓取：商业情报机构或公司可能需要抓取工商注册、专利申请、招聘信息等公开的企业数据，进行行业分析、潜在客户挖掘等工作。

  6. 教育资源整理：教育领域中，爬虫可以用来搜集网络课程资源、学术论文、图书资料等，并进行整理归类。

  7. 网站性能检测：某些类型的爬虫（例如蜘蛛侠）用于模拟大量用户访问以测试网站性能，检查是否存在服务器响应延迟、页面加载慢等问题。

  8. 法律合规审计：在网络合规性审查中，爬虫可以用于查找非法或侵权内容，协助监管部门进行网络环境净化。

在生活中爬虫其实可以做很多事情，鉴于本文是一个入门教程，就接下来会以一个爬取csdn网页增加流量的列子逐步介绍和完善我们的爬虫程序。

goquery介绍

GoQuery是专为Go（Golang）语言设计的一个强大的HTML解析和查询库。它模仿了jQuery的API风格，使得在Go中处理HTML文档变得简单且直观。

GoQuery主要用于网页抓取（Web Scraping），能够通过CSS选择器来定位、遍历和操作HTML元素。你可以使用它来提取网页中的特定数据、修改DOM结构或进行其他与HTML文档相关的操作。

利用NewDocumentFromReader方法获取主页信息

NewDocumentFromReader 是GoQuery库中的一个函数，用于从io.Reader接口读取的HTML数据创建一个新的文档对象。对于文档对象是什么我们会在下文经性讲解。
func NewDocumentFromReader(reader io.Reader) (*Document, error)

以下我们查找主页信息的代码,studycodeday是博主本人的主页，想要访问自己的主页，只需要把studycodeday改成自己的用户id就行。

func main() {// 通过http发送get请求req, err := http.Get("https://blog.csdn.net/studycodeday")if err != nil {slog.Error("访问主页失败")}defer req.Body.Close()// 解析请求体doc, err := goquery.NewDocumentFromReader(req.Body)// 让请求体按照html格式输出，也有Text()按照文本输出的方法fmt.Println(doc.Html())
}

效果
在这里插入图片描述

Document介绍

在GoQuery库中，Document是代表整个HTML文档的对象。它是对原始HTML内容解析后形成的DOM树的抽象表示，提供了与jQuery类似的接口来操作和查询HTML元素。

*goquery.Document主要有以下特点和功能：

  1. 初始化：
    从本地文件或io.Reader读取：使用goquery.NewDocumentFromReader(reader io.Reader)从任何实现了io.Reader接口的对象（如文件、HTTP响应体等）创建一个Document对象。
  2. 查找元素：
    使用CSS选择器进行查找：doc.Find(selector string)返回一个新的Selection对象，该对象包含了所有匹配给定CSS选择器的元素。
  3. 遍历和操作元素：
    Each(func(int, *goquery.Selection))方法用于迭代选区中的每个元素，并对其执行回调函数。
    提供了类似jQuery的方法，如.Children()获取子元素、.Parents()获取父元素等。
  4. 属性操作：
    Attr(name string) (string, bool)：获取首个匹配元素的指定属性值及其是否存在。
    SetAttr(name, value string)：为所有匹配元素设置指定属性的值。
  5. 文本和HTML内容操作：
    Text() string：获取所有匹配元素的合并文本内容。
    Html() string：获取首个匹配元素的HTML内容。
    其他功能：

goquery.Document对象是GoQuery库的核心组成部分，它封装了对HTML文档进行各种复杂查询和操作的能力。

通过查询获取文章信息

css选择器介绍

获取文章需要我们通过查询的方式，goquery提供了能够通过CSS选择器来定位元素。
其类型包括但不限于以下几种：

  1. 基本选择器：
  • *：匹配所有元素。
  • element：匹配所有指定类型的元素，如 div、span 等。
  • .class：匹配具有指定类名的元素，如 .myClass。
  • #id：匹配ID为指定值的元素，如 #header。
  1. 属性选择器：
  • [attribute]：匹配具有指定属性的元素，不论该属性值为何。
  • [attribute=value]：匹配属性值等于指定值的元素，如 [href=“http://example.com”]。
  • [attribute^=value]、[attribute$=value]、[attribute*=value]：分别匹配属性值以指定值开头、结尾或包含指定值的元素。
  1. 层次选择器：
  • parent > child：匹配作为指定父元素直接子元素的所有child元素。
  • ancestor descendant：匹配在ancestor元素内的所有descendant元素（无论嵌套多深）。
  • prev + next：匹配紧跟在prev元素之后的next元素。
  • prev ~ siblings：匹配prev元素之后的所有同辈siblings元素。
  1. 伪类选择器：
  • :first-child、:last-child、:nth-child(n)：匹配某个元素在其父元素内是第一个、最后一个或第n个子元素的情况。
  • :not(selector)：排除匹配给定选择器的元素。

goquery中的选择器

Find()：
doc.Find(selector string)
根据给定的CSS选择器在当前选区（Selection）中查找匹配的元素。例如，doc.Find(“h1”)会找到所有

标签。

Filter()：

selection.Filter(selector string)
在当前选区中过滤出符合指定CSS选择器的元素子集。

Eq()：

selection.Eq(index int)
返回当前选区中索引为index的单个元素。索引从0开始。

First() 和 Last()：
selection.First()
selection.Last()
分别返回当前选区中的第一个或最后一个元素。

Next() 和 Prev()：
selection.NextAll()
selection.PrevAll()
获取当前元素之后的所有同辈元素或之前的所有同辈元素。

Children()：

selection.Children()
获取当前选区中所有直接子元素。

Parents() 和 Closest()：
selection.Parents()
selection.Closest(selector string)
Parents()返回当前选区中所有父级元素，而Closest()返回最近的且匹配给定CSS选择器的祖先元素。

Attr()：
attr, exists := selection.Attr(attributeName string)
获取当前选区中首个元素的属性值，exists用于判断该属性是否存在。

Each()：
selection.Each(func(i int, s *goquery.Selection) {})
遍历当前选区中的每一个元素，并对每个元素执行一个函数。

获取主页中的文章链接

首先我们要打开f12调试工具，找到我们需要爬取数据的所在的具体位置。
在这里插入图片描述
由上图可知我们的文章连接在拥有class=“mainContent” 的div盒子里，这个盒子包括了二十个含有 class=“blog-list-box” 的article标签，我们所需要的内容就在article标签下面的a标签的herf中。
这里我们采用层次原则器 ancestor descendant：匹配在ancestor元素内的所有descendant元素（无论嵌套多深）。把文章盒子提取来之后我们还需要通过Each方法遍历输出a标签中的href属性的值

	// 通过http发送get请求req, err := http.Get("https://blog.csdn.net/studycodeday")if err != nil {slog.Error("访问主页失败")}defer req.Body.Close()// 解析请求体doc, err := goquery.NewDocumentFromReader(req.Body)//fmt.Println(doc.Find(".mainContent .blog-list-box").Length())doc.Find(".mainContent .blog-list-box").Each(func(i int, s *goquery.Selection) {fmt.Println(s.Find("a").Attr("href"))})

效果
在这里插入图片描述

爬取

以上我们就完成了主页文章信息的爬取，我们只需要吧内容存在数组中，经行爬取访问即可。
代码

func main() {var urls = make([]string, 0, 20)// 通过http发送get请求req, err := http.Get("https://blog.csdn.net/studycodeday")if err != nil {slog.Error("访问主页失败")}defer req.Body.Close()// 解析请求体doc, err := goquery.NewDocumentFromReader(req.Body)//fmt.Println(doc.Find(".mainContent .blog-list-box").Length())doc.Find(".mainContent .blog-list-box").Each(func(i int, s *goquery.Selection) {url, _ := s.Find("a").Attr("href")//添加到数组中urls = append(urls, url)})for _, url := range urls {_, err = http.Get(url)if err != nil {slog.Error("访问网页失败：" + url)}fmt.Println("访问成功：" + url)time.Sleep(time.Duration(rand.Int31n(60)) * time.Second)}
}

效果
在这里插入图片描述

总结

虽然我们实现了爬取csdn网页，但是仍然存在许多问题：

  1. 没有代理频繁访问容易封ip，造成无法访问csdn
  2. 爬取只能爬取前二十篇文章，该解决方法是参考该api，只需要把username改成自己的id即可https://blog.csdn.net/community/home-api/v1/get-business-list?page=2&size=20&businessType=lately&noMore=false&username=studycodeday"
  3. 没有进行请求伪装，随时可能被封

这篇关于go 语言爬虫库goquery介绍的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/630655。

相关文章

性能测试介绍

性能测试介绍

性能测试是一种测试方法，旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试，可以确定系统是否能够满足预期的性能要求，找出性能瓶颈和潜在的问题，并进行优化和调整。 发现性能瓶颈：性能测试可以帮助发现系统的性能瓶颈，即系统在高负载或高并发情况下可能出现的问题
阅读更多...
水位雨量在线监测系统概述及应用介绍

水位雨量在线监测系统概述及应用介绍

在当今社会，随着科技的飞速发展，各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中，水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术，其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成，形成了一个完整的闭环系统。 数据采集单元：这是系统的“眼睛”，
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

介绍 R语言的扩展物种堆积图是一种数据可视化工具，它不仅展示了物种的堆积结果，还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异，为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
C++——stack、queue的实现及deque的介绍

C++——stack、queue的实现及deque的介绍

目录 1.stack与queue的实现 1.1stack的实现  1.2 queue的实现 2.重温vector、list、stack、queue的介绍 2.1 STL标准库中stack和queue的底层结构  3.deque的简单介绍 3.1为什么选择deque作为stack和queue的底层默认容器  3.2 STL中对stack与queue的模拟实现 ①stack模拟实现
阅读更多...
Go Playground 在线编程环境

Go Playground 在线编程环境

For all examples in this and the next chapter, we will use Go Playground. Go Playground represents a web service that can run programs written in Go. It can be opened in a web browser using the follow
阅读更多...
Python3 BeautifulSoup爬虫 POJ自动提交

Python3 BeautifulSoup爬虫 POJ自动提交

POJ 提交代码采用Base64加密方式 import http.cookiejarimport loggingimport urllib.parseimport urllib.requestimport base64from bs4 import BeautifulSoupfrom submitcode import SubmitCodeclass SubmitPoj():de
阅读更多...
go基础知识归纳总结

go基础知识归纳总结

无缓冲的 channel 和有缓冲的 channel 的区别？ 在 Go 语言中，channel 是用来在 goroutines 之间传递数据的主要机制。它们有两种类型：无缓冲的 channel 和有缓冲的 channel。 无缓冲的 channel 行为：无缓冲的 channel 是一种同步的通信方式，发送和接收必须同时发生。如果一个 goroutine 试图通过无缓冲 channel
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2