Go 爬虫之 colly 从入门到不放弃指南

colly 的安装和其他的 Go 库安装一样简单。如下：

go get -u github.com/gocolly/colly

一行命令搞定。So easy!

我们来通过一个 hello word 案例快速体验下 colly 的使用。步骤如下：

第一步，导入 colly。

import "github.com/gocolly/colly"

第二步，创建 collector。

c := colly.NewCollector()

第三步，事件监听，通过 callback 执行事件处理。

// Find and visit all links
c.OnHTML("a[href]", func(e *colly.HTMLElement) {link := e.Attr("href")// Print linkfmt.Printf("Link found: %q -> %s\n", e.Text, link)// Visit link found on page// Only those links are visited which are in AllowedDomainsc.Visit(e.Request.AbsoluteURL(link))
})c.OnRequest(func(r *colly.Request) {fmt.Println("Visiting", r.URL)
})

我们顺便列举一下 colly 支持的事件类型，如下：

• OnRequest 请求执行之前调用
• OnResponse 响应返回之后调用
• OnHTML 监听执行 selector
• OnXML 监听执行 selector
• OnHTMLDetach，取消监听，参数为 selector 字符串
• OnXMLDetach，取消监听，参数为 selector 字符串
• OnScraped，完成抓取后执行，完成所有工作后执行
• OnError，错误回调

最后一步，c.Visit() 正式启动网页访问。

c.Visit("http://go-colly.org/")

案例的完成代码在 colly 源码的 _example 目录下 basic 中提供。

colly 是一款配置灵活的框架，提供了大量的可供开发人员配置的选项。默认情况下，每个选项都提供了较优的默认值。

如下是采用默认创建的 collector。

c := colly.NewCollector()

配置创建的 collector，比如设置 useragent 和允许重复访问。代码如下：

c2 := colly.NewCollector(colly.UserAgent("xy"),colly.AllowURLRevisit(),
)

我们也可以创建后再改变配置。

c2 := colly.NewCollector()
c2.UserAgent = "xy"
c2.AllowURLRevisit = true

collector 的配置可以在爬虫执行到任何阶段改变。一个经典的例子，通过随机改变 user-agent，可以帮助我们实现简单的反爬。

const letterBytes = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"func RandomString() string {b := make([]byte, rand.Intn(10