【go语言爬虫】网贷天眼数据平台爬虫

2024-09-07 07:38

本文主要是介绍【go语言爬虫】网贷天眼数据平台爬虫,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、需求分析
利用go语言抓取网贷天眼数据平台昨日数据
字段:
排序 平台名称 成交额 综合利率 投资人 借款周期 借款人 满标速度 累计贷款余额 资金净流入
抓取url:
http://www.p2peye.com/shuju/ptsj/

二、go语言爬虫实现源代码

package mainimport ("fmt""io/ioutil""net/http""time""os""regexp""github.com/axgle/mahonia")//定义新的数据类型
type Spider1 struct {url    stringheader map[string]string
}//定义 Spider get的方法
func (keyword Spider1) get_html_header() string {client := &http.Client{}req, err := http.NewRequest("GET", keyword.url, nil)if err != nil {}for key, value := range keyword.header {req.Header.Add(key, value)}resp, err := client.Do(req)if err != nil {}defer resp.Body.Close()body, err := ioutil.ReadAll(resp.Body)if err != nil {}return string(body)}func parse1() {header := map[string]string{"Host":"www.p2peye.com","Connection":"keep-alive","Cache-Control":"max-age=0","Upgrade-Insecure-Requests":"1","User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36","Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8","Referer":"http://www.p2peye.com/shuju/hysj/","Accept-Language":"zh-CN,zh;q=0.8",}//创建excel文件f, err := os.Create("C:/p2p.xlsx")if err != nil {panic(err)}defer f.Close()//写入标题f.WriteString("排序"+"\t"+"平台名称"+"\t"+"成交额"+"\t" +"综合利率"+"\t"   +"投资人"+"\t"+"借款周期"+"\t"+"借款人"+"\t"+"满标速度"+"\t"+"累计贷款余额"+"\t"+"资金净流入"+"\r\n")url := "http://www.p2peye.com/shuju/ptsj/"spider := &Spider1{url, header}html := spider.get_html_header()//设置编码格式decoder := mahonia.NewDecoder("gbk")html1:=decoder.ConvertString(html)//排序pattern1 := `<td class="num">(.*?)</td>`rp1 := regexp.MustCompile(pattern1)find_txt1 := rp1.FindAllStringSubmatch(html1, -1)//平台名称pattern2 := ` onclick="return false" title="(.*)">`rp2 := regexp.MustCompile(pattern2)find_txt2 := rp2.FindAllStringSubmatch(html1, -1)//成交额pattern3 := `<td class="total">(.*?)</td>`rp3 := regexp.MustCompile(pattern3)find_txt3 := rp3.FindAllStringSubmatch(html1, -1)//综合利率pattern4 := `<td class="rate">(.*?)</td>`rp4 := regexp.MustCompile(pattern4)find_txt4 := rp4.FindAllStringSubmatch(html1, -1)//投资人pattern5 := `<td class="pnum">(.*?)</td>`rp5 := regexp.MustCompile(pattern5)find_txt5 := rp5.FindAllStringSubmatch(html1, -1)//借款周期pattern6 := `<td class="cycle">(.*?)</td>`rp6 := regexp.MustCompile(pattern6)find_txt6 := rp6.FindAllStringSubmatch(html1, -1)//借款人pattern7 := `<td class="p1num">(.*?)</td>`rp7 := regexp.MustCompile(pattern7)find_txt7 := rp7.FindAllStringSubmatch(html1, -1)//满标速度pattern8 := `<td class="fuload">(.*?)</td>`rp8 := regexp.MustCompile(pattern8)find_txt8 := rp8.FindAllStringSubmatch(html1, -1)//累计贷款余额pattern9 := `<td class="alltotal">(.*?)</td>`rp9 := regexp.MustCompile(pattern9)find_txt9 := rp9.FindAllStringSubmatch(html1, -1)//资金净流入pattern10 := `<td class="capital">(.*?)</td>`rp10 := regexp.MustCompile(pattern10)find_txt10 := rp10.FindAllStringSubmatch(html1, -1) 写入UTF-8 BOMf.WriteString("\xEF\xBB\xBF")   打印全部数据和写入excel文件for i := 0; i < len(find_txt1); i++ {fmt.Printf("%s  %s  %s  %s  %s  %s  %s  %s  %s  %s\n",find_txt1[i][1],find_txt2[i][1],find_txt3[i][1],find_txt4[i][1],find_txt5[i][1],find_txt6[i][1],find_txt7[i][1],find_txt8[i][1],find_txt9[i][1],find_txt10[i][1])f.WriteString(find_txt1[i][1] + "\t" + find_txt2[i][1] + "\t" + find_txt3[i][1] + "\t"+find_txt4[i][1] + "\t" + find_txt5[i][1] + "\t"+find_txt6[i][1] + "\t"+find_txt7[i][1] + "\t" + find_txt8[i][1] + "\t" + find_txt9[i][1] + "\t"+find_txt10[i][1] + "\r\n")}}func main() {t1 := time.Now() // get current timeparse1()elapsed := time.Since(t1)fmt.Println("爬虫结束,总共耗时: ", elapsed)}

这里写图片描述

这里写图片描述

这篇关于【go语言爬虫】网贷天眼数据平台爬虫的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1144468

相关文章

go 指针接收者和值接收者的区别小结

《go指针接收者和值接收者的区别小结》在Go语言中,值接收者和指针接收者是方法定义中的两种接收者类型,本文主要介绍了go指针接收者和值接收者的区别小结,文中通过示例代码介绍的非常详细,需要的朋友们下... 目录go 指针接收者和值接收者的区别易错点辨析go 指针接收者和值接收者的区别指针接收者和值接收者的

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient

深入理解Apache Kafka(分布式流处理平台)

《深入理解ApacheKafka(分布式流处理平台)》ApacheKafka作为现代分布式系统中的核心中间件,为构建高吞吐量、低延迟的数据管道提供了强大支持,本文将深入探讨Kafka的核心概念、架构... 目录引言一、Apache Kafka概述1.1 什么是Kafka?1.2 Kafka的核心概念二、Ka

SpringValidation数据校验之约束注解与分组校验方式

《SpringValidation数据校验之约束注解与分组校验方式》本文将深入探讨SpringValidation的核心功能,帮助开发者掌握约束注解的使用技巧和分组校验的高级应用,从而构建更加健壮和可... 目录引言一、Spring Validation基础架构1.1 jsR-380标准与Spring整合1

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

SpringBatch数据写入实现

《SpringBatch数据写入实现》SpringBatch通过ItemWriter接口及其丰富的实现,提供了强大的数据写入能力,本文主要介绍了SpringBatch数据写入实现,具有一定的参考价值,... 目录python引言一、ItemWriter核心概念二、数据库写入实现三、文件写入实现四、多目标写入

使用Python将JSON,XML和YAML数据写入Excel文件

《使用Python将JSON,XML和YAML数据写入Excel文件》JSON、XML和YAML作为主流结构化数据格式,因其层次化表达能力和跨平台兼容性,已成为系统间数据交换的通用载体,本文将介绍如何... 目录如何使用python写入数据到Excel工作表用Python导入jsON数据到Excel工作表用

Mysql如何将数据按照年月分组的统计

《Mysql如何将数据按照年月分组的统计》:本文主要介绍Mysql如何将数据按照年月分组的统计方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql将数据按照年月分组的统计要的效果方案总结Mysql将数据按照年月分组的统计要的效果方案① 使用 DA

Go 语言中的select语句详解及工作原理

《Go语言中的select语句详解及工作原理》在Go语言中,select语句是用于处理多个通道(channel)操作的一种控制结构,它类似于switch语句,本文给大家介绍Go语言中的select语... 目录Go 语言中的 select 是做什么的基本功能语法工作原理示例示例 1:监听多个通道示例 2:带

鸿蒙中Axios数据请求的封装和配置方法

《鸿蒙中Axios数据请求的封装和配置方法》:本文主要介绍鸿蒙中Axios数据请求的封装和配置方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.配置权限 应用级权限和系统级权限2.配置网络请求的代码3.下载在Entry中 下载AxIOS4.封装Htt