【go语言爬虫】网贷天眼数据平台爬虫

2024-09-07 07:38

本文主要是介绍【go语言爬虫】网贷天眼数据平台爬虫,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、需求分析
利用go语言抓取网贷天眼数据平台昨日数据
字段:
排序 平台名称 成交额 综合利率 投资人 借款周期 借款人 满标速度 累计贷款余额 资金净流入
抓取url:
http://www.p2peye.com/shuju/ptsj/

二、go语言爬虫实现源代码

package mainimport ("fmt""io/ioutil""net/http""time""os""regexp""github.com/axgle/mahonia")//定义新的数据类型
type Spider1 struct {url    stringheader map[string]string
}//定义 Spider get的方法
func (keyword Spider1) get_html_header() string {client := &http.Client{}req, err := http.NewRequest("GET", keyword.url, nil)if err != nil {}for key, value := range keyword.header {req.Header.Add(key, value)}resp, err := client.Do(req)if err != nil {}defer resp.Body.Close()body, err := ioutil.ReadAll(resp.Body)if err != nil {}return string(body)}func parse1() {header := map[string]string{"Host":"www.p2peye.com","Connection":"keep-alive","Cache-Control":"max-age=0","Upgrade-Insecure-Requests":"1","User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36","Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8","Referer":"http://www.p2peye.com/shuju/hysj/","Accept-Language":"zh-CN,zh;q=0.8",}//创建excel文件f, err := os.Create("C:/p2p.xlsx")if err != nil {panic(err)}defer f.Close()//写入标题f.WriteString("排序"+"\t"+"平台名称"+"\t"+"成交额"+"\t" +"综合利率"+"\t"   +"投资人"+"\t"+"借款周期"+"\t"+"借款人"+"\t"+"满标速度"+"\t"+"累计贷款余额"+"\t"+"资金净流入"+"\r\n")url := "http://www.p2peye.com/shuju/ptsj/"spider := &Spider1{url, header}html := spider.get_html_header()//设置编码格式decoder := mahonia.NewDecoder("gbk")html1:=decoder.ConvertString(html)//排序pattern1 := `<td class="num">(.*?)</td>`rp1 := regexp.MustCompile(pattern1)find_txt1 := rp1.FindAllStringSubmatch(html1, -1)//平台名称pattern2 := ` onclick="return false" title="(.*)">`rp2 := regexp.MustCompile(pattern2)find_txt2 := rp2.FindAllStringSubmatch(html1, -1)//成交额pattern3 := `<td class="total">(.*?)</td>`rp3 := regexp.MustCompile(pattern3)find_txt3 := rp3.FindAllStringSubmatch(html1, -1)//综合利率pattern4 := `<td class="rate">(.*?)</td>`rp4 := regexp.MustCompile(pattern4)find_txt4 := rp4.FindAllStringSubmatch(html1, -1)//投资人pattern5 := `<td class="pnum">(.*?)</td>`rp5 := regexp.MustCompile(pattern5)find_txt5 := rp5.FindAllStringSubmatch(html1, -1)//借款周期pattern6 := `<td class="cycle">(.*?)</td>`rp6 := regexp.MustCompile(pattern6)find_txt6 := rp6.FindAllStringSubmatch(html1, -1)//借款人pattern7 := `<td class="p1num">(.*?)</td>`rp7 := regexp.MustCompile(pattern7)find_txt7 := rp7.FindAllStringSubmatch(html1, -1)//满标速度pattern8 := `<td class="fuload">(.*?)</td>`rp8 := regexp.MustCompile(pattern8)find_txt8 := rp8.FindAllStringSubmatch(html1, -1)//累计贷款余额pattern9 := `<td class="alltotal">(.*?)</td>`rp9 := regexp.MustCompile(pattern9)find_txt9 := rp9.FindAllStringSubmatch(html1, -1)//资金净流入pattern10 := `<td class="capital">(.*?)</td>`rp10 := regexp.MustCompile(pattern10)find_txt10 := rp10.FindAllStringSubmatch(html1, -1) 写入UTF-8 BOMf.WriteString("\xEF\xBB\xBF")   打印全部数据和写入excel文件for i := 0; i < len(find_txt1); i++ {fmt.Printf("%s  %s  %s  %s  %s  %s  %s  %s  %s  %s\n",find_txt1[i][1],find_txt2[i][1],find_txt3[i][1],find_txt4[i][1],find_txt5[i][1],find_txt6[i][1],find_txt7[i][1],find_txt8[i][1],find_txt9[i][1],find_txt10[i][1])f.WriteString(find_txt1[i][1] + "\t" + find_txt2[i][1] + "\t" + find_txt3[i][1] + "\t"+find_txt4[i][1] + "\t" + find_txt5[i][1] + "\t"+find_txt6[i][1] + "\t"+find_txt7[i][1] + "\t" + find_txt8[i][1] + "\t" + find_txt9[i][1] + "\t"+find_txt10[i][1] + "\r\n")}}func main() {t1 := time.Now() // get current timeparse1()elapsed := time.Since(t1)fmt.Println("爬虫结束,总共耗时: ", elapsed)}

这里写图片描述

这里写图片描述

这篇关于【go语言爬虫】网贷天眼数据平台爬虫的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1144468

相关文章

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

C语言中的数据类型强制转换

《C语言中的数据类型强制转换》:本文主要介绍C语言中的数据类型强制转换方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C语言数据类型强制转换自动转换强制转换类型总结C语言数据类型强制转换强制类型转换:是通过类型转换运算来实现的,主要的数据类型转换分为自动转换

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

C语言实现两个变量值交换的三种方式

《C语言实现两个变量值交换的三种方式》两个变量值的交换是编程中最常见的问题之一,以下将介绍三种变量的交换方式,其中第一种方式是最常用也是最实用的,后两种方式一般只在特殊限制下使用,需要的朋友可以参考下... 目录1.使用临时变量(推荐)2.相加和相减的方式(值较大时可能丢失数据)3.按位异或运算1.使用临时

使用C语言实现交换整数的奇数位和偶数位

《使用C语言实现交换整数的奇数位和偶数位》在C语言中,要交换一个整数的二进制位中的奇数位和偶数位,重点需要理解位操作,当我们谈论二进制位的奇数位和偶数位时,我们是指从右到左数的位置,本文给大家介绍了使... 目录一、问题描述二、解决思路三、函数实现四、宏实现五、总结一、问题描述使用C语言代码实现:将一个整

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密