【R语言爬虫】网贷天眼数据平台表格数据抓取2

本文主要是介绍【R语言爬虫】网贷天眼数据平台表格数据抓取2，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、需求分析
抓取url:
http://www.p2peye.com/shuju/ptsj/
昨日数据：
字段：排序 平台名称 成交额 综合利率 投资人 借款周期 借款人 满标速度 累计贷款余额 资金净流入

二、rvest爬虫实现源代码

rm(list=ls())
gc()
options(scipen = 200)
library('rvest')
timestart<-Sys.time()url="http://www.p2peye.com/shuju/ptsj/"#从网站中读取HTML代码
webpage <- read_html(url)#使用CSS选择器来爬取排名部分
rank_data_html <- html_nodes(webpage,'.num')
#将排名数据转化为文本
rank_data <- html_text(rank_data_html)
#数据预处理：将排名转换为数字格式
rank_data<-as.numeric(rank_data[2:length(rank_data)])name <- html_nodes(webpage,'.name')
name_data <- html_text(name[2:length(name)])
#数据预处理：去掉'\n'
name_data<-gsub("\n","",name_data)
#数据预处理：去掉多余的空格
name_data<-gsub(" ","",name_data)total <- html_nodes(webpage,'.total')
total_data <- html_text(total[2:length(total)])rate <- html_nodes(webpage,'.rate')
rate_data <- html_text(rate[2:length(rate)])pnum <- html_nodes(webpage,'.pnum')
pnum_data <- html_text(pnum[2:length(pnum)])cycle <- html_nodes(webpage,'.cycle')
cycle_data <- html_text(cycle[2:length(cycle)])p1num <- html_nodes(webpage,'.p1num')
p1num_data <- html_text(p1num[2:length(p1num)])fuload <- html_nodes(webpage,'.fuload')
fuload_data <- html_text(fuload[2:length(fuload)])alltotal <- html_nodes(webpage,'.alltotal')
alltotal_data <- html_text(alltotal[2:length(alltotal)])capital <- html_nodes(webpage,'.capital')
capital_data <- html_text(capital[2:length(capital)])data <- data.frame("排序"=rank_data,"平台名称"=name_data,"成交额"=total_data,"综合利率"=rate_data,"投资人"=pnum_data,"借款周期"=cycle_data,"借款人"=pnum_data,"满标速度"=fuload_data,"累计贷款余额"=alltotal_data,"资金净流入"=capital_data)###############写出数据到excel
library(xlsx)
write.xlsx(data,"C:\\mydata.xlsx",row.names = F)  
timeend<-Sys.time()
runningtime<-timeend-timestart
print(runningtime) 

这篇关于【R语言爬虫】网贷天眼数据平台表格数据抓取2的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---