广西互联网金融平台系列-Scrapy结合Selenium爬虫爬取宝筹贷数据

本文主要是介绍广西互联网金融平台系列-Scrapy结合Selenium爬虫爬取宝筹贷数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

一、背景

在平常爬取过程中会遇到很多结构不同和渲染方式不同的网站,比如这次的宝筹贷,它的列表页渲染方式和详情页的渲染方式是不一致的,详情页和投资记录的数据渲染方式则一致。遇到这样的数据,通常的应对方法有两种:

1.scrapy直接请求接口地址即可,模拟登录或者甚至不用登录,像爬取乐助贷、够力金融、汇泰在线这些平台一样,直接从接口拿数据就行了。

2.scrapy结合selenium进行爬取,这个就有意思了。

二、目的

通过工具的结合,对平台的数据进行抓取,只写逻辑,具体详细的入库操作就不仔细记录了。

三、条件

1.列表页渲染方式是html/css

2.详情页和投资记录页是通过Ajax和api进行通信的

3.投资记录的接口请求跟够力金融的类似,都是需要接口翻页(我就不重复写了)

四、工具

1.scrapy爬虫框架

2.selenium自动化测试工具

五、示例

代码逻辑:

1.在middleware里面将scrapy和selenium进行结合

2.在spider中重载方法,做到开启爬虫时自动调用浏览器,在爬虫退出后自动关闭浏览器

3.到列表页进行url的抽取,交给parse_detail进行详细的爬取

4.parse_detail进行详细数据爬取,并且交给item进行序列化

以下是spider里面的代码:


class BaochouSpider(scrapy.Spider):name = 'baochou'allowed_domains = ['www.baochoudai.com']start_urls = ['https://www.baochoudai.com/index.php?g=Borrow&m=Public&a=lists&t=1']def __init__(self):"""通过chrome请求动态网页当爬虫关闭的时候  自动关闭浏览器窗口"""# 设置chromediver不加载图片chrome_opt = webdriver.ChromeOptions()  # 初始化配置ChromeOptionsprefs = {"profile.managed_default_content_settings.images": 2}  # 开关  这是固定写法chrome_opt.add_experimental_option("prefs", prefs)  # 配置进来self.browser = webdriver.Chrome(executable_path="E:/SpiderTools/chromedriver.exe",chrome_options=chrome_opt)super(BaochouSpider, self).__init__()# 当收到spider_closed信号的时候,调用下面的spider_colosed方法来关闭浏览器dispatcher.connect(self.spider_closed, signals.spider_closed)def spider_closed(self, spider):# 当爬虫退出的时候关闭chromeself.browser.quit()def parse(self, response):"""将当前列表页的每条标的链接拿到并传给detail进行深入爬取已知页码可以在url中循环  就不用翻页了"""total = response.css('h4.inline-block.mb15.fs22 a')for x in total:target_urls = x.css('::attr(href)').extract_first("")yield Request(url=parse.urljoin(response.url,target_urls),callback=self.parse_detail)for i in range(1,22):next_pages = "https://www.baochoudai.com/index.php?g=Borrow&m=Public&a=lists&t=1&page=%s" %(i)yield Request(url=next_pages,callback=self.parse)def parse_detail(self, response):loaders = BaochouItemLoader(item=BaochouItem(),response=response)loaders.add_css("title", ".inline-block.pr20 span::text")loaders.add_css("protype", ".inline-block.pr20 span::text")loaders.add_css("amount", ".fl.w280.pt15 span.fs46.lh1::text")loaders.add_css("profit", ".fl.w220.pt15 span.fs46.lh1::text")loaders.add_css("terms", "div.pl30:nth-child(3) div:first-child span:first-child::text")loaders.add_value("target_urls", response.url)loaders.add_value("target_urls_id", response.url)iloaders_item = loaders.load_item()yield iloaders_item

middleware里面结合selenium的代码就不记录了。

六、总结

全程通过浏览器进行自动化爬取,写完代码运行即可

由于调用浏览器比较费时费力,所以在调用的时候禁止浏览器加载图片,速度加快一倍

其实这种加载浏览器的方式速度会变慢,实在不得已而为止的情况下再考虑用(比如某些网站限制爬虫访问,那么就要用到这种方式)

相对于直接请求接口api,这种方式得到的数据并没有那么齐全,如果是请求api也是可以拿到Userid的,对用户行为、偏好、投资能力等进行分析和推算。比如宝筹贷这个平台的投资人属性有以下几种:

1.很多投资人都是只投100元

2.投资终端最多的就是微信

3.可以根据api中投资人的手机号码计算投资人归属地

4.得到完整数据后计算投资总额top10/投资次数Top10

5.投资人单笔投资金额普遍是1000以内,超过1000的不多

七、部分数据展示

以下是宝筹贷的部分数据展示 包括(id 标题、金额、收益率、期限、对应地址、唯一id、来源、类型)等

'2131', '2017101703保汇贷03号', '500000', '10', '4.0', NULL, NULL, 'https://www.baochoudai.com/index.php?g=Borrow&m=Public&a=show&borrow_nid=20171000003', '4b5f66f1445bcb6558515a85d5ba2c50', NULL, '宝筹贷', '14''2132', '2017101102保汇贷02号', '600000', '9.8', '3.0', NULL, NULL, 'https://www.baochoudai.com/index.php?g=Borrow&m=Public&a=show&borrow_nid=20171000002', '4efd8370abcd9622df51c9f6a9fa674f', NULL, '宝筹贷', '14''2133', '20150731房产抵押借款项目第03号', '900000', '15', '1.0', NULL, NULL, 'https://www.baochoudai.com/index.php?g=Borrow&m=Public&a=show&borrow_nid=20150700022', '700acd1785848a3072b484c0710251e0', NULL, '宝筹贷', '2''2134', '20150728房产抵押借款项目第01-22号', '20000', '18', '0.3333333333333333', NULL, NULL, 'https://www.baochoudai.com/index.php?g=Borrow&m=Public&a=show&borrow_nid=20150700020', '3a2b77053c9518f02b579cff977e2e6e', NULL, '宝筹贷', '2''2135', '20150812房产抵押04-1号', '20000', '20', '0.5', NULL, NULL, 'https://www.baochoudai.com/index.php?g=Borrow&m=Public&a=show&borrow_nid=20150800002', '3306ed018df098febcf08b55bd9a21f1', NULL, '宝筹贷', '2''2136', '20150807银行过桥项目第01号', '380000', '15', '0.3333333333333333', NULL, NULL, 'https://www.baochoudai.com/index.php?g=Borrow&m=Public&a=show&borrow_nid=20150800001', '821d818039a38a0ec8f0c3e7b0fa9373', NULL, '宝筹贷', '14''2137', '20150818房产抵押04-2号', '20000', '20', '0.5', NULL, NULL, 'https://www.baochoudai.com/index.php?g=Borrow&m=Public&a=show&borrow_nid=20150800003', '32217f70fbb8af31a234e5d4dc12f46c', NULL, '宝筹贷', '2'

转载于:https://my.oschina.net/RanboSpider/blog/1605694

这篇关于广西互联网金融平台系列-Scrapy结合Selenium爬虫爬取宝筹贷数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/761398

相关文章

Python中re模块结合正则表达式的实际应用案例

《Python中re模块结合正则表达式的实际应用案例》Python中的re模块是用于处理正则表达式的强大工具,正则表达式是一种用来匹配字符串的模式,它可以在文本中搜索和匹配特定的字符串模式,这篇文章主... 目录前言re模块常用函数一、查看文本中是否包含 A 或 B 字符串二、替换多个关键词为统一格式三、提

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模

浅析如何保证MySQL与Redis数据一致性

《浅析如何保证MySQL与Redis数据一致性》在互联网应用中,MySQL作为持久化存储引擎,Redis作为高性能缓存层,两者的组合能有效提升系统性能,下面我们来看看如何保证两者的数据一致性吧... 目录一、数据不一致性的根源1.1 典型不一致场景1.2 关键矛盾点二、一致性保障策略2.1 基础策略:更新数

Oracle 数据库数据操作如何精通 INSERT, UPDATE, DELETE

《Oracle数据库数据操作如何精通INSERT,UPDATE,DELETE》在Oracle数据库中,对表内数据进行增加、修改和删除操作是通过数据操作语言来完成的,下面给大家介绍Oracle数... 目录思维导图一、插入数据 (INSERT)1.1 插入单行数据,指定所有列的值语法:1.2 插入单行数据,指

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名