Python爬虫学习-第四篇 Scrapy框架抓取唯品会数据

2023-10-12 23:50

本文主要是介绍Python爬虫学习-第四篇 Scrapy框架抓取唯品会数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

上篇博文讲述了scrapy的框架和组件,对于scrapy有了基本的了解,那么我们进入今天的正题:使用Scrapy框架爬取数据。

1.创建Scrapy项目

创建Scrapy工程文件的命令:

 scrapy startproject scrapytest

  此命令是python默认目下创建的工程。

指定目录文件下创建项目:

1.进入指定目录  cd D:\workspaces 2.该目录下执行:scrapy startproject scrapytest 

2.scrpay项目结构

 使用PyCharm,打开scrpy的工程文件,效果如下:

2.1 spiders 文件夹就是我们编写spider存放的目录

2.2 items是定义数据类型

2.3 pipeline 负责处理被spider提取出来的item

2.4 Middlewares 默认两个中间件,一个spider 一个是download

2.5 setting 配置信息 默认:

 3.抓取某品会的纸尿裤数据

     3.1 定义数据

class DiaperItem(scrapy.Item):diaper_name = scrapy.Field() #纸尿裤商品名称diaper_price = scrapy.Field()#价格diaper_url = scrapy.Field()  #详情路径diaper_source_shop = scrapy.Field() #来源商城(默认为某品会)

   3.2 抓取目标分析

 

 

 

  目标是抓取上图所有的纸尿裤数据。

        3.2.1抓取页面代码

       通过写spider直接访问路径:https://category.vip.com/suggest.php?keyword=纸尿裤

from scrapy.spiders import Spider
from scrapy.http.request import Requestclass vipShopSpider(Spider):name = "vipshopSpider"allowed_domains = ["category.vip.com"]start_url = 'https://category.vip.com/suggest.php?keyword=%E7%BA%B8%E5%B0%BF%E8%A3%A4'def start_requests(self):yield Request(url=self.start_url, callback=self.parse)def parse(self, response):body = response.body.decode('utf-8')pass

其中name就是爬虫的名称,必有字段

allowed_domains 允许爬去站点的域名,此域名内的访问才算有效。

start_url自定义参数,爬虫开始的爬去的页面路径。

start_request第一次请求,url请求页面路径,callback回调函数。

parse 自定义的方法,用于解析html ,主要爬取规则在这里实现。

通过pycharm 配置参数,调试爬虫,获取响应的内容body,用于我们第二次分析.

配置调试步骤:

填入python命令行路径  和执行scrapy的命令:crawl  vipShopSpider

debug运行 ,设置断点,查看body:

复制body ,得到访问结果。经过分析,我们发现body没有商品的信息,得到是一段未经过js渲染的代码:

  那该怎么办呢,我们用到与scrpy配套的js渲染中间件splash,通过这个splash,我们可以得到渲染后的body。

 安装splash很简单,只需在docker环境 安装splash就可以了(这个不是此篇文章的重点)。具体百度。

 splash安装成功后 界面如下:

 

 setting配置splash:

SPLASH_URL = '你的splash的url'DOWNLOADER_MIDDLEWARES = {'scrapy_splash.SplashCookiesMiddleware': 723,'scrapy_splash.SplashMiddleware': 725,'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}SPIDER_MIDDLEWARES = {'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

修改spider:

  script = """function main(splash, args)splash:go(args.url)local scroll_to = splash:jsfunc("window.scrollTo")scroll_to(0, 2800)splash:set_viewport_full()splash:wait(5)return {html=splash:html()}end"""def start_requests(self):#yield Request(url=self.start_url, callback=self.parse)yield SplashRequest(url=self.start_url, callback=self.parse, endpoint='execute',args={'lua_source': self.script})

script的lua脚本,作用模拟拖动鼠标到页面最低端,保证页面把当前网页的数据加载完成。

再次debug运行爬虫,抓取body,查看最终的html代码。看到产品名称,价格信息。

    3.2.2抓取规则

     从html代码中获取到制定数据,selector(选择器)就在这时候大显身手,scapy选择器是依赖于lxml库,在我的博文《Python爬虫学习-第三篇 Scrapy框架初探和安装》提到过,所以在这儿我就不多讲,直接贴出我的筛选规则代码:

  def parse(self, response):sel = Selector(response)items = sel.xpath('//div[@class="goods-list-item  c-goods  J_pro_items"]')for data in items:diaper_name = data.xpath('.//h4[@class="goods-info goods-title-info"]/a/@title').extract_first()diaper_price = data.xpath('.//div[@class="goods-price-wrapper"]/em/span[@class="price"]/text()').extract_first()diaper_url = data.xpath('.//h4[@class="goods-info goods-title-info"]/a/@href').extract_first()shop_diaper_item = DiaperItem()shop_diaper_item['diaper_name'] = diaper_nameshop_diaper_item['diaper_price'] = (re.findall(r"\d+\.?\d*", diaper_price))[0]shop_diaper_item['diaper_url'] = 'https:' + diaper_urlshop_diaper_item['diaper_source_shop'] = '唯品会'yield shop_diaper_itemnext_url = sel.xpath('//div[@class="m-cat-paging ui-paging"]/a[@class="cat-paging-next next"]/@href').extract_first()if next_url is not None:next_url = response.urljoin(next_url)yield SplashRequest(next_url, callback=self.parse, endpoint='execute', args={'lua_source': self.script})

      第一步:  sel = Selector(response)
        items = sel.xpath('//div[@class="goods-list-item  c-goods  J_pro_items"]')  选取class是"goods-list-item  c-goods  J_pro_items"的元素

      第二步:遍历选取的元素,找到名称、价格、详情url,赋值给自定义DiaperItem,返回DiaperItem

      第三步:找取下一页:

       next_url = sel.xpath(
            '//div[@class="m-cat-paging ui-paging"]/a[@class="cat-paging-next next"]/@href').extract_first() 找取分页的下一页href。得到类似的结果:

判断是否为空,不为空,拼接成类似https://category.vip.com/suggest.php?keyword=纸尿裤&page=2&count=100&suggestType=brand#catPerPos的链接

在加入splash的渲染中间件,循环调取。

   ps:scrapy 是默认开启了,url去重的访问,所以即使有重复url路径请求,scrapy会自动清除。

   3.2.3保存数据

      使用pipeline来处理数据,使用mssql数据库来存储数据:

from DiaperService.MssqlService import MssqlServiceclass DiaperPipeline(object):def process_item(self, item, spider):name = item['diaper_name'].replace("'", "''")ms = MssqlService(server='192.168.200.200', user='sa', password='123456aA', db_name='test')sql = 'insert into [dbo].[Diaper](Name,Price,DetailUrl,SourceShop) ' \'values(\'%s\',%f,\'%s\',\'%s\') ' % (name,float(item['diaper_price']),item['diaper_url'],item['diaper_source_shop'])# print(sql)ms.exec_non_query(sql)return item

封装的mssql服务:

import pymssqlclass MssqlService(object):def __init__(self, server, user, password, db_name):self.host = serverself.user = userself.password = passwordself.database = db_nameself.conn = self.__get_Conn()def __get_Conn(self):conn = pymssql.connect(self.host, self.user, self.password, self.database)return conndef exec_query(self, sql):cur = self.conn.cursor()cur.execute(sql)result_list = cur.fetchall()cur.close()return result_listdef exec_non_query(self, sql):cur = self.conn.cursor()cur.execute(sql)self.conn.commit()cur.close()

setting配置pipeline的优先级300:

ITEM_PIPELINES = {'Diaper.pipelines.DiaperPipeline': 300,
}

那么到现在我们已经把爬虫从请求网页,获取相应,解析内容,保存数据的都完成开发,所以我们运行下程序,查看是否成功抓取数据。

数据库中的数据:

 4.总结

      scrapy还有很多强大的功能去探索,比如链式爬虫,能够递归爬取数据,可以配置递归的层级等。同时它的选择器lxml库,筛选查询非常方便快速,相较于正则表达式学习成本更低,更易理解,能让新手快速入门。

这篇关于Python爬虫学习-第四篇 Scrapy框架抓取唯品会数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/199308

相关文章

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

python获取网页表格的多种方法汇总

《python获取网页表格的多种方法汇总》我们在网页上看到很多的表格,如果要获取里面的数据或者转化成其他格式,就需要将表格获取下来并进行整理,在Python中,获取网页表格的方法有多种,下面就跟随小编... 目录1. 使用Pandas的read_html2. 使用BeautifulSoup和pandas3.

Python装饰器之类装饰器详解

《Python装饰器之类装饰器详解》本文将详细介绍Python中类装饰器的概念、使用方法以及应用场景,并通过一个综合详细的例子展示如何使用类装饰器,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录1. 引言2. 装饰器的基本概念2.1. 函数装饰器复习2.2 类装饰器的定义和使用3. 类装饰

Python 交互式可视化的利器Bokeh的使用

《Python交互式可视化的利器Bokeh的使用》Bokeh是一个专注于Web端交互式数据可视化的Python库,本文主要介绍了Python交互式可视化的利器Bokeh的使用,具有一定的参考价值,感... 目录1. Bokeh 简介1.1 为什么选择 Bokeh1.2 安装与环境配置2. Bokeh 基础2

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据(NaN值)是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值?为什么要统计空值?准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

Python的time模块一些常用功能(各种与时间相关的函数)

《Python的time模块一些常用功能(各种与时间相关的函数)》Python的time模块提供了各种与时间相关的函数,包括获取当前时间、处理时间间隔、执行时间测量等,:本文主要介绍Python的... 目录1. 获取当前时间2. 时间格式化3. 延时执行4. 时间戳运算5. 计算代码执行时间6. 转换为指

利用Python调试串口的示例代码

《利用Python调试串口的示例代码》在嵌入式开发、物联网设备调试过程中,串口通信是最基础的调试手段本文将带你用Python+ttkbootstrap打造一款高颜值、多功能的串口调试助手,需要的可以了... 目录概述:为什么需要专业的串口调试工具项目架构设计1.1 技术栈选型1.2 关键类说明1.3 线程模

Python ZIP文件操作技巧详解

《PythonZIP文件操作技巧详解》在数据处理和系统开发中,ZIP文件操作是开发者必须掌握的核心技能,Python标准库提供的zipfile模块以简洁的API和跨平台特性,成为处理ZIP文件的首选... 目录一、ZIP文件操作基础三板斧1.1 创建压缩包1.2 解压操作1.3 文件遍历与信息获取二、进阶技