scrapy--解析HTML结构数据

本文主要是介绍scrapy--解析HTML结构数据，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

免责声明:本文仅做演示分享...

拿一页:

qczj.py

拿多页:

构建start_urls自动发请求

手动发请求

详情页数据解析:

总结写法:

汽车之家数据

--用scrapy自带的xpath进行数据解析

拿一页:

qczj.py

    def parse(self, response):# pass# print(response.text)# 基于scrapy的xpath的解析方式:# 响应对象.xpath('xpath表达式')divs = response.xpath('//div[@class="list-cont"]')  # 页面中每个divfor div in divs:# name = div.xpath('.//a[@class="font-bold"]/text()')  # [<Selector对象>]#         # name = div.xpath('.//a[@class="font-bold"]/text()').extract() # ['数据值']#         # name = div.xpath('.//a[@class="font-bold"]/text()').extract_first() # '数据值'#         # name = div.xpath('.//a[@class="font-bold"]/text()').get()  # '数据值'#         # name = div.xpath('.//a[@class="font-bold"]/text()').getall() # ['数据值']#         通过响应对象.xpath得到的是[标签对象]#         如果想要从标签对象中取出文本内容#         返回字符串，用来获取单个：#         get()#         extract_first()#         返回列表，用来获取多个：#         getall()#         extract()name = div.xpath('.//a[@class="font-bold"]/text()').get()# 价格price = div.xpath('.//span[@class="font-arial"]/text()').get()# 其它信息（级别，续航，电动机）# class="info-gray"info = ",".join(div.xpath('.//span[@class="info-gray"]/text()').getall())print(name, price, info)

拿多页:

构建start_urls自动发请求

    # 第一种写法：列表推导式，循环url并生成# start_urls = [#     f"https://car.autohome.com.cn/diandongche/list-20_25-0-0-0-0-0-0-0-{i}.html"#     for i in range(1, 11)# ]# 第二种写法： 往列表中添加数据 列表.append()# start_urls = []# for i in range(1,11):#     start_urls.append(f'https://car.autohome.com.cn/diandongche/list-20_25-0-0-0-0-0-0-0-{i}.html')

手动发请求

# 先访问第一页数据，进入解析方法start_urls = ['https://car.autohome.com.cn/diandongche/list-20_25-0-0-0-0-0-0-0-
1.html']url = 'https://car.autohome.com.cn/diandongche/list-20_25-0-0-0-0-0-0-0-%s.html'page = 1def parse(self, response):# 获取当前进入解析方法的请求url# print(response.url)divs = response.xpath('//div[@class="list-cont"]')  # 页面中每个divfor div in divs:name = div.xpath('.//a[@class="font-bold"]/text()').get()# 价格price = div.xpath('.//span[@class="font-arial"]/text()').get()# 其它信息（级别，续航，电动机）# class="info-gray"info = ','.join(div.xpath('.//span[@class="info-gray"]/text()').getall())print(name, price, info)# 发起后面的页码请求self.page += 1#         构造urlnext_url = self.url % (self.page)# 发请求# 回调函数 解析数据 把当前parse的地址传给callback# 作用：发完请求之后，继续进入解析方法对其它页数据进行解析if len(divs):# 如果解析出数据还有，就再发请求，否则无法结束yield scrapy.Request(url=next_url,callback=self.parse)

详情页数据解析:

很多情况下我们需要拿到主页列表数据之后，还需要进入详情页进行数据获取，这时候也需要借助手动请求的方式进行数据获取.

def parse(self, response):divs = response.xpath('//div[@class="list-cont"]')  # 页面中每个divfor div in divs:name = div.xpath('.//a[@class="font-bold"]/text()').get()# 价格price = div.xpath('.//span[@class="font-arial"]/text()').get()# 其它信息（级别，续航，电动机）# class="info-gray"info = ','.join(div.xpath('.//span[@class="info-gray"]/text()').getall())# 存入item对象中item = Scrapy3Item()item['name'] = nameitem['price'] = priceitem['info'] = info# 要去当前汽车的详情页，就需要获取详情页的urldetail_url = div.xpath('.//a[@class="font-bold"]/@href').get()# https://car.autohome.com.cn/diandongche/series-4278.html#pvareaid=2042206#   /diandongche/series-4278.html#pvareaid=2042206# 拼接urldetail_url = 'https://car.autohome.com.cn' + detail_url#           手动对详情页url发起请求# meta参数是用来给回调方法传入数据的，传入的格式是字典，字典的key可以自定义，字典的值是你要传入的数据值yield scrapy.Request(url=detail_url,callback=self.parse_detail,meta=
{'item':item})# 定义一个方法，用来解析详情页数据def parse_detail(self, response):# 获取item数据 meta是个字典，字典再通过键取值item = response.meta['item']divs = response.xpath('//div[@class="interval01-list-cars-infor"]')types_ls = []for div in divs:type = div.xpath('./p[1]/a/text()').get()types_ls.append(type)#     往item对象中添加types属性item['types'] = types_ls print(item)

总结写法:

import scrapy
from scrapy_demo1.items import ScrapyDemo1Itemclass QczjSpider(scrapy.Spider):name = "qczj"# allowed_domains = ["qczj.com"]start_urls = ["https://car.autohome.com.cn/diandongche/list-20_25-0-0-0-0-0-0-0-1.html"]#url = "https://car.autohome.com.cn/diandongche/list-20_25-0-0-0-0-0-0-0-%s.html"# # 拿多页数据:# 分页的思路：# 因为框架自动从start_urls中拿到url自动发起请求# 如果要实现分页，只需要把分页的url放入列表即可page = 1def parse(self, response):divs = response.xpath('//div[@class="list-cont"]')  # 页面中每个divfor div in divs:name = div.xpath('.//a[@class="font-bold"]/text()').get()# 价格price = div.xpath('.//span[@class="font-arial"]/text()').get()# 其它信息（级别，续航，电动机）# class="info-gray"info = ",".join(div.xpath('.//span[@class="info-gray"]/text()').getall())# 存入item对象中item = ScrapyDemo1Item()item["name"] = nameitem["price"] = priceitem["info"] = info# 要去当前汽车的详情页，就需要获取详情页的urldetail_url = div.xpath('.//a[@class="font-bold"]/@href').get()# https://car.autohome.com.cn/diandongche/series-4278.html#pvareaid=2042206#    /diandongche/series-4278.html#pvareaid=2042206# 拼接urldetail_url = "https://car.autohome.com.cn" + detail_url#           手动对详情页url发起请求yield scrapy.Request(url=detail_url,callback=self.parse_detail,meta={"item": item},  # 传递item对象. 键随便写，值就是item对象.)# 定义一个方法，用来解析详情页数据#进入详细页数据:# https://car.autohome.com.cn/diandongche/series-4278.html#pvareaid=2042206def parse_detail(self, response):# 2个不同的方法,这个字段怎么存呢???item = response.meta["item"]  # 取出item对象divs = response.xpath('//div[@class="interval01-list-cars-infor"]')types_ls = []for div in divs:type = div.xpath("./p[1]/a/text()").get()types_ls.append(type)# 往item对象中添加types属性:item["types"] = types_ls# print(item)yield item  # 这里返回item对象，会自动存入到pipelines中.