本文主要是介绍scrapy使用CrawlSpider方式爬取百度贴吧帖子跟图片,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
今天用CrawlSpider方式爬取百度贴吧,不得不说,这种方法太牛逼了,只用了不到二十行的代码
- 创建项目 scrapy startproject 项目名
- 进入项目然后生成爬虫 scrapy genspider -t crawl 爬虫 爬取范围
主要代码
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Ruleclass BslnSpider(CrawlSpider):name = 'bsln'allowed_domains = ['baidu.com']start_urls = ['https://tieba.baidu.com/f?kw=%E5%B7%B4%E5%A1%9E%E7%BD%97%E9%82%A3']rules = (#这是帖子详情页的urlRule(LinkExtractor(allow=r'/p/\d+'), callback='parse_item'),#这是下一页的Rule(LinkExtractor(allow=r'https://tieba.baidu.com/f\?kw=%E5%B7%B4%E5%A1%9E%E7%BD%97%E9%82%A3&ie=utf-8&pn=\d+'), follow=True),)def parse_item(self, response):"""处理帖子详情页"""item = {}item["标题"] = response.xpath('//div[@class="left_section"]//h3/text()').extract_first()item["图片"] = response.xpath('//img[@class="BDE_Image"]/@src').extract_first()yield item
pipelines.py中保存数据到mongodb
# -*- coding: utf-8 -*-
from pymongo import MongoClient#链接数据库
client = MongoClient(host="127.0.0.1", port=27017)
#创建数据库
db = client.BSLN_tiebaclass TbPipeline:def process_item(self, item, spider):"""保存数据到mongo"""#插入数据db.data.insert_one(dict(item))#print(item)
settings.py中主要弄几点
#通过在用户代理上标识自己,负责任地爬行
USER_AGENT = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'
#默认遵守robots.txt,请求前会先请求这个,弄成False就不会请求了
ROBOTSTXT_OBEY = False
#最大并发(默认16)
CONCURRENT_REQUESTS = 64
#禁用cookies(默认启用)
COOKIES_ENABLED = False
#开启管道(开启才能用piplines.py)
ITEM_PIPELINES = {'tb.pipelines.TbPipeline': 300,
}
运行截图,本次提取了每个帖子的标题及图片的地址,没有的话scrapy会自动设置为None
运行截图
数据库截图
使用CrawlSpider适合url地址比较有规律的,它使用正则匹配所有url,然后自动请求,省了人工自己找的时间
就是下面这个了
rules = (#这是帖子详情页的urlRule(LinkExtractor(allow=r'/p/\d+'), callback='parse_item'),#这是下一页的Rule(LinkExtractor(allow=r'https://tieba.baidu.com/f\?kw=%E5%B7%B4%E5%A1%9E%E7%BD%97%E9%82%A3&ie=utf-8&pn=\d+'), follow=True),)
要反反爬的话还要在(middlewares.py)下载中间件中的设置随机的请求头跟随机代理ip
def process_request(self, request, spider):"""这个方法可以在请求之前设置UA跟代理ip"""return None
还有很多不足的地方,就这样
这篇关于scrapy使用CrawlSpider方式爬取百度贴吧帖子跟图片的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!