Scrapy框架学习 - 使用Twisted框架实现异步存储数据到MySQL数据库中

本文主要是介绍Scrapy框架学习 - 使用Twisted框架实现异步存储数据到MySQL数据库中，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

概述

以爬取豆瓣读书Top250排行榜为例。

关键是使用Twisted框架的adbapi，创建数据库连接池对象，然后使用这个数据库连接池对象进行数据库操作，
这样就实现了数据存储的异步方案。

核心代码如下:
1.使用Twisted中的adbapi获取数据库连接池对象。
参数“pymsql”为使用的数据库引擎名字，params与直接使用pymsql.connect(params)连接数据库时相同
self.dbpool=adbapi.ConnectionPool('pymysql',**params)
2.使用数据库连接池对象进行数据库操作,自动传递cursor对象到数据库操作方法的第一个参数，
query=self.dbpool.runInteraction(self.do_insert,item)
也可以设置出错时的回调方法,自动传递出错消息对象failure到错误处理方法的第一个参数
query.addErrback(self.on_error,spider)

代码

items.py

class DoubanbookItem(scrapy.Item):# 图书详情页链接link=scrapy.Field()# 图书名称title=scrapy.Field()# 作者,出版信息,价格等信息info=scrapy.Field()# 豆瓣评分rating=scrapy.Field()# 引论quote=scrapy.Field()

spider

# !/usr/bin/env python
# -*- coding:utf-8 -*-import scrapy
from myscrapy.items import DoubanbookItemclass DoubanbookSpider(scrapy.Spider):

这篇关于Scrapy框架学习 - 使用Twisted框架实现异步存储数据到MySQL数据库中的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---