pyspider框架使用方法——以爬取樱花动漫网为例。

本文主要是介绍pyspider框架使用方法——以爬取樱花动漫网为例。，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本篇文章内容：
1.pyspider框架使用方法
2.爬取樱花动漫网url，存到数据库。
3.源代码。

1.pyspider框架使用方法
安装和配置的过程，就不介绍了。参考官方文章。
如果你是在window下安装就直接下载源码就好。gthub源码。

安装好后运行，在linux下命令行执行

python3 run.py

window下运行安装包的 run.py
如果在命令行下反馈没有报错，就成功使用默认配置运行了pyspider。
你可以用浏览器访问 127.0.0.1:5000或者localhost:5000 ，也就是本机端口5000，如果是在云端服务上配置的，需要确保你对应的端口已经开启。
以阿里云服务器为例，你可以在
在这里插入图片描述
添加打开5000端口

在pyspider正常启动的情况下，浏览器访问超时，多数是因为上述端口没有打开。
到此，如果都没问题即可看到pyspider的网页界面。

你可以在这管理你正在运行的项目。
点击create，填写项目名称和起始站点就完成了项目的创建。
在这里插入图片描述
项目的删除方法
将要删除项目的group改为delete，status改为stop，等待24小时，即可删除。
快速删除可以修改配置文件 config.json，路径一般在/etc/pyspider/config.json
vim config.json
在scheduler下，修改delete_time，下面是3秒即删。

{   "scheduler":{"delete-time":3}
}

创建完项目后，即可以看到默认的项目格式。
在这里插入图片描述
左边是显示界面，右边是编写的项目代码。
crawl_config是配置参数，你可以参照官方文档添加自己配置参数。

def on_start(self):
self.crawl(‘START_URL’, callback=self.index_page)
on_start是执行项目时第一个被调用的函数，__START_URL__是项目起始的url，这里即是樱花动漫的索引目录。self.crawl这里表示将项目起始的url代入index_page函数中执行。

def index_page(self, response):
for each in response.doc(‘a[href^=“http”]’).items():
self.crawl(each.attr.href, callback=self.detail_page)

index_page是项目的第二次筛选工具，即从__START_URL__获取更多更详细的url进行爬取。
上述表示将当前url中所有的链接返回给detail_page

def detail_page(self, response):return {"url": response.url,"title": response.doc('title').text(),}

def detail_page是最后把要爬取的页面进行处理，返回爬取的内容。

2.爬取樱花动漫网url，存到数据库。
在这里插入图片描述
这个就是我们需要爬取的页面起始的url，你可看到他一共有7000多条记录，592页。
所以我们的爬取思路就是将每一页翻页的url反馈给index_page，每一个番剧页面的url反馈给detail_page做进一步处理。
再打开数据库将爬取内容保存。
你可用pypider提供的标签提取工具，提取url的标签。
点击 run 在follow里，选择执行的页面点击绿色箭头，选择wed表示方式，即可看到当前页面，再选择enable css sellector helper 选择你要爬取的标签，即可在页面上看到标签路径，点击前进键即可输出目标路径。你也可以用自己熟悉的提取方法，有时候enable css sellector helper 会失效。

在这里插入图片描述
3.源代码。

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2019-08-20 12:50:04
# Project: dilidilifrom pyspider.libs.base_handler import *
import re
import pymysqlclass Handler(BaseHandler):crawl_config = {}#连接数据库def __init__(self):config = {'host':'你的数据库地址','port':3306,'user':'你的数据库用户名','password':'你的数据库密码','database':'你的数据库名','charset':'utf8mb4',}# 连接数据库self.db = pymysql.connect(**config)def add_Mysql(self,url, title):try:cursor = self.db.cursor()sql = 'insert into dilidili_db(url, title) values ("%s","%s")' % (url, title);   #插入数据库的SQL语句print(sql)cursor.execute(sql)print(cursor.lastrowid)self.db.commit()except Exception as e:print(e)self.db.rollback()@every(minutes=24 * 60)def on_start(self):self.crawl('http://www.imomoe.io/so.asp?page=3&fl=0&pl=time', callback=self.index_page)@config(age=10 * 24 * 60 * 60)def index_page(self, response):for each in response.doc('.l h2 > a').items():self.crawl(each.attr.href, callback=self.detail_page)for each in response.doc('.pages > a').items():print(each)self.crawl(each.attr.href, callback=self.index_page)@config(priority=2)def detail_page(self, response):url = response.urltitle = response.doc('title').text()self.add_Mysql(url, title)  #插入数据库return {"url": response.url,"title": response.doc('title').text(),}

如果不需要保存数据，将相关代码删除即可。
保存后返回管理界面，将status设置为running或debug，点击run，如果项目没有保存即可在Results看到爬取内容
在这里插入图片描述

如果想要pyspider 24小时运行，循环爬取网页，就需要用Supervisor监控进程管理pyspider。
Supervisor也是pyspider推荐的管理程序，你可理解为专门管理软件的软件，它能保持pyspider一直运行在它停止时重新启动pyspider，就像保姆一样。
你可以参考这篇文章关于Supervisor的配置，不过，这里并不是分布式部署，所以没有将pyspider的功能分开管理。更详细的方法，你可看Supervisor的说明文档。
在网页端，我们可以用将对数据库搜索返回爬取内容。
在这里插入图片描述