本文主要是介绍scrapy命令交互模式简单介绍--小布老师网易云课堂，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
scrapy命令交互模式介绍
scrapy 命令交互模式启动
$ scrapy shell 网址[不需要引号]
命令交互模式中函数介绍
request 对网址发起请求的请求信息
response网址服务器响应请求，发回的响应信息
view(response)调用系统自带浏览器，查看response中保存着从网址中获取的网页数据
fetch（url）在交互模式下，重新对一个url网址发送请求，自动更新到request和response中
scrapy项目爬虫文件说明
init.py -> 保持默认，不需要做任何修改
items.py-> 自定义项目类的地方，也就是爬虫获取到数据之后，传入管道文件(pipelinies.py)的载体
pipelinies.py->项目管道文件，对传入的项目类中的数据进行一个清理和入库
settings.py->Scrapy项目的设置文件，例如下载延迟，项目管道文件中类的启用以及自定义中间件的启用和顺序
spiders目录-》里面只有一个init.py文件，在该目录下定义爬虫类并继承scrapy.Spider
middlewares.py ->中间件配置文件
Scrapy爬虫文件ganji.py介绍
name="zufang" 爬虫名字，如果项目中有多个爬虫，名字别重复
start_urls = ['http://....'] 爬虫启动后自动爬取的链接，列表内可以放多个链接
def parse(self,response):爬虫启动时，爬取链接成功后自动回调的函数，默认parese,参数self和response也是必须得
response.xpath("").extract():固定格式，如果xpath("")里面不放任何字符串会报错，如果里面的字符串是/结尾，则代码会报错
这篇关于scrapy命令交互模式简单介绍--小布老师网易云课堂的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
