关于Scrapy的那些事儿（四）Scrapy Shell

本文主要是介绍关于Scrapy的那些事儿（四）Scrapy Shell，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Scrapy Shell

launch Scrapy shell 使用如下命令：

scrapy shell <url>

当运行scrapy shell的时候，它为我们提供了一些功能函数：

• shelp() :打印可用对象和快捷命令的帮助列表
• fetch（request or url）：根据给清的请求request或URL获取一个新的Response对象，并更新原有的对象。
• views（response）：使用本机的浏览器查看response对象。

由于 Selector 主要是与 Scrapy 结合使用，如 Scrapy 的回调函数中的参数 response 直接调用xpath() 或者 css() 方法来提取数据。
我们就进入到 Scrapy shell 模式。这个过程其实是Scrapy 发起了一次请求，请求的 URL 就是刚才命令行下输入的 URL，然后把一些可操作的变量传递给我们，如 request、response 等
进入 Scrapy shell 之后，我们将主要操作 response 这个变量来进行解析。因为我们解析的是HTML 代码，Selector 将自动使用 HTML 语法来分析。
response 有一个属性 selector，我们调用 response.selector 返回的内容就相当于用 response的 text 构造了一个 Selector 对象。通过这个 Selector 对象我们可以调用解析方法如 xpath()、css()等，通过向方法传入 XPath 或 CSS 选择器参数就可以实现信息的提取。
结果的形式是 Selector 组成的列表，其实它是 SelectorList 类型，SelectorList 和 Selector 都可以继续调用 xpath() 和 css() 等方法来进一步提取数据。

这篇关于关于Scrapy的那些事儿（四）Scrapy Shell的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---