一、前置知识  1 爬虫简介 网络爬虫（又被称作网络蜘蛛、网络机器人，在某些社区中也经常被称为网页追逐者)可以按照指定的规则（网络爬虫的算法）自动浏览或抓取网络中的信息。 1.1 Web网页存在方式 表层网页指的是不需要提交表单，使用静态的超链接就可以直接访问的静态页面。深层网页指的是需要用户提交一些关键词才能获得的Wb页面。深层页面需要访问的信息数量是表层页面信息数量的几百倍，所以深层页