什么是restful api 目前比较成熟的一套互联网应用程序的API设计理论 豆瓣电影api 应该尽量将API部署在专用域名之下 http://api.douban.com/v2/user/1000001?apikey=XXX应该将API的版本号放入URL http://api.douban.com/v2/user/1000001?apikey=XXX在RESTful架构中，每个网址

写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率）。因此真正在公司里，一些上了量的爬虫，都是使用Scrapy框架来解决。 安装Scrapy框架 pip install s