本文主要是介绍Python爬虫框架:scrapy爬取迅雷电影天堂最新电影!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
项目开始
第一步仍然是创建scrapy项目与spider文件
切换到工作目录两条命令依次输入
scrapy startproject xunleidianying scrapy genspider xunleiBT https://www.xl720.com/thunder/years/2019
内容分析
打开目标网站(分类是2019年上映的电影),分析我们需要的数据
进入页面是列表的形式就像豆瓣电影一样,然后我们点进去具体页面看看
这个页面就是我们需要拿到的内容页面,我们来看我们需要哪些数据(某些数据从第一个页面就可以获得,但是下载地址必须到第二个页面)
- 电影名称
- 电影信息
- 电影内容剧情
- 电影下载地址
分析完成之后就可以首先编写 items.py文件
这篇关于Python爬虫框架:scrapy爬取迅雷电影天堂最新电影!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!