本文主要是介绍爬虫二:获取豆瓣电影Top250(Requests+XPath+CSV),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
描述:
在上一篇获取豆瓣图书Top250的基础上,获取豆瓣电影Top250的数据并将结果写入CSV文件中。
代码:
# -*- coding: UTF-8 -*-
import requests
from lxml import etree
import time
import csv# 从网页上获取电影数据
moviedata = []
count = 0
for i in range(10):url = 'https://movie.douban.com/top250?start=' + str(25*i)data = requests.get(url).texthtml = etree.HTML(data)movies = html.xpath('//*[@id="content"]/div/div[1]/ol/li')for movie in movies:title = movie.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]director_actor = movie.xpath('./div/div[2]/div[2]/p[1]/text()')[0].strip('\n').strip('\xa0')type_region_year = movie.xpath('./div/div[2]/div[2]/p[1]/text()')[1].strip('\n').strip('\xa0')score = movie.xpath('./div/div[2]/div[2]/div/sp
这篇关于爬虫二:获取豆瓣电影Top250(Requests+XPath+CSV)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!