python爬虫-豆瓣电影排行榜的演员信息

一位苦于信息安全的萌新小白帽，记得关注给个赞，谢谢
本实验仅用于信息防御教学，切勿用于其它用途

二话不说，先上代码

import requests
from lxml import etree
from urllib.request import urlretrieve
import jsonurl = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action="params = {"start":int(input('开始')),#控制电影开始数"limit":int(input('多少'))#控制返回多少部电影
}
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
}response = requests.get(url,headers=headers,params=params)item = {} #用于存放json数据
f = open("movie.json","a",encoding="utf-8")
res = response.json()
for i in res:title = i['title']actors = i['actors']item["电影名称"] = titleitem["演员"] = actors#print(title,actors)f.write(json.dumps(item,ensure_ascii=False,indent=4)+",\n")
f.close()

执行结果

一个学习爬虫过程的一个小项目代码：

通过分析页面请求方式，发现是瀑布式请求页面，找到异步请求包，分析url，找到控制电影数量的参数，然后控制并访问，通过返回结果，处理为json格式的数据，并存入本地文本当中。