本文主要是介绍爬取糖豆视频，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
爬虫案例积累，以爬取糖豆视频为例：
爬取视频类型的数据一般步骤：
1.点击media,刷新，播放一个视频，会刷新一个包，点击发现是播放视频的包，
2.复制这个包url中的关键字，在搜索框中进行搜索，看有哪些包有关键字。
3.搜索后找到有play_url的包
4.看这个包的url,观察有什么规律
5.以糖豆视频为例，发现这个包的url有参数vid
6.查找参数在哪个位置
7.在xhr 动态加载中找到包，发现其中json数据中有vid的数据。
8.访问xhr 中的包获取vid数据，利用获取到的vid数据拼凑含有play_url的包的链接，访问这个链接，获取play_url
9.多页爬取，观察xhr 包的链接有什么规律，发现参数为页数，即可多页爬取
注意：访问视频play_url时，必须headers中加上防盗链，否则只会爬取五秒中视频
总结：这一案例与爬取好看视频最大的区别在于，它的play_url并不在xhr下的包中，因此找到比较困难。我在爬三个视频后就被禁止访问了。
代码呈现：
代码详情：
import requests
import os
filename = '糖豆视频//'
if not os.path.exists(filename):
os.mkdir(filename)
def down_load(page):
for page in range(page):
page = page+2
url = f'https://api-h5.tangdou.com/mtangdou/home/feed?page={page}&num=32&uuid=1682063965069_81146'
headers = {'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
}
response = requests.get(url=url,headers=headers)
for index in response.json()['data']:
video_id = index['vid']
title = index['title']
print(video_id,title)
link = f'https://api-h5.tangdou.com/mtangdou/video/play?vid={video_id}&uuid='
json_data = requests.get(url=link,headers=headers).json()
play_url = json_data['data']['play_url']
print(play_url)
headers1 = {'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
'Referer':
'https: // www.tangdou.com /'
}
video_content = requests.get(url=play_url,headers=headers1).content
with open(filename+title+'.mp4',mode='wb') as f:
f.write(video_content)
结果展现：
被禁止访问了：
这篇关于爬取糖豆视频的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
