Python采集某网站小视频内容, m3u8视频内容下载

本文主要是介绍Python采集某网站小视频内容, m3u8视频内容下载，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

大家早好、午好、晚好吖 ❤ ~欢迎光临本文章

如果有什么疑惑/资料需要的可以点击文章末尾名片领取源码

环境使用:

Python 3.10
Pycharm

模块使用:

import requests >>> pip install requests
import re
import json

什么流媒体 (m3u8)

把完整视频内容, 分割成N个视频片段(ts文件)

所有ts文件都存在m3u8文件中

爬虫实现流程: 从单个视频采集 -> 多个视频采集

一. 数据来源分析

明确需求: 明确采集的网址以及数据
- 网址: https://www.acfun.cn/v/ac36564705
- 数据: 视频内容
抓包分析: 通过开发者工具分析数据对应位置 (浏览器上面进行的)
- 打开开发者工具: F12 / 右键点击检查选择 network (网络)
- 刷新网页
- 通过关键字去搜索找到对应数据包
  
  关键字: 是什么? (m3u8)
数据包地址: https://www.acfun.cn/v/ac36564705
1. m3u8文件链接
2. 视频标题

目的: 完整一个视频内容 --> 分成N个视频片段(ts) --> m3u8链接中来的 --> https://www.acfun.cn/v/ac36564705

二. 代码实现步骤: 发送请求 -> 获取数据 -> 解析数据 -> 保存数据

第一次请求: 获取 m3u8链接 / 视频标题

1. 发送请求 -> 模拟浏览器对于url地址发送请求请求网址: https://www.acfun.cn/v/ac36564705 (视频详情页面)
2. 获取数据 -> 获取服务器返回响应数据 <整个网页数据>
3. 解析数据 -> 获取 m3u8链接 / 视频标题

第二次请求: 获取所有ts文件链接 (视频片段链接)

1. 发送请求 -> 模拟浏览器对于url地址发送请求请求网址: m3u8链接
2. 获取数据 -> 获取服务器返回响应数据
3. 解析数据 -> 获取 ts文件链接

第三请求: 获取视频内容

1. 发送请求 -> 模拟浏览器对于url地址发送请求请求网址: ts文件链接
2. 获取数据 -> 获取视频数据内容
3. 保存数据 -> 把所有视频片段合并成一个完整的视频内容

多个视频采集 (单页视频内容) -> 多页视频采集

- 分析请求链接变化规律https://www.acfun.cn/v/ac36564705 (视频详情页)https://www.acfun.cn/v/ac36448650https://www.acfun.cn/v/ac36260976
视频ID -> 获取所有视频ID即可保存所有视频内容

无论是什么ID都可以目录页面/列表页 (动态&静态)

- https://www.acfun.cn/u/29946310?quickViewId=ac-space-video-list&reqID=3&ajaxpipe=1&type=video&order=newest&page=4&pageSize=20&t=1701435800333
1. 发送请求
2. 获取数据
3. 解析数据 -> 视频ID

代码展示

导入模块

'''
python资料获取看这里噢！！ 小编 V：qian97378，即可获取：
文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
# 导入数据请求模块
import requests
# 导入正则表达式模块
import re
# 导入json
import json
# 导入格式化输出模块
from pprint import pprint

“”"

第一次请求: 获取 m3u8链接 / 视频标题

re.findall('匹配的数据', '数据源') 表示找到所有你想要数据

“”"
模拟浏览器

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}

请求网址

link = 'https://www.acfun.cn/u/29946310?quickViewId=ac-space-video-list&reqID=3&ajaxpipe=1&type=video&order=newest&page=4&pageSize=20&t=1701435800333'

发送请求 & 获取数据

link_data = requests.get(url=link, headers=headers).text

提取视频ID

'''
python资料获取看这里噢！！ 小编 V：qian97378，即可获取：
文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
video_id_list = re.findall('"atomid.*?":.*?"(\d+).*?"', link_data)
for video_id in  video_id_list:# 请求网址url = f'https://www.acfun.cn/v/ac{video_id}'# 发送请求response = requests.get(url=url, headers=headers)# 获取数据html_data = response.text# 提取标题title = re.findall('"title":"(.*?)",', html_data)[1]# 提取m3u8 json格式 -> 字符串info = re.findall('window.videoInfo = (.*?);', html_data)[0]

转成字典 -> 键值对取值 (根据冒号左边的内容, 提取冒号右边的内容)

    m3u8 = json.loads(json.loads(info)['currentVideoInfo']['ksPlayJson'])['adaptationSet'][0]['representation'][0]['url']

“”"

第二次请求: 获取所有ts文件链接 (视频片段链接)

“”"
发送请求 / 获取数据

    m3u8_data = requests.get(url=m3u8, headers=headers).text

提取ts链接 re.S 可以匹配换行符

    ts_list = re.findall(',\n(.*?)\n#', m3u8_data, re.S)print(title)

for循环遍历

'''
python资料获取看这里噢！！ 小编 V：qian97378，即可获取：
文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''for ts in ts_list:# https://ali-safety-video.acfun.cn/mediacloud/acfun/acfun_video/c3471e9635d5b851-b7141b506c6f33d5ec893077a0e6ea00-hls_720p_hevc_1.00000.ts?pkey=ABA7dgfgyTtgBjZ5eK0fj8UYJswNXhxR5r6TYp88ERtwdxUrka3AeDhOH15qo9_CVqys7YOy2zrIh57HrKdTrZuZu-X4fzDs-1NfmZqVh5Kleqju83jWLYI4KzYRM6OsNaLFH79UTqK3TB_ZVzBqxUM7BL1eORRCELLAcEPaQlhTZvhPi-t4f4T9kT82DXVTUNPEWWchOB2xXohj5p9oRmhRQtxZhfaOAYPtcxAPMsUmp7xCDP1c9PYzAScVXIUWGuA&safety_id=AAKpFGD5RVG_bSdCrDreLaxkts_url = 'https://ali-safety-video.acfun.cn/mediacloud/acfun/acfun_video/' + ts

“”"

第三请求: 获取视频内容

“”"

        ts_content = requests.get(url=ts_url, headers=headers).contentwith open('video\\' + title + '.mp4', mode='ab') as f:f.write(ts_content)print(ts_url)