Python采集某网站小视频内容, m3u8视频内容下载

2023-12-02 16:36

本文主要是介绍Python采集某网站小视频内容, m3u8视频内容下载,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

大家早好、午好、晚好吖 ❤ ~欢迎光临本文章

如果有什么疑惑/资料需要的可以点击文章末尾名片领取源码

环境使用:

  • Python 3.10

  • Pycharm

模块使用:

  • import requests >>> pip install requests

  • import re

  • import json

什么流媒体 (m3u8)

把完整视频内容, 分割成N个视频片段(ts文件)

所有ts文件都存在m3u8文件中

爬虫实现流程: 从单个视频采集 -> 多个视频采集

一. 数据来源分析
  1. 明确需求: 明确采集的网址以及数据

    • 网址: https://www.acfun.cn/v/ac36564705

    • 数据: 视频内容

  2. 抓包分析: 通过开发者工具分析数据对应位置 (浏览器上面进行的)

    • 打开开发者工具: F12 / 右键点击检查 选择 network (网络)

    • 刷新网页

    • 通过关键字去搜索找到对应数据包

      关键字: 是什么? (m3u8)

    数据包地址: https://www.acfun.cn/v/ac36564705

    1. m3u8文件链接

    2. 视频标题

目的: 完整一个视频内容 --> 分成N个视频片段(ts) --> m3u8链接中来的 --> https://www.acfun.cn/v/ac36564705

二. 代码实现步骤: 发送请求 -> 获取数据 -> 解析数据 -> 保存数据

第一次请求: 获取 m3u8链接 / 视频标题

1. 发送请求 -> 模拟浏览器对于url地址发送请求请求网址: https://www.acfun.cn/v/ac36564705 (视频详情页面)
2. 获取数据 -> 获取服务器返回响应数据 <整个网页数据>
3. 解析数据 -> 获取 m3u8链接 / 视频标题

第二次请求: 获取所有ts文件链接 (视频片段链接)

1. 发送请求 -> 模拟浏览器对于url地址发送请求请求网址: m3u8链接
2. 获取数据 -> 获取服务器返回响应数据
3. 解析数据 -> 获取 ts文件链接

第三请求: 获取视频内容

1. 发送请求 -> 模拟浏览器对于url地址发送请求请求网址: ts文件链接
2. 获取数据 -> 获取视频数据内容
3. 保存数据 -> 把所有视频片段合并成一个完整的视频内容

多个视频采集 (单页视频内容) -> 多页视频采集

- 分析请求链接变化规律https://www.acfun.cn/v/ac36564705 (视频详情页)https://www.acfun.cn/v/ac36448650https://www.acfun.cn/v/ac36260976
视频ID -> 获取所有视频ID即可保存所有视频内容

无论是什么ID都可以目录页面/列表页 (动态&静态)

- https://www.acfun.cn/u/29946310?quickViewId=ac-space-video-list&reqID=3&ajaxpipe=1&type=video&order=newest&page=4&pageSize=20&t=1701435800333
1. 发送请求
2. 获取数据
3. 解析数据 -> 视频ID

代码展示

导入模块

'''
python资料获取看这里噢!! 小编 V:qian97378,即可获取:
文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
# 导入数据请求模块
import requests
# 导入正则表达式模块
import re
# 导入json
import json
# 导入格式化输出模块
from pprint import pprint

“”"

第一次请求: 获取 m3u8链接 / 视频标题

re.findall('匹配的数据', '数据源') 表示找到所有你想要数据

“”"
模拟浏览器

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}

请求网址

link = 'https://www.acfun.cn/u/29946310?quickViewId=ac-space-video-list&reqID=3&ajaxpipe=1&type=video&order=newest&page=4&pageSize=20&t=1701435800333'

发送请求 & 获取数据

link_data = requests.get(url=link, headers=headers).text

提取视频ID

'''
python资料获取看这里噢!! 小编 V:qian97378,即可获取:
文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
video_id_list = re.findall('"atomid.*?":.*?"(\d+).*?"', link_data)
for video_id in  video_id_list:# 请求网址url = f'https://www.acfun.cn/v/ac{video_id}'# 发送请求response = requests.get(url=url, headers=headers)# 获取数据html_data = response.text# 提取标题title = re.findall('"title":"(.*?)",', html_data)[1]# 提取m3u8 json格式 -> 字符串info = re.findall('window.videoInfo = (.*?);', html_data)[0]

转成字典 -> 键值对取值 (根据冒号左边的内容, 提取冒号右边的内容)

    m3u8 = json.loads(json.loads(info)['currentVideoInfo']['ksPlayJson'])['adaptationSet'][0]['representation'][0]['url']

“”"

第二次请求: 获取所有ts文件链接 (视频片段链接)

“”"
发送请求 / 获取数据

    m3u8_data = requests.get(url=m3u8, headers=headers).text

提取ts链接 re.S 可以匹配换行符

    ts_list = re.findall(',\n(.*?)\n#', m3u8_data, re.S)print(title)

for循环遍历

'''
python资料获取看这里噢!! 小编 V:qian97378,即可获取:
文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''for ts in ts_list:# https://ali-safety-video.acfun.cn/mediacloud/acfun/acfun_video/c3471e9635d5b851-b7141b506c6f33d5ec893077a0e6ea00-hls_720p_hevc_1.00000.ts?pkey=ABA7dgfgyTtgBjZ5eK0fj8UYJswNXhxR5r6TYp88ERtwdxUrka3AeDhOH15qo9_CVqys7YOy2zrIh57HrKdTrZuZu-X4fzDs-1NfmZqVh5Kleqju83jWLYI4KzYRM6OsNaLFH79UTqK3TB_ZVzBqxUM7BL1eORRCELLAcEPaQlhTZvhPi-t4f4T9kT82DXVTUNPEWWchOB2xXohj5p9oRmhRQtxZhfaOAYPtcxAPMsUmp7xCDP1c9PYzAScVXIUWGuA&safety_id=AAKpFGD5RVG_bSdCrDreLaxkts_url = 'https://ali-safety-video.acfun.cn/mediacloud/acfun/acfun_video/' + ts

“”"

第三请求: 获取视频内容

“”"

        ts_content = requests.get(url=ts_url, headers=headers).contentwith open('video\\' + title + '.mp4', mode='ab') as f:f.write(ts_content)print(ts_url)

尾语

好了,今天的分享就差不多到这里了!

对下一篇大家想看什么,可在评论区留言哦!看到我会更新哒(ง •_•)ง

喜欢就关注一下博主,或点赞收藏评论一下我的文章叭!!!

最后,宣传一下呀~👇👇👇 更多源码、资料、素材、解答、交流 皆点击下方名片获取呀👇👇👇

这篇关于Python采集某网站小视频内容, m3u8视频内容下载的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/446046

相关文章

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

Python包管理工具pip的升级指南

《Python包管理工具pip的升级指南》本文全面探讨Python包管理工具pip的升级策略,从基础升级方法到高级技巧,涵盖不同操作系统环境下的最佳实践,我们将深入分析pip的工作原理,介绍多种升级方... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表(即列表中包含列表)转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,:本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v