如何爬取B站视频的封面图片

2024-04-01 21:18
文章标签 视频 图片 爬取 封面

本文主要是介绍如何爬取B站视频的封面图片,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

缘起

周末在B站刷视频的时候,红灯区…啊呸!钢琴区一个up的视频突然拽住了我的眼球,一连翻看了她的几个视频之后,我发现这个up每次的封面确实有点东西!
在这里插入图片描述
于是突然来了兴致,想通过自己为所欲为的技术手段,实现一波儿封面批量自提。

简单调查了一番,发现这东西用Pyhton爬虫搞,不仅难度不大而且很有搞头!于是很快便开始上手缕逻辑。

实施

第一次接触爬虫,就想要那种短平快的东西,所以我把逻辑抽离的非常宏观:

  1. 先知道目标图片的网址是什么?
  2. 通过代码访问这个网址,拿到目标页面的全部代码。
  3. 解析这个代码,找到图片所在区域ID
  4. 遍历区域内所有的内容,找到每一个img标签,获取它的src属性就是图片的地址
  5. 通过代码+地址下载对应的图片保存到本地
  6. 大功告成

上面的这几步骤基本都能看懂,有几个步骤需要一些技术支持,分别对应是:

  1. 就是你访问的地址
  2. urllib2或者requests
  3. BeautifulSoup4
  4. 浏览器的F12+选择器找一下
  5. urllib

我把主逻辑理顺后,写成代码也很简单(这段代码不能用哈,不用看太细):

# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup#指定要爬取的网站url
x = 0
def get_images(url):headers = {'Usar-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'}req = urllib2.Request(url,headers=headers)# 用url地址创建一个request对象page = urllib2.urlopen(req,timeout=20)#打开网址contents = page.read() # 获取源码res = requests.get(url,headers=headers,timeout=(5,5))print (res.content)soup = BeautifulSoup(contents,'html.parser') # 创建一个soup对象cover_imgs = soup.find_all('img')# 找到img标签  find只找一次,find_all找到所有for cover_img in cover_img:# 遍历list,选取属性link = cover_img.get('src');#获取src图片路径link.replace(".webp",".png")print (link);#下载的文件,取名字global xurllib. urlretrieve(link,'image\%s.png'%x)print ("Downloading image No.{}".format(x));x += 1;for page in range(1,10):url = 'https://space.bilibili.com/72956117/video?tid=0&page={}&keyword=&order=pubdate'.format(page)get_images(url)

阻碍

这段代码的主逻辑是通的,思路也是完全按照上面的123456来的,但是就当我已经兴奋地搓搓小手准备爬图的时候,却遇到了很大的障碍:

res.content拿到的并不是完整页面的代码

拿到的只是一个主的html加一堆js文件的加载路径,并没有拿到包含着图片标签的代码。

也就是说,我通过浏览器访问这个网址看到页面的时候,其实已经进行过多次请求响应了

而我通过代码单独请求这个网址,只拿到了单次请求主页的内容,所以这么搞并不能拿到指定的内容。

在这个页面上通过右键查看源代码确认了一下。确实,这个页面的源代码就是这个样子滴:
那这就比较难搞了,我该如何获知浏览器发出的其他请求并模拟出来,然后通过返回拿到我想要的东西呢?

要知道一个优秀的爬虫大佬,那都是web前后端玩儿贼6的大佬,我一个搞C++客户端的,对这些是一窍不通啊?!一时间让我有点一筹莫展。

不过怎么说也是个大厂的网站,让我一没摸过爬虫的人上来说爬就爬了是不是有点太low了。

再想想办法,只能硬着头皮看请求了。

柳暗花明

这是我访问页面的get请求:
在这里插入图片描述
后面跟的请求好多,我也不是很懂,只能是凭感觉找可疑的请求查验。

感觉上它应该是访问后台的某个api接口,反馈回来的是一堆json数据,然后前端根据数据给它渲染成了我们看到的亚子。

功夫不负有心人,就这么感觉了几下还真让我发现了一个可疑的:
在这里插入图片描述
看见那个api.开头我就觉得有门,复制到浏览器试了一下,果然!
在这里插入图片描述
把这里面pic的地址扔到浏览器里一看!我的妈直接get到了1768*1080的原图(在浏览器里F12查找元素能看到的,只有320*240的webp格式了)!比我电脑屏幕分辨率都高,兴奋的我大腿都拍肿了!
在这里插入图片描述这个突破口有了,我们回到技术上来!

现在直接从api拿到的是json数据,所以现在思路大改!

根本不需要解析页面,更不需要什么bs4,只需要访问api接口,从数据里提取出图片地址,下载图片就完了。

不仅思路更加简短,难度也陡然下降。

比刚才的代码还要简单,一共只有20行不到(这个是真的可以跑,注意身体~):

import requests
import json
import urllibx = 0
def get_images(url):headers = {'Usar-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'}res = requests.get(url,headers=headers,timeout=(5,5))for video in res.json()['data']['list']['vlist']:global xurllib.request.urlretrieve("http:"+video['pic'],'image\%s.jpg'%x)print ("Downloading image No.{}".format(x));x += 1
for page in range(1,10):url = 'https://api.bilibili.com/x/space/arc/search?mid=72956117&ps=30&tid=0&pn={}&keyword=&order=pubdate&jsonp=jsonp'.format(page)get_images(url)

装上对应的库后直接python3就可以跑,执行之前要在同级目录创建一个名为image的文件夹,否则没路径会报错。

举一反三

有了这个技术手段,其他up主的封面原图,也不是问题。你需要做的只是:

  • 打开这个up的个人主页点投稿
  • 按F12点到network页面
  • 刷新页面,找到大量的webp图片请求然后开始往上找。找到一个search?xxxx的请求
  • 点击就能看到Request url 项指定的真实api地址
  • 把这个地址替换掉上面代码里的url,执行脚本就可以下图片了
  • 爬取的页数根据需要自己调整range。

爬取的结果,你可以没人的时候尽情欣赏:
在这里插入图片描述
这个爬虫还是很简单的,几乎可是说是入门都没有的水平了。

真的要把爬虫这门技术发展成可以挣钱吃饭的手艺,那难度就不是这个量级了,想要有所精进的同学,我个人非常推荐去看老陈的博客(https://www.cnblogs.com/c-x-a)和崔大的文章(https://cuiqingcai.com/)。
不吹不黑他们的文章凭借扎实的技术和清晰地思维逻辑,往公安局送了不少搞爬虫的人(逃…

后记

最后关于这个UP主,大家爬爬图片就好,我本意是不想给她带哪怕一个人头的流量的。

她早年的视频封面风格还是这样的:
在这里插入图片描述
也可以看得出来还是挺正经的,后来发觉擦边球涨粉的套路后就一发不可收拾了

另外主要不想带流量的原因是我在了解过程中也发现:这个UP似乎在外网发表过一些台独言论,因此每次发视频评论弹幕都比视频热闹。而这UP从来都视而不见,建议B站能够严查!

这篇关于如何爬取B站视频的封面图片的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/868160

相关文章

Java实现文件图片的预览和下载功能

《Java实现文件图片的预览和下载功能》这篇文章主要为大家详细介绍了如何使用Java实现文件图片的预览和下载功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... Java实现文件(图片)的预览和下载 @ApiOperation("访问文件") @GetMapping("

用js控制视频播放进度基本示例代码

《用js控制视频播放进度基本示例代码》写前端的时候,很多的时候是需要支持要网页视频播放的功能,下面这篇文章主要给大家介绍了关于用js控制视频播放进度的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言html部分:JavaScript部分:注意:总结前言在javascript中控制视频播放

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求,就是批量读取当前目录下所有文件夹里的Excel文件,去获取出Excel文件中的图片,并

Java实现数据库图片上传与存储功能

《Java实现数据库图片上传与存储功能》在现代的Web开发中,上传图片并将其存储在数据库中是常见的需求之一,本文将介绍如何通过Java实现图片上传,存储到数据库的完整过程,希望对大家有所帮助... 目录1. 项目结构2. 数据库表设计3. 实现图片上传功能3.1 文件上传控制器3.2 图片上传服务4. 实现

Java实现数据库图片上传功能详解

《Java实现数据库图片上传功能详解》这篇文章主要为大家详细介绍了如何使用Java实现数据库图片上传功能,包含从数据库拿图片传递前端渲染,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1、前言2、数据库搭建&nbsChina编程p; 3、后端实现将图片存储进数据库4、后端实现从数据库取出图片给前端5、前端拿到

Python使用PIL库将PNG图片转换为ICO图标的示例代码

《Python使用PIL库将PNG图片转换为ICO图标的示例代码》在软件开发和网站设计中,ICO图标是一种常用的图像格式,特别适用于应用程序图标、网页收藏夹图标等场景,本文将介绍如何使用Python的... 目录引言准备工作代码解析实践操作结果展示结语引言在软件开发和网站设计中,ICO图标是一种常用的图像

SpringBoot集成图片验证码框架easy-captcha的详细过程

《SpringBoot集成图片验证码框架easy-captcha的详细过程》本文介绍了如何将Easy-Captcha框架集成到SpringBoot项目中,实现图片验证码功能,Easy-Captcha是... 目录SpringBoot集成图片验证码框架easy-captcha一、引言二、依赖三、代码1. Ea

如何使用CSS3实现波浪式图片墙

《如何使用CSS3实现波浪式图片墙》:本文主要介绍了如何使用CSS3的transform属性和动画技巧实现波浪式图片墙,通过设置图片的垂直偏移量,并使用动画使其周期性地改变位置,可以创建出动态且具有波浪效果的图片墙,同时,还强调了响应式设计的重要性,以确保图片墙在不同设备上都能良好显示,详细内容请阅读本文,希望能对你有所帮助...

Python脚本实现图片文件批量命名

《Python脚本实现图片文件批量命名》这篇文章主要为大家详细介绍了一个用python第三方库pillow写的批量处理图片命名的脚本,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录前言源码批量处理图片尺寸脚本源码GUI界面源码打包成.exe可执行文件前言本文介绍一个用python第三方库pi