断点续传-视频文件的分块和合并

2024-04-09 17:36

本文主要是介绍断点续传-视频文件的分块和合并,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

一,前言

二,断点续传

三,断点续传流程:

四,java代码测试分块和合并

视频文件分块: 

视频文件合并:

五,应用(简单了解)


一,前言

通常视频文件都比较大,项目中需要满足大文件的上传要求,http协议本身对上传文件大小没有限制,但是客户的网络质量,电脑硬件环境等参差不齐,如果一个大的文件上传过程中网断了没有上传完成,用户体验就会很差。所以对于大文件上传的要求最基本的就是断点续传。

二,断点续传

FTP(文件传输协议的简称)(File Transfer Protocol、 FTP)客户端软件断点续传指的是在下载或上传时,将下载或上传任务(一个文件或一个压缩包)人为的划分为几个部分,每一个部分采用一个线程进行上传或下载,如果碰到网络故障,可以从已经上传或下载的部分开始继续上传下载未完成的部分,而没有必要从头开始上传下载。用户可以节省时间,提高速度。

可以从中提炼出来两个点:

1.将下载上传任务人为的划分成几个部分,从大文件切割成小文件

2.如果出现故障,可以接着上次已经上传的部分继续上传,不用从头再来浪费时间

三,断点续传流程:

在项目里,文件分块是前端来完成的,后端接受分块并且将之按照顺序(重点)合并在一起。

如果上传发生了中断,那么会重新上传,后端会检查当前这一块是否已经上传过了,如果已经上传过了,就不会再上传。

四,java代码测试分块和合并

视频文件分块: 

1.创建一个名为bigfile_test的文件夹,里面放上一个视频文件和等会分块放的文件夹chunk。(我的大概是30M)

2.分块流程:

1)根据指定的分块大小计算出分块数量

2)使用RandomAccessFile类来从源文件中读数据写到分块文件中,如果分块文件的长度达到了分块大小,写下一个分块

3)测试

3.编写分块代码:

    @Testpublic void testChunk() throws IOException {//源文件路径File sourcefile = new File("D:\\bigfile_test\\森林光影_丁达尔效应.mp4");//分块文件存放的路径File chunkpath = new File("D:\\bigfile_test\\chunk\\");if (!chunkpath.exists()) {chunkpath.mkdirs();}//指定分块的大小 1M = 1024k 1k=1024字节int chunkSize = 1024 * 1024 * 1;//分块总数int chunkNums = (int) Math.ceil(1.0 * sourcefile.length() / chunkSize);//流对象读取源文件 向分块文件写数据  当达到了分块大小  不再写byte[] data = new byte[1024];RandomAccessFile raf_read = new RandomAccessFile(sourcefile, "r");for (int i = 0; i < chunkNums; i++) {//创建空白文件File file = new File(chunkpath.getPath() + "\\" + i);boolean isok = file.createNewFile();//文件存在会创建失败RandomAccessFile raf_write = new RandomAccessFile(file, "rw");if (isok) {//向文件中写内容int len = -1;while ((len = raf_read.read(data)) != -1) {raf_write.write(data, 0, len);if (file.length() >= chunkSize) {//达到分块大小就不再写了break;}}}raf_write.close();}raf_read.close();}

4.打开chunk文件夹,可以看到分块,只有最后一块的大小不是1024KB,其他都是。

这个视频文件是30M,所以分成了31块。

视频文件合并:

接下来需要将上面的分块合并起来,检查是否能成功合成源文件。

1.合并流程:

1) 将chunk文件按照次序放到集合中(排序)

2)使用RandomAccessFile类将chunk文件数据依次写到merge文件中

3)检查是否合并成功

注意: 写的次序一定要按照分块号的次序

2.编写合并代码

    @Testpublic void testMerge() throws IOException {//源文件File sourceFile = new File("D:\\bigfile_test\\森林光影_丁达尔效应.mp4");//用于校验合并之后的视频文件是否正确if (!sourceFile.exists()) sourceFile.createNewFile();//分块文件目录File chunkpath = new File("D:\\bigfile_test\\chunk\\");if (!chunkpath.exists()) chunkpath.mkdirs();//合并之后的文件File mergeFile = new File("D:\\bigfile_test\\分块合并_森林光影_丁达尔效应.mp4");if (mergeFile.exists()) mergeFile.delete();//目录下所有的分块文件File[] chunkFiles = chunkpath.listFiles();List<File> chunkFileList = Arrays.asList(chunkFiles);//必须按照序号的顺序进行合并Collections.sort(chunkFileList, new Comparator<File>() {@Overridepublic int compare(File o1, File o2) {return Integer.parseInt(o1.getName()) - Integer.parseInt(o2.getName());}});byte[] data = new byte[1024];RandomAccessFile raf_write = new RandomAccessFile(mergeFile, "rw");//如果文件不存在会创建文件for (File chunkFile : chunkFiles) {RandomAccessFile raf_read = new RandomAccessFile(chunkFile, "r");int len = -1;while ((len = raf_read.read(data)) != -1) {raf_write.write(data, 0, len);}}//检验是否合并正确FileInputStream sis = new FileInputStream(sourceFile);FileInputStream mis = new FileInputStream(mergeFile);String sMd5Hex = DigestUtils.md5DigestAsHex(sis);String mMd5Hex = DigestUtils.md5DigestAsHex(mis);if (sMd5Hex.equals(mMd5Hex)) {System.out.println("视频文件合并成功");} else {System.out.println("视频文件合并失败");}}

3.查看合并成功的文件

五,应用(简单了解)

有时用户上传下载文件需要历时数小时,万一线路中断,不具备断点续传的FTP服务器或下载软件就只能从头重传,比较好的FTP服务器或下载软件具有FTP断点续传能力,允许用户从上传下载断线的地方继续传送,这样大大减少了用户的烦恼。

IE浏览器默认下载方式不支持断点续传。

常见的支持断点续传的上传、下载软件:QQ旋风、迅雷、快车(迷你快车)、web迅雷、影音传送带、快车、BitComet、电驴eMule、哇嘎Vagaa、RF[RaySourse/RayFile]、酷6、土豆、优酷、百度视频、新浪视频、腾讯视频、百度云等都支持断点续传。

在 *nix(Linux/Unix)系统下,常用支持断点续传的FTP客户端软件是lftp。

这篇关于断点续传-视频文件的分块和合并的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/888798

相关文章

hdu2241(二分+合并数组)

题意:判断是否存在a+b+c = x,a,b,c分别属于集合A,B,C 如果用暴力会超时,所以这里用到了数组合并,将b,c数组合并成d,d数组存的是b,c数组元素的和,然后对d数组进行二分就可以了 代码如下(附注释): #include<iostream>#include<algorithm>#include<cstring>#include<stack>#include<que

day-51 合并零之间的节点

思路 直接遍历链表即可,遇到val=0跳过,val非零则加在一起,最后返回即可 解题过程 返回链表可以有头结点,方便插入,返回head.next Code /*** Definition for singly-linked list.* public class ListNode {* int val;* ListNode next;* ListNode() {}*

【每日一题】LeetCode 2181.合并零之间的节点(链表、模拟)

【每日一题】LeetCode 2181.合并零之间的节点(链表、模拟) 题目描述 给定一个链表,链表中的每个节点代表一个整数。链表中的整数由 0 分隔开,表示不同的区间。链表的开始和结束节点的值都为 0。任务是将每两个相邻的 0 之间的所有节点合并成一个节点,新节点的值为原区间内所有节点值的和。合并后,需要移除所有的 0,并返回修改后的链表头节点。 思路分析 初始化:创建一个虚拟头节点

【Python从入门到进阶】64、Pandas如何实现数据的Concat合并

接上篇《63.Pandas如何实现数据的Merge》 上一篇我们学习了Pandas如何实现数据的Merge,本篇我们来继续学习Pandas如何实现数据的Concat合并。 一、引言 在数据处理过程中,经常需要将多个数据集合并为一个统一的数据集,以便进行进一步的分析或建模。这种需求在多种场景下都非常常见,比如合并不同来源的数据集以获取更全面的信息、将时间序列数据按时间顺序拼接起来以观察长期趋势等

线性表中顺序表的合并

对两个顺序表进行合并,算法的复杂度为O(La.size+Lb.size)。 已知: 顺序线性表La和Lb的元素按值非递减排列 归并La和Lb得到的顺序线性表Lc,Lc的元素也按值非递减排列。 代码定义: void mergeList(SeqList *La,SeqList *Lb,SeqList *Lc){Lc->capacity = La->size + Lb->size;Lc->b

为libpng不同架构创建构建目录、编译、安装以及合并库文件的所有步骤。

好的。既然你已经有了 libpng 的源代码,并且当前处在它的目录下,我们可以简化脚本,不再需要下载和解压源代码这一步。以下是修改后的脚本:```sh#!/bin/bash# 当前目录即 libpng 源代码目录LIBPNG_SRC_DIR=$(pwd)# 设置工作目录WORK_DIR=$(pwd)/libpng_buildBUILD_DIR_X86_64="$WORK_DIR/build

listview与复选框的合并使用

在使用listview的过程中,我们常常需要使用复选框,实现一些批处理功能。这时候我们需使用自定义的adapter,实现相关复选框的事件响应。      首先在adapter定义一个哈希表,用于存放复选框的选中情况:      如private static HashMap<String,Boolean> isSelected,private static HashMap<Inter

ZOJ 3324 Machine(线段树区间合并)

这道题网上很多代码是错误的,由于后台数据水,他们可以AC。 比如这组数据 10 3 p 0 9 r 0 5 r 6 9 输出应该是 0 1 1 所以有的人直接记录该区间是否被覆盖过的方法是错误的 正确方法应该是记录这段区间的最小高度(就是最接近初始位置的高度),和最小高度对应的最长左区间和右区间 开一个sum记录这段区间最小高度的块数,min_v 记录该区间最小高度 cover

【Markdown】如何在Markdown中合并单元格

Markdown语法本身不包含复杂表格的插入,但是可以使用html语法来实现。 水平单元格的合并:基于colspan属性,即使一个单元格占多列的空间纵向单元格的合并:基于rowspan属性,即使一个单元格占多行的空间 要想MarkDown中插入复杂表格时,可以先在word或excel中把表格写好,然后在如下网站进行转化为标记对形式: http://pressbin.com/tools/exc

【Leetcode56】合并区间(数组 | 排序)

文章目录 一、题目二、思路三、代码 一、题目 二、思路 先将所有子列表按照start_pos进行排序,有利于保持顺序性,每次处理新子列表时,只用和结果列表ans_lst的最后一个子列表对比,如果有重合则合并,然后将合并的新子列表插入结果列表排序可以使用lambda函数,intervals.sort(key=lambda x: x[0])因为使用了sort,所以时间复杂度O(