本文主要是介绍UD在线学习网站开发日记（二）丨媒资管理模块，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
开发中遇到的问题
1、Spring事务失效
在媒资管理模块进行视频添加的时候，除了需要将视频存入到MinIo以外，还需要将视频的元信息存入到数据库。此时存入库的方法需要添加@Transactional注解，然后主方法会调用入库方法完成视频元信息的入库。直接调用入库方法会导致事务失效，需要通过代理对象来进行入库方法的调用才能够保证事务不会失效。我的做法是：在接口实现类中注入接口：
@Autowired
MediaFileService currentProxy;
@Override
public UploadFileResultDto uploadFile(Long companyId, UploadFileParamsDto uploadFileParamsDto, String localFilePath) {//入库文件信息MediaFiles mediaFiles = currentProxy.addMediaFilesToDb(companyId, fileMd5, uploadFileParamsDto, bucket_mediafiles, objectName);
}
@Transactonal
public MediaFiles addMediaFilesToDb(Long companyId,String fileMd5,UploadFileParamsDto uploadFileParamsDto,String bucket,String objectName){//将文件信息保存到数据库}除此之外还有几种可能会导致Spring事务失效：
1、在方法中捕获异常没有抛出去。
2、非事物方法调用事务方法
3、事务方法内部调用事务方法。
4、@Transational标记的方法不是public
5、数据库表不支持事务
6、spring的传播行为导致事务失效
7、抛出的异常与rollbackfor指定的异常不匹配，默认rollbackfor指定的异常为RuntimeException。
2、断点续传
防止用户在上传视频时因为网络波动导致上传中止不得不重新上传。
- 前端对文件分块
- 前端使用多线程一块一块上传，上传前通过服务端进行校验，检查这个块是否被上传过，如果已上传就不再上传。
- 等所有分块都上传到minio的指定路径下之后，前端向服务端发送合并请求，开始合并所有分块。
- 发送合并请求的同时，前端会针对该文件计算md5值，然后向服务端发送。服务端合并之后计算MD5值，并且与前端发来的md5值进行比较。如果相等则证明文件完整，如果不相等，需要重新上传。
3.分块文件清理的问题
上传一个视频文件，若上传到一半不上传了。那minio中关于这个视频的分块的数据就变成了垃圾。此时就需要进行删除。
1、在数据库中维护一张表，表中记录了视频文件的上传状态。当文件开始上传时状态为0，上传成功时状态为1。若发生这种情况，则会启动一个定时任务去查询文件表中的记录，到达一定时间后会删除状态为0的数据。
4.xxl-Job的作业分片方案
首先每个执行器收到广播任务都会被分配两个参数：1、执行器自己的编号 2、总执行器的数量
任务编号对执行器数量取余，得到的值就是 执行器的编号。然后让这个编号的执行器去运行。
5.保证任务不重复执行
问题详情：通过作业分片方案解决了任务不被重复分配的问题，但是如果一个执行器在处理视频的过程中 调度中心又请求一次调度，为了不重复处理应该怎么办
1.调度过期策略
调度中心错过调度时间的补偿处理策略，包括：忽略、立即补偿触发一次等；
可设置为忽略。
2、阻塞处理 策略
阻塞处理策略就是当前执行器正在执行任务还没有结束时调度中心进行任务调度，此时该如何处理。
单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；
丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；
覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；
3.幂等性处理：
幂等性是指多次执行任务对最后的结果不造成影响。
解决幂等性问题：
1、数据库约束，比如唯一索引，主键。
2、乐观锁，更新数据时根据乐观锁状态去更新。
3、唯一序列号，比如token
在本项目中采用的是在视频记录行中添加一个视频是否完成处理的字段。如果为1表示视频已经处理完。
6.Mq和定时任务调度的区别
定时任务是时间驱动，⽽MQ是事件驱动。
时间驱动是不可代替的，⽐如⾦融系统每⽇的利息结算，不是说消息来⼀条就算⼀下，⽽往往是通过定时任务批量计算。
定时任务作业更倾向于批处理，MQ倾向于逐条处理。
7.xxl_job的工作原理
XXL_Job是分布式任务调度器，由调度器和执行器组成，调用中心负责按照任务调度策略向执行器下发任务，执行器负责接受并执行任务。
1、首先部署xxl_job调度中心
2、在为服务中添加xxl_job依赖
3、启动微服务，执行器向调度中心上报自己
4、在微服务中，在xxl_job注解下写一个任务方法。
5.在调度中心进行配置
6、在调度中心启动任务
7、调度中心根据任务调度策略，到达时间就开始下发任务给执行器
8.执行器开始执行
8 什么是分布式事务
一次课程发布操作需要向数据库、redis、elasticsearch、MinIO写四份数据，这里存在分布式事务问题。
什么是分布式事务？
首先理解什么是本地事务？
平常我们在程序中通过spring去控制事务是利用数据库本身的事务特性来实现的，因此叫数据库事务，由于应用主要靠关系数据库来控制事务，此数据库只属于该应用，所以基于本应用自己的关系型数据库的事务又被称为本地事务。
本地事务具有ACID四大特性，数据库事务在实现时会将一次事务涉及的所有操作全部纳入到一个不可分割的执行单元，该执行单元中的所有操作 要么都成功，要么都失败，只要其中任一操作执行失败，都将导致整个事务的回滚。
理解了本地事务，什么是分布式事务？
现在的需求是课程发布操作后将数据写入数据库、redis、elasticsearch、MinIO四个地方，这四个地方已经不限制在一个数据库内，是由四个分散的服务去提供，与这四个服务去通信需要网络通信，而网络存在不可到达性，这种分布式系统环境下，通过与不同的服务进行网络通信去完成事务称之为分布式事务。
在分布式系统中分布式事务的场景很多：
例如用户注册送积分，银行转账，创建订单减库存，这些都是分布式事务。
拿转账举例：
我们知道本地事务依赖数据库本身提供的事务特性来实现，因此以下逻辑可以控制本地事务：
| Java |
但是在分布式环境下，会变成下边这样：
| Java |
可以设想，当远程调用让李四增加金额成功了，由于网络问题远程调用并没有返回，此时本地事务提交失败就回滚了张三减少金额的操作，此时张三和李四的数据就不一致了。
因此在分布式架构的基础上，传统数据库事务就无法使用了，张三和李四的账户不在一个数据库中甚至不在一个应 用系统里，实现转账事务需要通过远程调用，由于网络问题就会导致分布式事务问题。
下边的场景都会产生分布式事务：
微服务架构下：
单服务多数据库：
多服务单数据库:
9. 什么是CAP理论
控制分布式事务首先需要理解CAP理论，什么是CAP理论？
CAP是 Consistency、Availability、Partition tolerance三个词语的缩写，分别表示一致性、可用性、分区容忍性。
使用下边的分布式系统结构 进行说明：
客户端经过网关访问用户服务的两个结点，一致性是指用户不管访问哪一个结点拿到的数据都是最新的，比如查询小明的信息，不能出现在数据没有改变的情况下两次查询结果不一样。
可用性是指任何时候查询用户信息都可以查询到结果，但不保证查询到最新的数据。
分区容忍性也叫分区容错性，当系统采用分布式架构时由于网络通信异常导致请求中断、消息丢失，但系统依然对外提供服务。
CAP理论要强调的是在分布式系统中这三点不可能全部满足，由于是分布式系统就要满足分区容忍性，因为服务之间难免出现网络异常，不能因为局部网络异常导致整个系统不可用。
满足P那么C和A不能同时满足：
比如我们添加一个用户小明的信息，该信息先添加到结点1中，再同步到结点2中，如下图：
如果要满足C一致性，必须等待小明的信息同步完成系统才可用（否则会出现请求到结点2时查询不到数据，违反了一致性），在信息同步过程中系统是不可用的，所以满足C的同时无法满足A。
如果要满足A可用性，要时刻保证系统可用就不用等待信息同步完成，此时系统的一致性无法满足。
所以在分布式系统中进行分布式事务控制，要么保证CP、要么保证AP。
10. 分布式事务控制方案
学习了CAP理论该如何控制分布式事务呢？
学习了CAP理论我们知道进行分布式事务控制要在C和A中作出取舍，保证一致性就不要保证可用性，保证可用性就不要保证一致，首先你确认是要CP还是AP，具体要根据应用场景进行判断。
CP的场景：满足C舍弃A，强调一致性。
跨行转账：一次转账请求要等待双方银行系统都完成整个事务才算完成，只要其中一个失败另一方执行回滚操作。
开户操作：在业务系统开户同时要在运营商开户，任何一方开户失败该用户都不可使用，所以要满足CP。
AP的场景：满足A舍弃C，强调可用性。
订单退款，今日退款成功，明日账户到账，只要用户可以接受在一定时间内到账即可。
注册送积分，注册成功积分在24分到账。
支付短信通信，支付成功发短信，短信发送可以有延迟，甚至没有发送成功。
在实际应用中符合AP的场景较多，其实虽然AP舍弃C一致性，实际上最终数据还是达到了一致，也就满足了最终一致性，所以业界定义了BASE理论。
什么是BASE理论？
BASE 是 Basically Available(基本可用)、Soft state(软状态)和 Eventually consistent (最终一致性)三个短语的缩写。
基本可用：当系统无法满足全部可用时保证核心服务可用即可，比如一个外卖系统，每到中午12点左右系统并发量很高，此时要保证下单流程涉及的服务可用，其它服务暂时不可用。
软状态：是指可以存在中间状态，比如：打印自己的社保统计情况，该操作不会立即出现结果，而是提示你打印中，请在XXX时间后查收。虽然出现了中间状态，但最终状态是正确的。
最终一致性：退款操作后没有及时到账，经过一定的时间后账户到账，舍弃强一致性，满足最终一致性。
分布式事务控制有哪些常用的技术方案？
实现CP就是要实现强一致性:
使用Seata框架基于AT模式实现
使用Seata框架基于TCC模式实现。
实现AP则要保证最终数据一致性:
使用消息队列通知的方式去实现，通知失败自动重试，达到最大失败次数需要人工处理；
使用任务调度的方案，启动任务调度将课程信息由数据库同步到elasticsearch、MinIO、redis中。
这篇关于UD在线学习网站开发日记（二）丨媒资管理模块的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
