分布式专题
集中式版本控制与分布式版本控制——Git 学习笔记01
什么是版本控制 如果你用 Microsoft Word 写过东西，那你八成会有这样的经历： 想删除一段文字，又怕将来这段文字有用，怎么办呢？有一个办法，先把当前文件“另存为”一个文件，然后继续改，改到某个程度，再“另存为”一个文件。就这样改着、存着……最后你的 Word 文档变成了这样： 过了几天，你想找回被删除的文字，但是已经记不清保存在哪个文件了，只能挨个去找。真麻烦，眼睛都花了。看
开源分布式数据库中间件
转自：https://www.csdn.net/article/2015-07-16/2825228 MyCat：开源分布式数据库中间件 为什么需要MyCat？ 虽然云计算时代，传统数据库存在着先天性的弊端，但是NoSQL数据库又无法将其替代。如果传统数据易于扩展，可切分，就可以避免单机（单库）的性能缺陷。 MyCat的目标就是：低成本地将现有的单机数据库和应用平滑迁移到“云”端
laravel框架实现redis分布式集群原理
在app/config/database.php中配置如下： 'redis' => array('cluster' => true,'default' => array('host' => '172.21.107.247','port' => 6379,),'redis1' => array('host' => '172.21.107.248','port' => 6379,),) 其中cl
基于MySQL实现的分布式锁
概述 在单机时代，虽然不需要分布式锁，但也面临过类似的问题，只不过在单机的情况下，如果有多个线程要同时访问某个共享资源的时候，我们可以采用线程间加锁的机制，即当某个线程获取到这个资源后，就立即对这个资源进行加锁，当使用完资源之后，再解锁，其它线程就可以接着使用了。例如，在JAVA中，甚至专门提供了一些处理锁机制的一些API（synchronize/Lock等）。 但是到了分布式系统的时代，这种
Kafka 分布式消息系统详细介绍
Kafka 分布式消息系统 一、Kafka 概述1.1 Kafka 定义1.2 Kafka 设计目标1.3 Kafka 特点 二、Kafka 架构设计2.1 基本架构2.2 Topic 和 Partition2.3 消费者和消费者组2.4 Replica 副本 三、Kafka 分布式集群搭建3.1 下载解压3.1.1 上传解压 3.2 修改 Kafka 配置文件3.2.1 修改zookeep
Spring Cloud整合Seata实现分布式事务
文章目录 1.Seata1.1 官网1.2 下载1.3 通过安装包运行seata1.3.1 解压seata-server-1.3.0.zip1.3.2 修改 conf/file.conf 配置文件1.3.3 修改conf/registry.conf配置文件1.3.4 添加seata配置信息到nacos1.3.5 配置seata服务端数据库表结构1.3.6 启动seata 2.Spring
ELK+Spring Cloud搭建分布式日志中心
ELK+Spring Cloud搭建分布式日志中心 1.ELK简介2.资源包下载3.Elasticsearch安装3.1 解压Elasticsearch3.2 修改Elasticsearch的配置文件3.3 修改系统配置3.4 启动Elasticsearch 4.ElasticSearch-head插件安装5.Logstash安装6.Kibana安装7.SpringCloud集成logsta
Redis进阶(七):分布式锁
在分布式系统下，涉及到多个节点访问同一个公共资源的情况，此时需要通过 锁 进行互斥控制：避免出现 线程安全问题。 1.分布式锁的基本实现 超卖问题： 解决: 采用redis实现分布式锁 可用采取：在购票的时候，操作过程中需要先加锁。在redis上设置一个key - value，完成上述买票操作，再把key - value 删掉。如果发现key - value 存在，就加锁失败，无法进
聊聊分布式，再讨论分布式解决方案
前言 最近很久没有写博客了，一方面是因为公司事情最近比较忙，另外一方面是因为在进行 CAP 的下一阶段的开发工作，不过目前已经告一段落了。 接下来还是开始我们今天的话题，说说分布式事务，或者说是我眼中的分布式事务，因为每个人可能对其的理解都不一样。 分布式事务是企业集成中的一个技术难点，也是每一个分布式系统架构中都会涉及到的一个东西，特别是在微服务架构中，几乎可以说是无法避免，本文就分布式事
分布式 事务的几种实现方案
背景 四月初，去面试了本市的一家之前在做办公室无人货架的公司，虽然他们现在在面临着转型，但是对于我这种想从传统企业往互联网行业走的孩子来说，还是比较有吸引力的。 在面试过程中就提到了分布式事务问题。我又一次在没有好好整理的问题上吃了亏，记录一下，还是长记性 ！！！ 先看面试过程 面试官先是在纸上先画了这样一张图： 让我看这张图按照上面的流程走，有没有什么问题？面试官并没有直接说出来这里面
分布式事务 全面解析
1 面试题 分布式事务了解吗？你们如何解决分布式事务问题的？ 2 考点分析 只要聊到做了分布式系统，必问分布式事务，若你对分布式事务一无所知的话，确实很坑，起码得知道有哪些方案，一般怎么来做，每个方案的优缺点是什么。 现在面试，分布式系统成了标配，而分布式系统带来的分布式事务也成了标配. 你做系统肯定要用事务，那你用事务的话，分布式系统之后肯定要用分布式事务. 先不说你搞过没有，起码你
Tranformer分布式特辑
随着大模型的发展，如何进行分布式训练也成了每位开发者必备的技能。 单机训练 CPU OffloadingGradient Checkpointing 正向传播时，不存储当前节点的中间结果，在反向传播时重新计算，从而起到降低显存占用的作用 Low Precision Data TypesMemory Efficient Optimizers 分布式 数据并行（DP）和模型并行（MP） 分布
Redis 篇-深入了解基于 Redis 实现分布式锁（解决多线程安全问题、锁误删问题和确保锁的原子性问题）
🔥博客主页： 【小扳_-CSDN博客】 ❤感谢大家点赞👍收藏⭐评论✍ 文章目录 1.0 分布式锁概述 1.1 Redis 分布式锁实现思路 1.2 实现基本的分布式锁 2.0 Redis 分布式锁误删问题 2.1 解决 Redis 分布式锁误删问题 3.0 Redis 分
Minio 高性能分布式对象存储快速入手指南
0x00 Minio 快速入门 什么是对象存储? 描述: 对象存储（Object Storage）是一种存储数据的计算机体系结构，它以对象的形式存储和管理数据。与传统的文件系统和块存储不同，对象存储将数据作为对象存储在分布式的存储集群中，每个对象都有一个唯一的标识符（通常是一个URL），并且可以通过这个标识符来访问和检索数据。 「对象存储特点」： 弹性扩展：对象存储可以轻松地扩展存储容量，
分布式项目中使用雪花算法提前获取对象主键ID
hello，大家好，我是灰小猿！ 在做分布式项目开发进行数据表结构设计时，有时候为了提高查询性能，在进行数据库表设计时，会使用自增ID来代替UUID作为数据的主键ID，但是这样就会有一个问题，数据的自增ID应该如何获取到下一个ID并且插入到库中呢？ 如果你使用的是mybatisPlus，可以使用自带的自增注解加在id字段上即可，这样在数据入库时就可以自动给数据赋值自增的主键ID， 但是对于不
如何通过 Scrapyd + ScrapydWeb 简单高效地部署和监控分布式爬虫项目
来自 Scrapy 官方账号的推荐 需求分析 初级用户： 只有一台开发主机能够通过 Scrapyd-client 打包和部署 Scrapy 爬虫项目，以及通过 Scrapyd JSON API 来控制爬虫，感觉命令行操作太麻烦，希望能够通过浏览器直接部署和运行项目 专业用户： 有 N 台云主机，通过 Scrapy-Redis 构建分布式爬虫希望集成身份认证希望在页面上直观
分布式跟踪服务实战应用指南
已成为了决解复杂系统运行效率问题的关键手段之一，随着企业向微服务化与分布式系统的转变，应用复杂度不断提升，监控技术的挑战更为严峻。此项服务不仅能协助开发与运维团队更直观地理解系统运作状况，还可增强系统稳定性及提升用户满意度。 接下来，文章将详细剖析分布式追踪服务的优点、适用场景、可能存在的风险以及安全性，同时还会介绍如何在Python项目中进行集成操作，并对比其他可用选项，为您推荐合适的服务提供
首次揭秘，面向核心业务的全闪分布式存储架构设计与实践
当今是云计算、大数据的时代，企业业务持续增长需要存储系统的 IO 性能也持续增长。 机械盘本身的 IOPS 一直徘徊在数百的级别，为了提高传统存储的性能，有些存储厂商加了缓存层，然而目前应用正由单一走向多元化，导致 IO 特征无法预测，缓存也难以发挥作用。 机械盘依赖盘片的旋转和机械臂的移动进行 IO，目前转速基本达到物理极限，所以机械盘性能一直徘徊不前，无法满足企业核心业务对于存储性能的要求
自然语言处理系列六十一》分布式深度学习实战》TensorFlow深度学习框架
注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】 文章目录 自然语言处理系列六十一分布式深度学习实战》TensorFlow深度学习框架安装和部署过程 总结 自然语言处理系列六十一 分布式深度学习实战》TensorFlow深度学习框架 TensorFlow作为最流行的深度学习
下一代分布式消息队列Apache Pulsar
Pulsar简介 Apache Pulsar是一个企业级的分布式消息系统，最初由Yahoo开发并在2016年开源，目前正在Apache基金会下孵化。Plusar已经在Yahoo的生产环境使用了三年多，主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa以及Yahoo的KV存储。Pulsar之所以能够称为下一代消息队列，
26 页高清分布式集群代码速查表，提升效率必备！【可下载】
各大互联网公司高价抢夺海量数据处理、分布式系统开发人才，为谋求长期发展、获得高薪，很多人转行到了大数据、分布式、集群运维领域。这条路人才虽缺，但并不轻松：别的不说，光学习新技术，巩固旧知识，就需要耗费大量时间精力，实属不易。 为帮助大家提高学习和工作效率，方便日后查找和使用其中涉及的知识点，这里整理了一份分布式/集群开发、运维的代码速查表资料，内容包括 Spark、Hadoop 及 Hive 等
Flink实战案例（十五）:Flink的分布式缓存
分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。 当程序执行，Flink自动将文件或者目录
分布式训练同步梯度出现形状不一致的解决方案
1、问题描述 为了加快大模型的训练速度，采用了分布式训练策略，基于MultiWorkerServerStrategy模式，集群之间采用Ring—Reduce的通信机制，不同节点在同步梯度会借助collective_ops.all_gather方法将梯度进行汇聚收集，汇聚过程出现了： allreduce_1/CollectiveGather_1 Inconsitent out
Yarn 源码 | 分布式资源调度引擎 Yarn 内核源码剖析
曾有人调侃：HBase 没有资源什么事情也做不了，Spark 占用了资源却没有事情可做？ 那 YARN了解一下？ 01 YARN！ 伴随着Hadoop生态的发展，不断涌现了多种多样的技术组件 Hive、HBase、Spark……它们在丰富了大数据生态体系的同时，也引发了新的问题思考。 熟悉大数据底层平台的朋友，应该都了解这些为大数据场景设计的技术组件不仅个个都是消耗资源的大户，而且它们本