CubeFS [1] 是新一代云原生存储产品，目前是云原生计算基金会 CNCF托管的孵化阶段开源项目， 兼容 S3、POSIX、HDFS 等多种访问协议，支持多副本与纠删码两种存储引擎，为用户提供多租户、 多 AZ 部署以及跨区域复制等多种特性，广泛应用于大数据、AI、容器平台、数据库、中间件存算分离、数据共享以及数据保护等场景。 CubeFS的多级缓存[2] AutoMQ 创新的共享存

01 背景 AutoMQ[1] 作为一款流系统，被广泛应用在客户的核心链路中，对可靠性的要求非常的高。所以我们需要一套模拟真实生产场景、长期运行的测试环境，在注入各种故障场景的前提下验证 SLA 的可行性，为新版本的发布和客户的使用提供信心保证。基于这样的考虑，我们研发了一套针对流系统的自动化持续测试平台 Marathon。在实现 Marathon 这套框架之前，我们提炼出三个设计原则： 易

01 前言 Apache Kafka 有着比较完备的自测体系。除了常规的单元测试和集成测试以外，Apache Kafka 还有着 1000+ 的“系统集成和性能测试”（以下简称系统测试）。系统测试会拉起一套真实的 Kafka 集群，并模拟用户使用 Kafka 集群的方式，进行消息的收发，并验证测试结果是否符合预期。整个流程可以实现自动化运行。 AutoMQ 继承了 Apache Kafka 的

作者｜黄章衡，小红书消息引擎研发专家 01 引言 Apache Kafka 因存算一体化架构，分区迁移依赖大量数据同步的完成，以一个 100MB/s 流量的 Kafka 分区为例，运行一天产生的数据量约为 8.2T，如果此时需要将该分区迁移到其他 Broker，则需要对全量数据进行复制，即使对拥有 1 Gbps 带宽的节点，也需要小时级的时间来完成迁移，这使得 Apache Kafka 集群几

本期概要 欢迎来到 AutoMQ 第九期双周精选！在过去两周里，@funky-eyes 为社区优化了combined 模式下的启动脚本 HELP 输出。主干动态方面，AutoMQ 发布了 1.0.2 版本，该版本支持堆内池化和堆外池化两种策略，且 AutoMQ 主分支现已完成对 Apache Kafka 3.7.0 的分支合并。 社区贡献者名单 @funky-eyes https://gi

本期概要 过去的两周里，社区贡献者@lifepuzzlefun 为 AutoMQ 的 RocketMQ 项目优化了 LogCache 的二分查找性能，消除了不必要的List拷贝。 同时，AutoMQ 的主干动态展示了持续的性能优化和功能增强。在 Kafka 项目中，团队设计了新型文件缓存机制，以支持小数据、反复读和二分查找跳读场景，同时优化了 WAL 恢复速度，使 1GiB 数据恢复时间大幅缩