生产实践专题
自研Java协程在腾讯的生产实践
导读 / Introduction 本文是今年QCon java专场《Java协程在腾讯的生产实践》主题分享，分享团队为腾讯大数据JVM团队。本文主要介绍协程的产生背景、java协程的发展历程、社区官方协程Project Loom的设计与实现，以及腾讯自研协程Kona Fiber的产生背景、设计与实现、性能测试和业务实践。 1. 协程产生的背景 1.1 线程模型 最经典的编程模
ES8生产实践——ES跨集群数据迁移方案测评
引言 场景需求 经常有小伙伴咨询如何将整个es集群数据如何迁移到另一个集群，其中往往会涉及到以下的问题： 跨es版本：老版本es集群数据迁移到新版本es集群。 跨集群：源数据和目的数据分布在两个不同的集群。 跨网络：两套集群分布数据不同的局域网、一套在公有云、一套在自建机房。 迁移思路 目前主流的解决方案分为以下两类： 批量读取旧集群的数据然后再批量写入新集群：elasticsearch-
云原生消息流系统 Apache RocketMQ 在腾讯云的大规模生产实践
导语 随着云计算技术的日益成熟，云原生应用已逐渐成为企业数字化转型的核心驱动力。在这一大背景下，高效、稳定、可扩展的消息流系统显得尤为重要。腾讯云高级开发工程师李伟先生，凭借其深厚的技术功底和丰富的实战经验，为我们带来了《云原生消息流系统 Apache RocketMQ 在腾讯云的大规模生产实践》的分享。本文将围绕 RocketMQ 5.x 的新特性展开探讨，详细解读其在腾讯云上的实际应用案例，
zstd字典压缩的大数据生产实践 ctf逆向出题启发
文章目录 zstd实践命题思路rust背景rust的一些特征rust的异常处理具体算法逻辑算法理解妥协代码 zstd实践 首先明确，所有的压缩，和不压缩比，都是cpu换带宽/硬盘。 按我对教科书huffman编码和lzma算法的了解，他们都适合对大文件的压缩，基本原理都是“给高频pattern最短路”。 数据库/数据流压缩，情景不同。操作的对象是许许多多的单行（小文件），而非一个
APISIX网关在雪球生产实践
雪球,聪明的投资者都在这里 - 4300万投资者都在用的投资社区，沪深港美全球市场实时行情，股票基金债券免费资讯，与投资高手实战交流。 背景 雪球为用户提供稳定的投资实时资讯，内部对于沪深港美全球市场实时行情进行了双活改造，其中涉及到架构升级问题，而跨机房的用户鉴权是其中重要的一环。 现有的鉴权方式是通过客户端 SDK 集成，由基础组件完成 RPC 的调用、缓存、解析、处理等一系列的 Tok
ES8生产实践——Kibana对接Azure AD实现单点登录
基本概念介绍 什么是单点登录 单点登录（Single Sign-On，SSO）是一种身份验证和访问控制机制，允许用户使用一组凭据（通常是用户名和密码）仅需登录一次，即可访问多个应用程序或系统，而无需在每个应用程序中单独设置账号密码并进行身份验证。 在没有单点登录前，当用户访问多个应用程序时，每个应用程序需要用户提供自己的凭据进行身份验证。这种方式对用户来说很不便，需要记住多个用户名和密码，并且
云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践
导语 由 InfoQ 主办的 Qcon 全球软件开发者大会北京站上周已精彩落幕，腾讯云中间件团队的冉小龙参与了《云原生机构设计与音视频技术应用》专题，带来了以《云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践》为主题的精彩演讲，在本篇内容中，将重点围绕腾讯云近期在 Apache Pulsar 稳定性和性能方面优化的工作展开介绍，为开发者提供参考。 作者简介 冉小龙 腾
云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践
导语 由 InfoQ 主办的 Qcon 全球软件开发者大会北京站上周已精彩落幕，腾讯云中间件团队的冉小龙参与了《云原生机构设计与音视频技术应用》专题，带来了以《云原生消息流系统 Apache Pulsar 在腾讯云的大规模生产实践》为主题的精彩演讲，在本篇内容中，将重点围绕腾讯云近期在 Apache Pulsar 稳定性和性能方面优化的工作展开介绍，为开发者提供参考。 作者简介 冉小龙 腾
生产实践：基于K8S的私有化部署解决方案
随着国内数字化转型的加速和国产化进程推动，软件系统的私有化部署已经成为非常热门的话题，因为私有化部署赋予了企业更大的灵活和控制权，使其可以根据自身需求和安全要求定制和管理软件系统。下面分享下我们的基于k8S私有化部署经验。 私有化交付的目标 要支持系统快速部署至客户机房 支持版本在线升级 支持动态扩容 能快速集成系统监控告警 支持在线运维 可快速移植 因此基于k8s做私有化交付
生产实践：Redis与Mysql的数据强一致性方案
目的 Redis和Msql来保持数据同步，并且强一致，以此来提高对应接口的响应速度，刚开始考虑是用mybatis的二级缓存，发现坑不少，于是决定自己搞 要关注的问题点 操作数据必须是唯一索引 如果更新数据不是唯一索引，则数据库更新后的值，与缓存不一致，而查询还会走缓存，而查询的值是脏值。 查询唯一数据，数据值必须是全部字段 假如：B交易查询字段不是全部字段，进行查询放入缓存，A交易进行
生产实践：基于K8S的私有化部署解决方案
公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。 随着国内数字化转型的加速和国产化进程推动，软件系统的私有化部署已经成为非常热门的话题，因为私有化部署赋予了企业更大的灵活和控制权，使其可以根据自身需求和安全要求定制和管理软件系统。下面分享下我们的基于k8S私有化部署经验。 私有化交付的目标 要支持系统快速部署至客户机房支持版本在线升级支持动态扩容能快速集成系
rabbitmq之可靠性投递与生产实践（二）
文章目录 可靠性投递与生产实践一 可靠性投递1、确保消息发送到RabbitMQ服务器2、确保消息路由到正确的队列3、确保消息在队列正确地存储4、确保消息从队列正确地投递到消费者5、消费者回调6、补偿机制7、消息幂等性8、消息的顺序性 二 高可用架构RabbitMQ集群RabbitMQ镜像队列HAproxy负载+Keepalived高可用网络分区广域网的同步方案 三 实践经验总结1、配置文件与
ES8生产实践——ES8.8集群部署
es可以使用二进制、docker、k8s、rpm方式部署，此处以rpm方式为例。相较于二进制部署，省去了繁琐的用户创建、证书生成、密码设置、启动脚本配置等操作，简化部署流程，可以将更多的精力用于es的使用而不是部署上面。如果资源有限，想体验elk相关功能，可参考文档：https://www.cuiliangblog.cn/detail/section/117075458，后续也会发布docker
【运维日常】mongodb 集群生产实践
本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8》暂未更新 《docker学习》暂未更新 《ceph学习》ceph日常问题解决分享 《日志收集》ELK+各种中间件