一、水平分割 1、水平分库 1)、概念： 以字段为依据，按照一定策略，将一个库中的数据拆分到多个库中。 2)、结果 每个库的结构都一样；数据都不一样； 所有库的并集是全量数据； 2、水平分表 1)、概念 以字段为依据，按照一定策略，将一个表中的数据拆分到多个表中。 2)、结果 每个表的结构都一样；数据都不一样； 所有表的并集是全量数据； 二、Shard-jdbc 中间件 1、架构图 2、特点

一、数据库扩容 1、业务场景 互联网项目中有很多“数据量大，业务复杂度高，需要分库分表”的业务场景。 这样分层的架构 （1）上层是业务层biz，实现业务逻辑封装； （2）中间是服务层service，封装数据访问； （3）下层是数据层db，存储业务数据； 2、扩容场景和问题 当数据量持续新增，面临着这样一些需求，两台数据库无法容纳，需要数据库扩容，这里选择2台—扩容到3台的模式，如下图

今天skywalking突然不能用了，看日志： 2018-08-09 10:15:29,556 - org.apache.skywalking.apm.collector.cache.caffeine.service.ServiceNameCacheCaffeineService -82494825 [grpc-default-executor-149] ERROR [] - No shard

详细异常信息如下： {"error": {"root_cause": [{"type": "query_shard_exception","reason": "failed to create query: {\n \"bool\" : {\n \"filter\" : [\n {\n \"term\" : {\n \"catalogId\" :

一个MongoDB Sharding由三部分组成： 1. Shards Shard即存储实际数据的分片，每个Shard可以是一个mongod实例，也可以是一组mongod实例构成的Replica Set。为了实现每个Shard内部的auto-failover，MongoDB官方建议每个Shard为一组Replica Set。 2. Config Servers 为了将一个coll

Shard（分片）       一个Shard就是一个Lucene实例，是一个完整的搜索引擎。一个索引可以只包含一个Shard，只是一般情况下会用多个分片，可以拆分索引到不同的节点上，分担索引压力。 segment      elasticsearch中的每个分片包含多个segment，每一个segment都是一个倒排索引；在查询的时，会把所有的segment查询结果汇总归并后最为最终的分片

文章目录 MongoDB 集群架构副本集主节点选举原则搭建副本集主节点从节点仲裁节点 连接节点添加副本从节点添加仲裁者节点删除节点 副本集读写操作副本集中的方法 分片集群分片集群架构目标第一个副本集第二个副本集配置集初始化副本集路由集添加分片开启分片集合分片删除分片 安全认证MongoDB用户和角色权限副本集安全认证创建副本集认证的key文件修改配置文件指定keyfile 分片集群安全认

一：报错信息 通过命令： curl -XGET "http://{ip}:9200/_cluster/allocation/explain" 查看集群状态： 可以看到其active_shards_percent为36.1%,elasticsearch健康状态为yellow,原因就是其存在UNASSIGNED shards的情况，而此时也影响到了es的正常使用。 二、分析原

开源项目地址: 项目地址: https://github.com/ning1875/prome_shard 项目说明 prometheus采集端单点问题 采集类型 采集机器级别的指标采集k8s基础监控指标采集部署在lb后面的vm业务指标采集部署在pod里的业务指标采集各种中间件的指标 如kafka zk clickhouse等 面对如此复杂的采集类型，一般会使用一批采集Promethe