集群专题
RedisCluster集群(转载)
前言 在 Redis 3.0 之前，使用 哨兵（sentinel）机制来监控各个节点之间的状态。Redis Cluster 是 Redis 的 分布式解决方案，在 3.0 版本正式推出，有效地解决了 Redis 在 分布式 方面的需求。当遇到 单机内存、并发、流量 等瓶颈时，可以采用 Cluster 架构方案达到 负载均衡 的目的。 本文将从 集群方案、数据分布、搭建集
redis 5.0.2 搭建集群
前言 我们日常在对于redis的使用中，经常会遇到一些问题 高可用问题，如何保证redis的持续高可用性。容量问题，单实例redis内存无法无限扩充，达到32G后就进入了64位世界，性能下降。并发性能问题，redis号称单实例10万并发，但也是有尽头的。 哈希槽的概念 Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时，redis
openGauss一主两备集群异常断电后不能正常启动的解决过程简记
背景 因异常断电后opengauss 5.0.0版本，一主两备集群启动失败。 报错不是主机，由于当时没有截图，查看日志后发现报错是： 定位过程 Day1 1. 尝试用另外两台机器启动每台机器 发现都报错自己不是主机，像极了唐僧被妖怪抓走后互相帅锅的猴子哥仨。 2.手动启动 于是向openGauss交流群里的大佬求助，@半夏提供了一个手动启动的命令。 gs_ctl start
springboot1.x集成redis单机版和集群版
看了网上好多springboot中使用redis配置麻烦，实际上springboot开箱即用为我们做好了准备，简单方便又能扩展。 单机版: 1.pom.xml添加依赖 <!-- springboot web 依赖的jar --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-star
springcloud中eureka集群搭建问题
搭建eureka集群: 按照网上的帖子怎么试都不行,服务就是注册不到eureka上 无意间看到日志b.a.s.AuthenticationManagerConfiguration : Using default security password: a9e87cee-79b9-4d1c-b263-ec5d3e570ad6 这就是开启的eureka的安全认证了，但是我没有开呀 然后就配置这
【NoSQL】redis集群的搭建
继上一篇文章介绍了redis的安装和部署之后，这篇文章介绍redis集群的搭建。redis集群简单意义上来说就是很多的redis服务器组成的一个集合，用来提供更加稳定、安全、智能的缓存服务！ 搭建redis集群的前提是已经有搭建完毕的redis，鉴于redis官方的建议——要让集群正常运作至少需要三个主节点，不过在刚开始试用集群功能时， 强烈建议使用六个节点： 其中三个为主节点，
【kubernetes】集群的二进制部署安装
目录 一、环境部署 二、部署 docker引擎 三、部署 etcd 集群 1、准备签发证书环境 1.1 master01服务器配置 1.1.1 准备cfssl证书生成工具 1.1.2 生成Etcd证书 1.1.3 创建存放etcd配置文件，命令文件，证书的目录，并启动etcd服务 1.1.4 把 etcd 相关证书文件、命令文件和服务管理文件全部拷贝到另外两个etcd集群节点
saltstack实现一键部署keepalived+haproxy的高可用负载均衡集群
配置环境 主机名ip服务server1172.25.1.1salt-master、salt-minion haproxy、keepalivedserver2172.25.1.2salt-minion , httpdserver3172.25.1.3salt-minion , nginxserver4172.25.1.4salt-minion , haproxy、keepalived 此文章
kubernetes多master集群架构
一、完成master02节点的初始化操作 master02环境准备，详细过程参考上一期博客环境准备 #添加主机映射vim /etc/hosts192.168.88.3 master01192.168.88.8 master02192.168.88.4 node01192.168.88.5 node02 1、准备master02节点需要的文件 从 master01 节点
面试必备分布式与集群的区别
一.先说区别 一句话：分布式是并联工作的，集群是串联工作的。 1.分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起，实现同一业务。...... 一.先说区别 一句话：分布式是并联工作的，集群是串联工作的。 1.分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起，实现同一业务。 分布式中的每一个节点，都可以做集群。 而集群并不一
摸鱼大数据——Linux搭建大数据环境(Hadoop集群的web-ui和安装Hive)四
集群web-ui 一旦Hadoop集群启动并运行，可以通过web-ui进行集群查看，如下所述： 访问HDFS的NameNode主机 : http://192.168.88.101:9870/ 访问YARN的ResourceManager主机 : http://192.168.88.101:8088/ 注意: 想要上传文件夹需要配置本地域名映射 本地配置域名映射 如果在windows
【Redis】Redis 主从集群（二）
1.哨兵机制原理 1.1.三个定时任务 Sentinel 维护着三个定时任务以监测 Redis 节点及其它 Sentinel 节点的状态 1）info 任务：每个 Sentinel 节点每 10 秒就会向 Redis 集群中的每个节点发送 info 命令，以获得最新的 Redis 拓扑结构 2）心跳任务：每个Sentinel节点每1
Kafka集群搭建详细步骤
Kafka集群搭建 1、 Kafka的安装需要java环境，cent os 7自带java1.6版本，可以不用重新安装，直接使用自带的jdk 即可；如果觉得jdk版本太旧，也可以自己重新安装； 2、 准备好kafka安装包，官网下载地址： http://kafka.apache.org/downloads.html 3、 下载好kafka安装包后，将其解压到/usr/local目录
摸鱼大数据——Linux搭建大数据环境(Hadoop集群的启动和Hadoop shell命令)三
hadoop集群启动 要启动Hadoop集群，其实就是启动HDFS和YARN两个集群 ① 数据初始化 首次启动HDFS必须对其进行格式化操作 : 本质是清理和准备工作,因为此时的HDFS在物理上还是不存在的 注意： 初始化操作必须在node1中执行 [root@node1 ~]# hdfs namenode -format ②单节点逐个启动[了解] 启动HDFS集群 在主节点
Redis的集群模式——Java全栈知识（20）
1、主从模式 Redis 支持主从模式的集群搭建，这是 Redis 提供的最简单的集群模式搭建方案，目的是解决单点服务器宕机的问题。当单点服务器发生故障的时候保证 Redis 正常运行。 主从模式主要是将集群中的 Redis 节点分为主节点和从节点。然后读和写发生在主节点上面，从节点只能读，主节点修改的数据将同步到从节点。 当主节点发生故障的时候，需要手动的将一个从节点升级为主节点，即可保证 R
【Redis】Redis 主从集群（一）
为了避免 Redis 的单点故障问题，可以搭建一个 Redis 集群，将数据备份到集群中的其它节点上。若一个 Redis 节点宕机，则由集群中的其它节点顶上 1.主从集群搭建 Redis 的主从集群是一个“一主多从”的读写分离集群。集群中的 Master 节点负责处理客户端的读写请求，而 Slave 节点仅能处理客户端的读请求。之所以要将集群搭建为读写分离模式，
Nutch1.8+Hadoop1.2+Solr4.3分布式集群配置
[b][color=green][size=large]Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。当然在百度百科上这种方法在Nutch1.2之后，已经不再适合这样描述Nutch了，因为在1.2版本之后，Nutch专注的只是爬取数据，而全文检索的部分彻底的交给Lucene和Solr，ES来做了，当然因为他们都是近亲关系，所
如何向hadoop集群定时提交一个jar作业？
除了使用Hive，Pig来执行一个MapReduce任务，不需要专门的把项目打成jar包，提交执行，或者定时执行，因为Hive，Pig这些开源框架已经，帮我们自动打包上传了。 而有些时候，我们自己手写了一个MapReduce的任务，然后这个任务里面依赖了其他的第三方包，比如说是Lucene的，或者是Solr，ElasticSearch的，那么打包的时候就需要将这些依赖的jar包也一起的打包进
SolrCloud5.4.1集群实战（一）
[size=medium] 古时候，人们用一头牛拉不动一个耕地的犁时，不会去找个比这头牛更大的牛，而是会直接使用两个牛一起参与耕地。在分布式计算中，道理同样如此，Hadoop就是一个典型的例子。诸如此类的有很多，这就是典型水平切分架构。早期的solr仅仅支持主从架构模式，这种架构可以提高集群的吞吐量和可靠性，当面临越来越多的数据时，并不能提升检索性能，所以在solr4.x之后，开始支持cloud
如何在Scala中读取Hadoop集群上的gz压缩文件
存在Hadoop集群上的文件，大部分都会经过压缩，如果是压缩后的文件，我们直接在应用程序中如何读取里面的数据？答案是肯定的，但是比普通的文本读取要稍微复杂一点，需要使用到Hadoop的压缩工具类支持，比如处理gz，snappy，lzo，bz压缩的，前提是首先我们的Hadoop集群得支持上面提到的各种压缩文件。 本次就给出一个读取gz压缩文件的例子核心代码： def readHdfsWrit
如何使用Spark的local模式远程读取Hadoop集群数据
我们在windows开发机上使用spark的local模式读取远程hadoop集群中的hdfs上的数据，这样的目的是方便快速调试，而不用每写一行代码或者一个方法，一个类文件都需要打包成jar上传到linux上，再扔到正式的集群上进行测试，像功能性验证直接使用local模式来快速调测是非常方便的，当然功能测试之后，我们还需要打包成jar仍到集群上进行其他的验证比如jar包的依赖问题，这个在local
Elasticsearch5.6.4集群搭建
本次搭建的是一个三节点的集群 （一）es的安装 （1）下载安装包 [url]https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.4.tar.gz[/url] （2）解压到指定目录 （3）进入根目录，修改config/elasticsearch.yml文件，清空内容，添加如下配
Hadoop 3.4.0+HBase2.5.8+ZooKeeper3.8.4+Hive+Sqoop 分布式高可用集群部署安装 大数据系列二
创建服务器,参考 虚拟机创建服务器 节点名字节点IP系统版本master11192.168.50.11centos 8.5slave12192.168.50.12centos 8.5slave13192.168.50.13centos 8.5 1 下载组件 Hadoop:官网地址 Hbase:官网地址 ZooKeeper:官网下载 Hive:官网下载 Sqoop:官网下载 为方便
摸鱼大数据——Linux搭建大数据环境(集群免密码登录和安装Hadoop)二
集群设置免密登录 克隆node1虚拟机的前置条件：node1虚拟机存在且处于关闭状态 1.克隆出node2虚拟机 1.node1虚拟机: 右键 -> "管理" -> "克隆" 2.图形化弹窗中: "下一页"->"下一页"->选择"创建完整克隆"再"下一页"->填写"node3和对应位置"再点击"完成" 3.node3虚拟机: 右键 -> "设置" -> "NAT
四、Linux二进制安装TDengine集群
目录 四、Linux二进制安装TDengine集群1 修改服务器hostname2 修改/etc/hosts3 开放端口4 服务器时钟同步 NTP5 官网下载对应需要的安装server文件6 安装TDengine6.1 上传解压6.2 开始安装6.2.1 执行./install.sh 后，会出现自己本机的hostname,点击回车键进入下一步6.2.2 回车后会出现此选项，相当于设置集群的主