solrCloud 4.9 分布式集群部署及注意事项

2024-01-09 19:58
文章标签 部署 集群 注意事项 分布式 solrcloud 4.9

本文主要是介绍solrCloud 4.9 分布式集群部署及注意事项，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！


环境搭建

一.zookeeper

参考：http://blog.chinaunix.NET/uid-25135004-id-4214399.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
现有4台机器 10.14.2.201 10.14.2.202 10.14.2.203 10.14.2.204
安装zookeeper集群
  
在所有机器上进行
1、下载安装包解压
  tar xvf zookeeper-3.4.5.tar.gz  -C /export/
  cd /export/
  ln -s zookeeper-3.4.5 zookeeper
2、设置环境变量
  vim /etc/profile
#Set ZooKeeper Enviroment
export ZOOKEEPER_HOME=/export/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
3、加载环境变量
  source   /etc/profile
4、配置zookeeper
cd /export/zookeeper/conf
cp zoo_sample.cfg  zoo.cfg
vim zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/export/zookeeper/data
dataLogDir=/export/zookeeper/log
clientPort=2181
server.1=10.14.2.201:2888:3888
server.2=10.14.2.202:2888:3888
server.3=10.14.2.203:2888:3888
server.4=10.14.2.204:2888:3888
5、dataDir和日志目录dataLogDir
mkdir -p /export/zookeeper/data
mkdir -p /export/zookeeper/log
6、在10.14.2.201上
在dataDir目录下创建myid文件
echo 1 > /export/zookeeper/data/myid
myid中的数字与zoo.cfg中的 "server.数字=ip或者域名:port1:port2" 相对应，
配置文件中10.14.2.201对应的server.数字是1 所以myid的数字应为1
7、在10.14.2.202上
在dataDir目录下创建myid文件
echo 2 > /export/zookeeper/data/myid
8、在10.14.2.203上
在dataDir目录下创建myid文件
echo 3 > /export/zookeeper/data/myid
9、在10.14.2.204上
在dataDir目录下创建myid文件
echo 4 > /export/zookeeper/data/myid
在所用机器上执行
10、修改权限
chown hadoop.hadoop -R /export/zookeeper/
chown hadoop.hadoop -R /export/zookeeper
11、启动zookeeper
/export/zookeeper/bin/zkServer.sh start
12、观察zookeeper状态
    1> 10.14.2.201
    # /export/zookeeper/bin/zkServer.sh status
    JMX enabled  by  default
    Using config: /export/zookeeper/bin/../conf/zoo.cfg
    Mode: follower
    2> 10.14.2.202
    # /export/zookeeper/bin/zkServer.sh status
    JMX enabled  by  default
    Using config: /export/zookeeper/bin/../conf/zoo.cfg
    Mode: follower
  
    3> 10.14.2.203
    # /export/zookeeper/bin/zkServer.sh status
   JMX enabled  by  default
   Using config: /export/zookeeper/bin/../conf/zoo.cfg
   Mode: leader
  
    4> 10.14.2.204
    # /export/zookeeper/bin/zkServer.sh status
    JMX enabled  by  default
    Using config: /export/zookeeper/bin/../conf/zoo.cfg
    Mode: follower
    
13、此时zookeeper已安装并启动完毕

　　

二.solrCloud

参考：http://lucien-zzy.iteye.com/blog/2002463

1.安装tomcat，配置端口。部署solr.war，将solr\example\lib\ext下的jar拷贝到solr\WEB-INF\lib下。

2.创建

/home/solr/solrcloud

/home/solr/solrcloud/config-files (放置solr\example\solr\collection1\conf 下的所有文件)

/home/solr/solrcloud/solr-lib (放置solr\WEB-INF\lib下的所有jar包)

3.配置中文分词器

4.创建solr数据目录

/home/solr/solr-cores

生成solr.xml，如下：

复制代码 
<?xml version="1.0" encoding="UTF-8" ?>
<solr persistent="true">
<logging enabled="true">
<watcher size="100" threshold="INFO" />
</logging>
<cores defaultCoreName="collection1" adminPath="/admin/cores" host="${host:}" hostPort="8080" hostContext="${hostContext:solr}" zkClientTimeout="${zkClientTimeout:15000}">
</cores>
</solr>
复制代码

5.创建

tomcat/conf/Catalina

tomcat/conf/Catalina/localhost

并创建solr.xml

<?xml version="1.0" encoding="UTF-8"?>
<Context docBase="/soft/apache-tomcat-7.0.37/webapps/solr" debug="0" crossContext="true">
<Environment name="solr/home" type="java.lang.String" value="/home/solr/solr-cores" override="true"/>
</Context>

docBase根据实际情况配置；

solr/home为之前创建的目录：/home/solr/solr-cores

6.修改tomcat/bin/cataina.sh 文件，在最上方加入：JAVA_OPTS="-DzkHost=master:2181,slave1:2181,slave2:2181"，或直接使用ip。

将以上配置发布到集群其他机器上。

7.SolrCloud是通过ZooKeeper集群来保证配置文件的变更及时同步到各个节点上，所以，需要将配置文件上传到ZooKeeper集群中。执行如下操作：

java -classpath .:/home/solr/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost 192.168.91.128:2181,192.168.91.129:2181,192.168.91.130:2181 -confdir /home/solr/solrcloud/config-files/ -confname myconf

-cmd upconfig:上传配置文件

-confdir:配置文件的目录

-confname:指定对应的名称

java -classpath .:/home/solr/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmd linkconfig -collection collection1 -confname myconf -zkhost 192.168.91.128:2181,192.168.91.129:2181,192.168.91.130:2181

-cmd linkconfig:为指定collection"绑定"配置文件

-collection

-confname

8.检查zookeeper的配置信息

zkCli.sh -server ip:port

ls /configs/myconf

ls /live_nodes

9.启动tomcat，创建collection

curl 'http://192.168.91.128:8080/solr/admin/collections?action=CREATE&name=mycollection&numShards=3&replicationFactor=1'

action：CREATE

name：collection名称

numShards：分片数量

replicationFactor：副本集数量

也可以通过zk查询collection的情况：ls /collections/mycollection

 

-------------------------------

1.ZK CLI

ZooKeeper's Command Line Utility (CLI).

zkcli Parameters

Short

Parameter Usage

Meaning

 

-cmd <arg>

CLI Command to be executed: bootstrap, upconfig, downconfig, linkconfig, makepath, get, getfile, put,putfile, list or clear. 
This parameter is mandatory

-z

-zkhost <locations>

ZooKeeper host address. 
This parameter is mandatory for all CLI commands.

-c

-collection <name>

For linkconfig: name of the collection.

-d

-confdir <path>

For upconfig: a directory of configuration files.

-h

-help

Display help text.

-n

-confname <arg>

For upconfig, linkconfig: name of the configuration set.

-r

-runzk <port>

Run ZooKeeper internally by passing the Solr run port; only for clusters on one machine.

-s

-solrhome <path>

For bootstrap or when using -runzk: the mandatory solrhome location.

ZooKeeper CLI Examples

Below are some examples of using the zkcli CLI:
Uploading a Configuration Directory

java -classpath example/solr-webapp/WEB-INF/lib/*
org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost 127.0.0.1:9983
-confdir example/solr/collection1/conf -confname conf1 -solrhome example/solr

Put arbitrary data into a new ZK file

java -classpath example/solr-webapp/WEB-INF/lib/*
org.apache.solr.cloud.ZkCLI -zkhost 127.0.0.1:9983 -put /data.txt 'some data'

Put a local file into a new ZK file

java -classpath example/solr-webapp/WEB-INF/lib/*
org.apache.solr.cloud.ZkCLI -zkhost 127.0.0.1:9983 -putfile /data.txt /some/local/file.txt

Linking a Collection to a Configuration Set

java -classpath example/solr-webapp/webapp/WEB-INF/lib/*
org.apache.solr.cloud.ZkCLI -cmd linkconfig -zkhost 127.0.0.1:9983
-collection collection1 -confname conf1 -solrhome example/solr

Bootstrapping All the Configuration Directories in solr.xml

java -classpath example/solr-webapp/webapp/WEB-INF/lib/*
org.apache.solr.cloud.ZkCLI -cmd bootstrap -zkhost 127.0.0.1:9983
-solrhome example/solr

Scripts

There are scripts in example/cloud-scripts that handle the classpath and class name for you if you are using Solr out of the box with Jetty. Commands then become:

sh zkcli.sh -cmd linkconfig -zkhost 127.0.0.1:9983
-collection collection1 -confname conf1 -solrhome example/solr

 

2.Managing collections via the collections API

CREATE---

http://localhost:8983/solr/admin/collections?action=CREATE&name=mycollection&numShards=3&replicationFactor=4

name：collection的名称

numShards：指定分片数量（slices）

replicationFactor：副本数量

maxShardsPerNode：默认值为1，注意三个数值：numShards、replicationFactor、liveSolrNode，一个正常的solrCloud集群不容许同一个liveSolrNode上部署同一个shard的多个replic，因此当maxShardsPerNode=1时，numShards*replicationFactor>liveSolrNode时，报错。因此正确时因满足以下条件：
numShards*replicationFactor<liveSolrNode*maxShardsPerNode

createNodeSet：

collection.configName：指定该collection使用那份config，这份config必须存在于zk中。

DELETE---

http://localhost:8983/solr/admin/collections?action=DELETE&name=mycollection

RELOAD---

http://localhost:8983/solr/admin/collections?action=RELOAD&name=mycollection

SPLIT SHARD---

http://localhost:8983/solr/admin/collections?action=SPLITSHARD&collection=<collection_name>&shard=shardId

 

3.Creating cores via CoreAdmin

curl 'http://localhost:8983/solr/admin/cores?action=CREATE&name=mycore&collection=collection1&shard=shard2'

 

 

-------------------------------

Q1:Multiple schemas in the same SolrCloud ?

java -classpath .:/home/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost 10.200.51.190:2224,10.200.51.192:2224,10.200.51.194:2224 -confdir /home/solrcloud/fox-config-files/ -confname foxconf

指定配置文件，上传到zk。

curl 'http://10.200.51.194:2223/solr/admin/collections?action=CREATE&name=fox4&numShards=1&replicationFactor=5&collection.configName=foxconf'

为创建的collection指定collection.configName。

文章来源：http://blog.csdn.net/guochunyang/article/details/49181759

这篇关于solrCloud 4.9 分布式集群部署及注意事项的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/588267。

相关文章

UnrealScriptIDE调试环境部署

UnrealScriptIDE调试环境部署

先安装vs2010   再安装VSIsoShell.exe， 下载地址 https://pan.baidu.com/s/10kPNUuDGTbWXbz7Nos-1WA       fd3t   最后安装unside，下载地址 https://archive.codeplex.com/?p=uside  安装中间有一步选择Binary文件夹要选对路径。   安装好以后，启动 UDKDe
阅读更多...
Eureka高可用注册中心registered-replicas没有分布式注册中心

Eureka高可用注册中心registered-replicas没有分布式注册中心

自己在学习过程中发现，如果Eureka挂掉了，其他的Client就跑不起来了，那既然是商业项目，还是要处理好这个问题，所以决定用《Spring Cloud微服务实战》（PDF版在全栈技术交流群中自行获取）中说的“高可用注册中心”。 一开始我yml的配置是这样的 server:port: 8761eureka:instance:hostname: 127.0.0.1client:fetch-r
阅读更多...
邮件群发推送的方法技巧？有哪些注意事项？

邮件群发推送的方法技巧？有哪些注意事项？

邮件群发推送的策略如何实现？邮件推送怎么评估效果？ 电子邮件营销是现代企业进行推广和沟通的重要工具。有效的邮件群发推送不仅能提高客户参与度，还能促进销售增长。AokSend将探讨一些关键的邮件群发推送方法和技巧，以帮助企业优化其邮件营销策略。 邮件群发推送：目标受众 了解他们的需求、兴趣和行为习惯有助于你设计出更具吸引力和相关性的邮件内容。通过收集和分析数据，创建详细的客户画像，可以更精
阅读更多...
青龙面板部署通用教程，含服务器、路由器、X86等部署方法

青龙面板部署通用教程，含服务器、路由器、X86等部署方法

1. 拉取镜像/更新镜像 docker pull whyour/qinglong:latest 2. 删除镜像 docker rmi whyour/qinglong:latest 3. 启动容器 普通服务器 docker run -dit \-v $PWD/ql/config:/ql/config \-v $PWD/ql/log:/ql/log \-v $PWD/ql/db:
阅读更多...
宝塔面板部署青龙面板教程【简单易上手】

宝塔面板部署青龙面板教程【简单易上手】

首先，你得有一台部署了宝塔面板的服务器（自己用本地电脑也可以）。 宝塔面板部署自行百度一下，很简单，这里就不走流程了，官网版本就可以，无需开心版。 首先，打开宝塔面板的软件商店，找到下图这个软件（Docker管理器）安装，青龙面板还是安装在docker里，这里依赖宝塔面板安装和管理docker。 安装完成后，进入SSH终端管理，输入代码安装青龙面板。ssh可以直接宝塔里操作，也可以安装ssh连接
阅读更多...
手把手教你入门vue+springboot开发（五）--docker部署

手把手教你入门vue+springboot开发（五）--docker部署

文章目录 前言一、前端打包二、后端打包三、docker运行总结 前言 前面我们重点介绍了vue+springboot前后端分离开发的过程，本篇我们结合docker容器来研究一下打包部署过程。 一、前端打包 在VSCode的命令行中输入npm run build可以打包前端代码，出现下图提示表示打包完成。 打包成功后会在前端工程目录生成dist目录，如下图所示： 把
阅读更多...
[Centos7] 部署Zabbix5.0

[Centos7] 部署Zabbix5.0

目录 0 卸载 Zabbix1 准备工作1.1 关闭防火墙1.2 关闭SELinux1.3 重启服务器1.4 安装MySQL 2 配置 Zabbix yum 源2.1 安装zabbix的软件仓库配置包2.2 安装 Software Collections 仓库2.3 修改 Zabbix 仓库配置文件 3 安装 Zabbix3.1 遇到报错Requires: libmysqlclient.so
阅读更多...
[分布式网络通讯框架]----Zookeeper客户端基本操作----ls、get、create、set、delete

[分布式网络通讯框架]----Zookeeper客户端基本操作----ls、get、create、set、delete

Zookeeper数据结构 zk客户端常用命令 进入客户端 在bin目录下输入./zkCli.sh 查看根目录下数据ls / 注意:要查看哪一个节点，必须把路径写全 查看节点数据信息 get /第一行代码数据，没有的话表示没有数据 创建节点create /sl 20 /sl为节点的路径，20为节点的数据 注意，不能跨越创建，也就是说，创建sl2的时候，必须确保sl
阅读更多...
大型网站架构演化（四）——使用应用服务器集群改善网站的并发能力

大型网站架构演化（四）——使用应用服务器集群改善网站的并发能力

使用集群是网站解决高并发、海量数据问题的常用手段。当一台服务器的处理能力、存储空间不足时，不要企图去更换更强大的服务器，对大型服务器而言，不管多么强大的服务器，都满足不了网站持续增长的业务需求。这种情况下，更恰当的做法是增加一台服务器分担原有服务器的访问及存储压力。 对网站架构而言，只要能通过增加一台服务器的方式改善负载压力，就可以以同样的方式持续增加服务器不断改善系统性能，从而实现系统
阅读更多...
远程桌面中使用CTRL+ALT+DELETE注意事项

远程桌面中使用CTRL+ALT+DELETE注意事项

今天通过远程桌面访问服务器，因为服务器上安装在虚拟机上的SVN服务器关机了。重启之后需要按CTRL+ALT+DELETE三键输入密码。但是怎么按也没反应，总是弹出本机的指令。 后来一查，原来Ctrl+Alt+Del 改键了，要按Ctrl+alt+End组合键。
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2