ELK生态系统——es集群化各方面数据使用详图

es集群化各方面数据使用如上图所示，图解如下：

1、RDBMS（关系型数据库）：

常见的关系型数据库比如：mysql、oracle、国产达梦、gbase等数据库，在这些关系型数据库之间数据可以通过kettle使用jdbc连接访问到数据库读取到数据，可以灵活自由的实现RDBMS之间数据跨库迁移、处理、关联等常用操作。

2、logstash数据处理工具：

logstash是处理RDBMS（关系型数据库）与NoSQL（非关系型数据库）之间数据交互的一个桥梁。可以实现数据在RDBMS和NoSQL之间的灵活自由迁移，并且可以通过shell脚本执行logstash命令，执行过程出现异常会邮件通知管理员。

3、es集群：

通过多台设备搭建es集群，实现数据的分布式、高可用、高并发、高性能集群化。并且可方便的进行增加节点实现水平扩充集群规模，从而实现更大数据的处理。

4、java-web项目：

java代码可以访问集群中所有可能成为master的集群节点，从而实现从多个集群节点读取数据，自动负载均衡，缓解大量数据读取压力，实现大量数据的快速处理效果。

5、集群数据管理：

通过使用kibana或es-head等工具连接es集群中某一个可能成为master的集群节点，从而读取到整个集群数据分布信息。同时可以观察整个集群情况，管理集群信息。

6、Shell脚本监测集群节点：

通过shell可配置化脚本，配置es集群中所有节点，然后通过shell中执行crul命令监测集群中所有节点是否正常，如果监测到节点不正常，那么就保存节点ip地址和端口号等信息，将异常的集群节点信息通过邮件通知管理员，让管理员尽快登陆服务器查看和解决集群中有问题的节点。

7、备份es集群数据服务器：

通过在集群外一台服务器中创建NFS（网络共享文件系统），将共享的文件夹挂在到es集群中所有数据节点，通过shell脚本定时备份es集群中数据到共享文件夹，实现es集群数据定时备份功能，以便在必要的时候恢复备份中的数据到es集群中去，如果备份过程出现异常会邮件通知管理员。