本文主要是介绍clickhouse与oracle传输数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
参考
https://github.com/ClickHouse/clickhouse-jdbc-bridge
https://github.com/ClickHouse/clickhouse-jdbc-bridge/blob/master/docker/README.md
clickhouse官方提供了一种方式,可以实现clickhouse与oracle之间传输数据,不仅仅是oracle,而且是一类支持jdbc的数据库,这种方式就是JDBC bridge for ClickHouse
它可以作为一个无状态的代理将查询传递到外部数据源。由于这个扩展功能,你可以在clickhouse上运行分布式查询,这查询能够做到实时跨多数据源。
安装
如何部署
直接在部署clickhose的linux服务器上,下载安装释出的debian/rpm包。Debian/Ubuntu按照如下操作即可。
apt update && apt install -y procps wget
wget
https://github.com/ClickHouse/clickhouse-jdbc-bridge/releases/download/v2.1.0/clickhouse-jdbc-bridge_2.1.0-1_all.deb
说明:第一次下载失败后,再次下载,文件名多了后缀.1,稍后删除之前下载不完整的文件,并将这个完整文件的文件名后缀.1剔除。
第一次下载失败如下所示,重新下载即可,外网速度问题
apt install --no-install-recommends -f ./clickhouse-jdbc-bridge_2.1.0-1_all.deb
clickhouse-jdbc-bridge
说明:第一次下载失败,多次下载,安装时报错
如上截图所示,删除第一个下载失败的(rm),并调整名称后(mv),再次执行。
启动 clickhouse-jdbc-bridge
启动时报错,提示没有日志文件,参考链接
https://github.com/ClickHouse/clickhouse-jdbc-bridge/tree/master中configuration中有关于日志的配置
点击查看,按照下图所示配置文件中的路径,以root用户登录,新建目录。
/var/log/clickhouse-jdbc-bridge/console.log
再启动时不再报无法加载日志处理器的错误。
配置
目录结构
上传驱动文件
切换到clickhouse-jdbc-bridge主目录,本例中为
/etc/clickhouse-jdbc-bridge
新建目录 mkdir drivers
以root用户登录,上传oracle驱动
重启 clickhouse-jdbc-bridge,在clickhouse client输入如下形式的内容,回车。
select * from jdbc('jdbc:oracle:thin:name/pass@ip:port:sid', 'select 1 from dual')
或者如下
select * from jdbc('jdbc:oracle:thin:name/pass@ip:port/sid', 'select 1 from dual')
不建议直接暴露数据库的连接信息,可以将连接信息配置在config中的json文件中,然后再引用配置信息。
配置连接信息
切换到config目录
将数据库的连接配置信息可以放在config/datasources目录的json文件中。
复制示例文件,然后调整
cp datasource.json.example ora.json
驱动地址:/etc/clickhouse-jdbc-bridge/drivers/ojdbc6.jar
jdbcUrl:jdbc:oracle:thin:@port:port:sid
调整完之后保存,clickhouse-jdbc-bridge会自动读取json配置内容。如果没读取到,重启下clickhouse-jdbc-bridge,出现如下图所示,红框的内容,表示读取成功。
验证效果
这篇关于clickhouse与oracle传输数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!