Apache atlas集成CDH管理元数据

2024-04-16 18:48
文章标签 数据 管理 集成 apache atlas cdh

本文主要是介绍Apache atlas集成CDH管理元数据，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

先简单说明一下元数据管理的重要性，做数仓的时候，自然就会有很多报表，当你有几百个报表，几千张表的时候，现在有个需求需要修改一个表，然后有人问你，修改这个表会影响哪些报表？ 如果你仅仅凭借记忆是完全不可行的，必须要有一个平台来管理数据的数据。

知道了元数据的意义，那么从技术角度要做到什么程度才算是一个好的元数据管理呢？ 从我个人的认知，表的元数据必须做到字段级别，也就是说修改了一个字段，你查询元数据 系统就知道，这个字段会 影响谁。这个元数据属于数据库元数据，通常来说是HIVE, HBASE或者 传统数据库， 除此之外，还有报表的元数据，一个报表一般会用到3-4个SQL，大部分是图形展示了，也有表格 ，那么再深入的问一个问题，如果我修改了 某个表的一个字段，请问会影响哪个报表的哪个图表？ 如果你能通过元数据系统回答这个问题 ，那么就算做的还不错了。

apache atlas就属于 元数据管理系统，整个原理是通过在HIVE/HBASE等 组件建立 HOOK，如果你不知道什么是HOOK，去谷歌一下，所有在HIVE/HBASE的操作都会通过HOOK发送到KAFKA，然后atlas后台会去接收KAFKA的数据，并分析处理，最后输出到HBASE, 前段通过SOLR进行查询，展示。atlas可以分到字段级别的血缘关系。

按照上面的原理，我们知道，我们要构建atlas需要HBASE, SOLR, KAFKA作为技术栈，来支持元数据系统的构建，接下来我们一步一步来，不要急。建议一定要先看官方文档，再来参考我的文章，因为我不会像官方那么详细。

1. 编译atlas，选择最新版1.1

mvn clean -DskipTests install

很遗憾，这一步会出错，出错的原因是因为 POM.XML文件 有一个包的版本 有问题，至于为什么，我不知道，我 换了一个新版本就编译通过。如果你们编译出错了 ，看是否同一个错误 。我换成3.0.5就正常了。

               <plugin><groupId>org.codehaus.mojo</groupId><artifactId>findbugs-maven-plugin</artifactId><version>3.0.5</version></plugin>

接下来 打包：

mvn clean -DskipTests package -Pdist

然后会生成以下目录，带有bin字样的tar包就是我们要的东西。

total 548640
-rw-r--r--. 1 root root      5696 Dec 30 12:39 apache-atlas-1.1.0-migration-exporter.zip
drwxr-xr-x. 3 root root      4096 Dec 30 12:39 apache-atlas-1.1.0-migration-exporter
-rw-r--r--. 1 root root  10252779 Dec 30 12:39 apache-atlas-1.1.0-sources.tar.gz
drwxr-xr-x. 3 root root      4096 Dec 30 12:39 apache-atlas-1.1.0-bin
-rw-r--r--. 1 root root 271170401 Dec 30 12:39 apache-atlas-1.1.0-bin.tar.gz
drwxr-xr-x. 3 root root      4096 Dec 30 12:39 apache-atlas-1.1.0-server
-rw-r--r--. 1 root root 177258240 Dec 30 12:39 apache-atlas-1.1.0-server.tar.gz
drwxr-xr-x. 3 root root      4096 Dec 30 12:39 apache-atlas-1.1.0-kafka-hook
-rw-r--r--. 1 root root   9023238 Dec 30 12:39 apache-atlas-1.1.0-kafka-hook.tar.gz
drwxr-xr-x. 3 root root      4096 Dec 30 12:39 apache-atlas-1.1.0-storm-hook
-rw-r--r--. 1 root root  39016518 Dec 30 12:39 apache-atlas-1.1.0-storm-hook.tar.gz
drwxr-xr-x. 3 root root      4096 Dec 30 12:38 apache-atlas-1.1.0-sqoop-hook
-rw-r--r--. 1 root root   8980455 Dec 30 12:38 apache-atlas-1.1.0-sqoop-hook.tar.gz
drwxr-xr-x. 3 root root      4096 Dec 30 12:38 apache-atlas-1.1.0-falcon-hook
-rw-r--r--. 1 root root   9000436 Dec 30 12:38 apache-atlas-1.1.0-falcon-hook.tar.gz
drwxr-xr-x. 3 root root      4096 Dec 30 12:38 apache-atlas-1.1.0-hive-hook
-rw-r--r--. 1 root root  20286530 Dec 30 12:38 apache-atlas-1.1.0-hive-hook.tar.gz
drwxr-xr-x. 3 root root      4096 Dec 30 12:38 apache-atlas-1.1.0-hbase-hook
-rw-r--r--. 1 root root  16626614 Dec 30 12:38 apache-atlas-1.1.0-hbase-hook.tar.gz
drwxr-xr-x. 2 root root      4096 Dec 30 12:38 archive-tmp
-rw-r--r--. 1 root root     96087 Dec 30 12:38 atlas-distro-1.1.0.jar
drwxr-xr-x. 2 root root      4096 Dec 30 12:38 maven-archiver
drwxr-xr-x. 3 root root      4096 Dec 30 12:38 test-classes
drwxr-xr-x. 2 root root      4096 Dec 30 12:38 META-INF
drwxr-xr-x. 3 root root      4096 Dec 30 12:38 maven-shared-archive-resources
drwxr-xr-x. 2 root root      4096 Dec 30 12:38 bin
drwxr-xr-x. 5 root root      4096 Dec 30 12:38 conf
-rw-r--r--. 1 root root      2775 Dec 30 12:38 rat.txt

2. 构建SOLR，KAFKA, HBASE

 实际上CDH本身有KAFKA,HBASE,SOLR等组件，KAFKA, HBASE我都是直接用CDH的，所以不用自己去安装，但是atlas1.1版本对SOLR要求好象是5.0以上，而CDH现在的SOLR还是4+版本 ，迫于无奈，我简单的构建了一个SOLR5.5 standalone。 下载SOLR5.5.1，然后 直接bin/solr start即可。

atlas需要3个索引，我们需要先建立好，之后初始化的时候会在这些索引插入数据：

  $SOLR_BIN/solr create -c vertex_index -d SOLR_CONF -shards #numShards -replicationFactor #replicationFactor$SOLR_BIN/solr create -c edge_index -d SOLR_CONF -shards #numShards -replicationFactor #replicationFactor$SOLR_BIN/solr create -c fulltext_index -d SOLR_CONF -shards #numShards -replicationFactor #replicationFactor

SOLR_CONF在atlas的conf里面可以找到，默认编译后，所有东西atlas都帮 你准备好了。

3. 修改atlas-application.properties

我用的是solr standalone，所以注释掉solr cloud的配置,  卡夫卡的 配置必须以atlas.kafka为前缀，有一个配置手动添加：

atlas.kafka.max.poll.interval.ms=300000， 默认没有，但是启动服务器收信息会出现ERROR。下面我以HIVE为例子，所以添加了 HIVE HOOK的配置。

#Hbase
atlas.graph.storage.backend=hbase
atlas.graph.storage.hbase.table=apache_atlas_janus#Solr
#Solr cloud mode properties
#atlas.graph.index.search.solr.mode=cloud
#atlas.graph.index.search.solr.zookeeper-url=
#atlas.graph.index.search.solr.zookeeper-connect-timeout=60000
#atlas.graph.index.search.solr.zookeeper-session-timeout=60000
#atlas.graph.index.search.solr.wait-searcher=true#Solr http mode properties
atlas.graph.index.search.solr.mode=http
atlas.graph.index.search.solr.http-urls=http://xxxxx:8983/solr#########  Notification Configs  #########
atlas.notification.embedded=false
atlas.kafka.data=${sys:atlas.home}/data/kafka
atlas.kafka.zookeeper.connect=xxxx:2181,xxxxx:2181,xxxx:2181
atlas.kafka.bootstrap.servers=xxxx:9092,xxx:9092,xxxx:9092,xxxxx:9092
atlas.kafka.zookeeper.session.timeout.ms=400
atlas.kafka.zookeeper.connection.timeout.ms=200
atlas.kafka.zookeeper.sync.time.ms=20
atlas.kafka.auto.commit.interval.ms=1000
atlas.kafka.hook.group.id=atlasatlas.kafka.enable.auto.commit=false
atlas.kafka.auto.offset.reset=earliest
atlas.kafka.session.timeout.ms=30000
atlas.kafka.offsets.topic.replication.factor=1
atlas.kafka.poll.timeout.ms=1000
atlas.kafka.max.poll.interval.ms=300000#Hive
atlas.hook.hive.synchronous=false
atlas.hook.hive.numRetries=3
atlas.hook.hive.queueSize=10000
atlas.cluster.name=primary

4. 添加HIVE参数,由于atlas使用的是JDK1.8，所以确保你的HADOOP环境，或者说HIVE的JDK也是1.8，否者会报错

5. 启动atlas , 这个玩意使用的还是python2+， 如果你的python是3+， 建议单独安装2+，再启动，否者会报python的错误。

python2.6 bin/atlas_start.py

很遗憾，这个地方会报错，报错信息为can't load configuration，官方文档让我们把atlas的配置文件放到HIVE的配置目录下，事实上atlas根本就读不到这个配置，因此需要额外操作，把配置加入到HOOK目录下的atlas-plugin-classloader-1.1.0.jar 这个包:

zip -u atlas-plugin-classloader-1.1.0.jar  atlas-application.properties

再次重启atlas, 打开日志，你会看到atlas正在初始化，会在HBASE，SOLR插入初始化数据，如果不报错的话，大概1-2分钟就OK了。

在这里 要提一下，因为要和HIVE/HBASE集成，很多人会直接在HADOOP服务器找一台机器来安装atlas，这是因为导入初始元数据的时候，会要求 你指定HIVE/HADOOP目录，如果你用别的机器，你根本就没有什么HIVE/HADOOP目录，我的做法是 ，先在HIVE机器上做，做完之后关闭服务，在别的机器用相同的配置启动 服务即可。

6. 通过import_hive.sql 导入初始化HIVE元数据

atlas安装并启动完之后，这个时候系统还是空空如也，atlas是 通过HOOK去监听你的HIVE语句，所以一般我们会通过atlas的import_hive.sh先把HIVE里的表，数据库等信息全部导入到atlas, 之后如果表有操作，通过接收KAFKA的数据再进行处理。

按照官方文档的命令：

<atlas package>/hook-bin/import-hive.sh

很遗憾，这个地方还是会报错，报错 有2个原因：

1）默认hook的lib包不在import-hive.sh的环境变量里，需要手动指定，我是这么干的：

export ATLASCPPATH=/opt/atlas/server/webapp/atlas/WEB-INF/lib/*

2) hive hook目录下的 jersey-json-1.19.jar 这个包太老了，换成1.9的版本就 OK了。

mv jersey-json-1.19.jar jersey-json-1.19.jar_bak

再把1.9的拷贝进去 就可以。

3) 设置HIVE_HOME目录，我是CDH，设置/opt./cloudera/parcels/lib/hive  即可.

看你的数据库或者表是否多，我的导入大概持续了5-10分钟。

7. 登入atlas：http://xxxxxxxx:21000  admin/admin

之前提过，atlas支持字段级别，但是 要求是 HIVE 1.2.1之后的版本 ，这个可以参考官方文档，我的HIVE是 1.1，所以只能支持到表级别了。

这篇关于Apache atlas集成CDH管理元数据的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/909612。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集，专门用于烟火目标检测，是一个非常有价值的资源，尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍： 数据集名称：烟火目标检测数据集 数据集规模： 图片数量：7800张类别：主要包含烟火类目标，可能还包括其他相关类别，如烟火发射装置、背景等。格式：图像文件通常为JPEG或PNG格式；标注文件可能为X
阅读更多...
软考系统规划与管理师考试证书含金量高吗？

软考系统规划与管理师考试证书含金量高吗？

2024年软考系统规划与管理师考试报名时间节点： 报名时间：2024年上半年软考将于3月中旬陆续开始报名 考试时间：上半年5月25日到28日，下半年11月9日到12日 分数线：所有科目成绩均须达到45分以上（包括45分）方可通过考试 成绩查询：可在“中国计算机技术职业资格网”上查询软考成绩 出成绩时间：预计在11月左右 证书领取时间：一般在考试成绩公布后3~4个月，各地领取时间有所不同
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2