本文主要是介绍数据治理(二)-基线治理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本文只是大概讲,基线任务治理方法,分为从基线owner和节点owner角度讲述分为两个部分:
1.基线治理(从基线Owner角度)
Owner离职/转岗。
基线配置不合理。
高频预警/破线治理。
应急不及时治理。
2.基线任务治理(从节点Onwer)
2.1模型治理
2.1.1 ods类
超大DataX治理
多源sls日志
超大merge任务治理
2.1.2 dwd类
高频超大明细表治理
自依赖大表治理
超大全量表治理
2.1.3 adm类
被高频访问的adm视图治理
不合理大字段治理
性能差的自定义函数治理
2.2低优高耗任务治理
2.3暴力扫描治理
2.4不合理opds参数治理
Map/Join/Reduce参数不合理
ServiceMode参数不合理
Mapjoin/Auto Mapjoin参数不合理
logview异常耗时处理
小fuxi instance治理
数据倾斜
小文件过多治理
2.5研发工具治理
D2/DG调度槽位治理
D2/DG互通链路治理
D2/DG的DQC治理
这篇关于数据治理(二)-基线治理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!