本文主要是介绍Trino大量查询会导致HDFS namenode主备频繁切换吗？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
会，且肯定会
一、背景
今天还没起床就被智能运维叫醒了，说通过namenode审计日志查看访问源ip有我们的trino集群，并且访问量比较大，起床气范了，这不很正常吗，早上一般都是跑批高峰，也不一定是我们trino的问题，必须按时上班。
到了工位联系运维，被告知也不一定是我们的trino引起的namenode主备节点切换，因为那个时间段，有很多系统会访问大数据平台，不管怎样，既然有警告就得排查，秉承认真负责的态度去查看了日志，然并卵，没看出我们系统有什么问题，于是还是了解一下trino怎么取hdfs数据的流程。
二、复现问题
在测试环境，开启测试，在高并发加持下，在开始测试的3s中终于把大数据平台的测试环境的nn主备切换了，大数据平台弱爆了，实话讲我这边还没真正开始测，因为启动报错了，就被其它系统压爆了，这多半不是或者严谨的这次切换我们trino系统贡献值比较低。
三、建议你去回顾以下hdfs读写流程
此处省略一个hadoop工程师
四、尝试开启缓存或者本地缓存减少对namenode访问
以上举措均无效，无论是在hive.properties中加入cache相关的参数配置，还是开启本地缓存，缓存数据到本地worker节点，每次提交sql都会访问nn，并且访问次数一样
五、反思
- 确认是否缓存了元数据信息，是在哪个环节缓存了块信息，这个很重要
- 确认表结构设计不合理，小文件是否过多，在未给出具体的量化指标之前，要相信并且请求namenode的操作不会对namenode造成很大影响；
说了一大堆废话，如果有问题，那就把问题甩在下方评论区吧！！！
这篇关于Trino大量查询会导致HDFS namenode主备频繁切换吗？的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
