Trino大量查询会导致HDFS namenode主备频繁切换吗？

本文主要是介绍Trino大量查询会导致HDFS namenode主备频繁切换吗？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

会，且肯定会

一、背景
今天还没起床就被智能运维叫醒了，说通过namenode审计日志查看访问源ip有我们的trino集群，并且访问量比较大，起床气范了，这不很正常吗，早上一般都是跑批高峰，也不一定是我们trino的问题，必须按时上班。
到了工位联系运维，被告知也不一定是我们的trino引起的namenode主备节点切换，因为那个时间段，有很多系统会访问大数据平台，不管怎样，既然有警告就得排查，秉承认真负责的态度去查看了日志，然并卵，没看出我们系统有什么问题，于是还是了解一下trino怎么取hdfs数据的流程。

二、复现问题
在测试环境，开启测试，在高并发加持下，在开始测试的3s中终于把大数据平台的测试环境的nn主备切换了，大数据平台弱爆了，实话讲我这边还没真正开始测，因为启动报错了，就被其它系统压爆了，这多半不是或者严谨的这次切换我们trino系统贡献值比较低。

三、建议你去回顾以下hdfs读写流程
此处省略一个hadoop工程师

四、尝试开启缓存或者本地缓存减少对namenode访问
以上举措均无效，无论是在hive.properties中加入cache相关的参数配置，还是开启本地缓存，缓存数据到本地worker节点，每次提交sql都会访问nn，并且访问次数一样

五、反思