2. Spark报错，Task is Failed,errorMsg: FileNotFoundException xxxx

本文主要是介绍2. Spark报错，Task is Failed,errorMsg: FileNotFoundException xxxx，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

完整报错信息

21304, Task is Failed,errorMsg: FileNotFoundException: File does not exist: hdfs://xxxx-bigdata-nameservice/user/hive/warehouse/edw_ic.db/xxxx/part-00000-c8a718b3-54b3-42de-b36c-d6eedefd2e02-c000.snappy.parquet It is possible the xxx

报错场景

Airflow 调度脚本更新表xxxx的数据后，使用SparkSQL 查询表xxxx数据报如上错误。

解决方案

刷新表或重新创建相关的Dataset/DataFrame以使缓存失效。
还可以在Spark中通过运行 REFRESH TABLE tableName 命令来刷新表，或者重新创建相关的Dataset/DataFrame。

REFRESH TABLE tableName

这篇关于2. Spark报错，Task is Failed,errorMsg: FileNotFoundException xxxx的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---