spark udf传入复杂结构参数

本文主要是介绍spark udf传入复杂结构参数，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

笔者在使用LSH 获取相似文本时，遇到返回的Dataframe的结果比较复杂，如下：

现在想使用UDF函数处理datasetA和datasetB的内容，但是由于数据结构复杂，无法直接写参数，所以需要使用Row，代码如下：

        val getIdFun = udf((input:Row)=> {input(0).toString.toInt;});

并且需要注意，在udf函数中，不能返回Row，只能将Row进行处理后返回常规数据结构。

这篇关于spark udf传入复杂结构参数的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---