argodb专题

argodb自定义函数读取hdfs文件的注意点,避免FileSystem已关闭异常

一、问题描述 一位同学反馈,他写的argo存过中调用了一个自定义函数,函数会加载hdfs上的一个文件,但有些节点会报FileSystem closed异常,同时有时任务会成功,有时会失败。 二、问题分析 argodb的计算引擎是基于spark的定制化引擎,对于自定义函数的调用跟hive on spark的是一致的。udf要通过反射生成实例,然后迭代调用evaluate。通过代码分析,udf在

分布式分析型数据库:星环科技ArgoDB 3.2正式发布

Transwarp ArgoDB是星环科技自主研发的高性能分布式分析型数据库,在PB级数据量上提供极致的数据分析能力。多模型数据库ArgoDB支持标准SQL语法、分布式事务和存算解耦,提供高并发高速数据写入、复杂查询、多模分析和数据联邦等能力。通过一个ArgoDB数据库,就可以打造离线数据仓库、实时数据仓库、数据集市和联邦计算平台等数据分析系统,提供全面、便捷、智能和安全的数据服务能力。 202