livy专题

使用livy提交supermap iobjects for spark任务

使用Livy提交SuperMap iObjects Spark任务 ​ Livy是一个提供标准rest接口和spark集群交互的服务,从官网的介绍来看它具备以下特点:多用户多客户端(web/iMobile)的提交方式、支持提交多种编程语言(scala/java/python)的执行代码片段和执行Jar包、现有spark项目可立即使用Livy且无需任何项目的改动、同步或异步的返回执行结果、提供Sp

Farewell Livy, Hi Linkis

1.数据分析平台搭建的若干主题         笔者从事大数据功能平台建设若干年,在笔者就职的公司,业务分析人员常使用到如SparkSql, PySpark,hive,python等方式分析数据。搭建一个安全、稳定同时满足所有业务分析人员使用习惯的大数据功能分析功能平台并不是一个简单的任务,因为要考虑的东西比较多,笔者认为通常有以下几点。 1.资源的细粒度以及多维度管控。 2.多租户隔离。

Java 创建与读取Livy Session以及结果

直接上代码 package net.aas.penrose.deploy.utils;import org.springframework.http.*;import org.springframework.web.client.RestTemplate;import java.util.Map;public class LivyServerUtil {private static fina

Java连接Livy获取session报错 code 400

参数如果这样写肯定会报400错误了 HttpEntity<String> entity = new HttpEntity<String>("{'kind': 'spark'}",headers); 参数传递要改成这样 HttpEntity<String> entity = new HttpEntity<String>("{\"kind\": \"spark\"}",headers);