Java 创建与读取Livy Session以及结果

2023-10-13 15:18
文章标签 java 读取 创建 session livy

本文主要是介绍Java 创建与读取Livy Session以及结果,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

直接上代码

package net.aas.penrose.deploy.utils;import org.springframework.http.*;
import org.springframework.web.client.RestTemplate;import java.util.Map;public  class LivyServerUtil {private static final String HOST = "http://120.132.101.202";private static final String PORT = "8998";private static final String SESSIONS = "sessions";private static final String STATEMENTS = "statements";private static RestTemplate client = new RestTemplate();private static HttpHeaders headers = new HttpHeaders();private static final String ERROR_GETRESULT = "读取结果时出错";private static final String ERROR_CREATE_SESSION = "创建session时出错";private static final String ERROR_CODE = "返回code不是201 or 201";/*** 向目的URL发送post请求* @param host       SPARK_HOME:port* @param code    excute Code* @return  AdToutiaoJsonTokenData*/public static String sendPost(String host,String port, String code){headers.setContentType(MediaType.APPLICATION_JSON);String sessionId = getSession(host,port);String finalURL = host +":" + port + "/" + SESSIONS +"/" + sessionId +"/"+STATEMENTS;HttpEntity<String> entity = new HttpEntity<>(code,headers);ResponseEntity<Map> response = client.exchange(finalURL, HttpMethod.POST, entity, Map.class);if(response.getStatusCode().toString().equals("201") ||response.getStatusCode().toString().equals("202")){String resultBody = response.getBody().toString();String curentIndex = resultBody.substring(resultBody.indexOf("=")+1,resultBody.indexOf(","));//读取结果return getResult(host,port,sessionId,curentIndex);}return ERROR_CODE;}private static String getResult(String host,String port,String sessionId,String index){int i = 1;while( i< 10000){String finalURL = host+":"+port+"/"+SESSIONS+"/"+sessionId+"/"+STATEMENTS +"/"+ index;ResponseEntity<Map> resp = client.exchange(finalURL, HttpMethod.GET, null, Map.class);if(resp.getStatusCode().toString().equals("201")||resp.getStatusCode().toString().equals("200")){String resultBody = resp.getBody().toString();if(resultBody.toString().contains("state=available")){System.out.println("===============Index : "+i+"====================");return resultBody;}}else{return ERROR_CODE;}i++;}return ERROR_GETRESULT;}private static String getSession(String host,String port){ResponseEntity<Map> resp = client.exchange(host+":"+port+SESSIONS+"/", HttpMethod.GET, null, Map.class);System.out.println(resp.getBody().toString()+"getSession()======");String resultBody = resp.getBody().toString();if(resultBody.contains("[]")){try {if(createSparkSession(HOST,PORT)){ResponseEntity<Map> resp2 = client.exchange(host+":"+port+SESSIONS+"/", HttpMethod.GET, null, Map.class);String resultBody2 = resp2.getBody().toString();String sessionId = resultBody2.substring(resultBody2.indexOf("sessions=[{id=")+14,resultBody2.indexOf(", appId"));return sessionId;}else{System.out.println(ERROR_CREATE_SESSION+"======");}} catch (Exception e) {System.out.println(ERROR_CREATE_SESSION);e.printStackTrace();}}return resultBody.substring(resultBody.indexOf("[{id=")+5,resultBody.indexOf("[{id=")+6);}private static boolean createSparkSession(String host,String port) throws Exception{HttpEntity<String> entity = new HttpEntity<String>("{\"kind\": \"spark\"}",headers);ResponseEntity<Map> resp = client.exchange(host+":"+port+SESSIONS+"/", HttpMethod.POST, entity, Map.class);if(resp.getStatusCode().toString().equals("201")||resp.getStatusCode().toString().equals("200"))return true;return false;}public static void main(String args[]){System.out.println(sendPost(HOST,PORT,"{\"code\":\"100+100\"}"));}}

如果你觉得有地方要改,请告知我~

哪二维码奉上

这篇关于Java 创建与读取Livy Session以及结果的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/204097

相关文章

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时,有没有考虑过 JVM 是如何把静态的字节码(byte code)转化为运行时对象的呢,这个问题看似简单,但清楚的同学相信也不会太多,这篇文章首先介绍 JVM 类初始化的机制,然后给出几个易出错的实例来分析,帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段,分别是:loading 、Linking、initialization

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权,允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true (Spring security默认会带有ROLE_前缀),去

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程,特意画了如下的类图,包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口,接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti

Spring Security--Architecture Overview

1 核心组件 这一节主要介绍一些在Spring Security中常见且核心的Java类,它们之间的依赖,构建起了整个框架。想要理解整个架构,最起码得对这些类眼熟。 1.1 SecurityContextHolder SecurityContextHolder用于存储安全上下文(security context)的信息。当前操作的用户是谁,该用户是否已经被认证,他拥有哪些角色权限…这些都被保

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物

Java进阶13讲__第12讲_1/2

多线程、线程池 1.  线程概念 1.1  什么是线程 1.2  线程的好处 2.   创建线程的三种方式 注意事项 2.1  继承Thread类 2.1.1 认识  2.1.2  编码实现  package cn.hdc.oop10.Thread;import org.slf4j.Logger;import org.slf4j.LoggerFactory

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟&nbsp;开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚&nbsp;第一站:海量资源,应有尽有 走进“智听

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal