Zeppelin-Interperter遇到的logging问题-以IoTDB为例

2024-01-17 21:08
文章标签 logging 问题 遇到 为例 iotdb zeppelin interperter

本文主要是介绍Zeppelin-Interperter遇到的logging问题-以IoTDB为例，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一次debug记录，以IoTDB的Zeppelin连接器中遇到的logging为例。

直接解决log问题

有cli，去掉cli，可以编译，但是报错：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/Logat org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer.<init>(RemoteInterpreterServer.java:153)at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer.<init>(RemoteInterpreterServer.java:161)at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer.main(RemoteInterpreterServer.java:356)
Caused by: java.lang.ClassNotFoundException: org.apache.commons.logging.Logat java.net.URLClassLoader.findClass(URLClassLoader.java:382)at java.lang.ClassLoader.loadClass(ClassLoader.java:418)at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)at java.lang.ClassLoader.loadClass(ClassLoader.java:351)... 3 more

查阅stack 添加commons-logging依赖，但仍然报错，这个包不对。

看zeppelin的其他解决方案

看zeppelin的github 中Cassandra的pom，发现zeppelin最近一次commit中修改了log的引用：

Remove commons-logging and switch to slf4j and jcl-over-slf4j

Iotdb恰好也做了了，所以也没有什么用。

brute-force：从maven依赖逐一排除

依赖cli显然是没有道理的，从zeppelin-interpreter的代码中来看，仅应该依赖iotdb-session（service-rpc也用到了，但是session中已经依赖了rpc)，应该是cli中用到的一些log包恰好解决了zeppelin的日志问题，开始排查：

  1. 去掉cli依赖，审视cli的各种包，加入iotdb-jdbc，成功运行；
  2. 继续审视jdbc，排除tsfile并测试了其他package，锁定到org.ops4j.pax.jdbc，将其加入到zeppelin的pom中，成功运行；
  3. 从org.ops4j.pax.jdbc的github-pom文件中检查有关log的依赖，排除了log4j-slf4j-impl之后，将pax-logging-api加入，成功运行
  4. 继续检查pax-logging-api的pom.xml 。这个pax-logging项目是关于OSGi日志记录框架实现。支持SLF4J，LOG4J，JCL等，所以把上述各种log都引用了。排除掉iotdb已经包含的各种log，以及jboss、tomcat等无关依赖，锁定到org.apache.logging.log4j的log4j-api ，但仅引用这个包却失败了，有点搞；
  5. 重新审视pax-logging-api的依赖，所有logging相关的package全加进来，还是不行，难道解决这个问题靠的是pax-logging-api本身？
  6. 可能是logging-api的父项目，将org.ops4j.pax.logging/pom.xml 中日志相关的依赖引入，修改一些冲突版本，编译成功，运行成功；
  7. 去掉tomcat、jboss、avalon-logkit，仍然成功，现在只剩下logback、log4j和slf4j等官方package了
  8. 去掉commons-logging、slf4j-jcl、jcl-over-slf4j等已经引用的package。测试未通过；
  9. 直接取反，把剩下的包都注释掉，放出来这些包，结果运行成功
  10. 仔细检查，去掉版本完全相同（即确定重复引用）的包commons-logging、logback-classic，仍然成功，现在
  11. zeppelin的slf4j版本是1.7.30，领先于iotdb的1.7.25，改成版本一直，仍成功，范围缩减到slf4j-simple、nop和jcl：
    1. simple: Binding for Simple implementation, which outputs all events to System.err. Only messages of level INFO and higher are printed. This binding may be useful in the context of small applications.
    2. nop: Binding for NOP(no operation), silently discarding all logging.
    3. jcl: Binding for Jakarta Commons Logging. This binding will delegate all SLF4J logging to JCL.
  12. 留下jcl，成功。

小结

新加package: slf4j-jcl

<!--<dependency><groupId>org.slf4j</groupId><artifactId>slf4j-simple</artifactId><version>${org.slf4j.version}</version>
</dependency>
<dependency><groupId>org.slf4j</groupId><artifactId>slf4j-nop</artifactId><version>${org.slf4j.version}</version>
</dependency>-->
<dependency><groupId>org.slf4j</groupId><artifactId>slf4j-jcl</artifactId><version>${org.slf4j.version}</version>
</dependency>

附-warning引发的maven error

Mvn编译报错，发现了package dependency的版本冲突warning。解决warning，error消除。

遇到编译问题，使用-e编译：

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:3.0.0-M2:enforce (enforce-version-convergence) on project zeppelin: Some Enforcer rules have failed. Look above for specific messages explaining why the rule failed. -> [Help 1]
org.apache.maven.lifecycle.LifecycleExecutionException: Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:3.0.0-M2:enforce (enforce-version-convergence) on project zeppelin: Some Enforcer rules have failed. Look above for specific messages explaining why the rule failed.at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:213)at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:154)at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:146)at org.apache.maven.lifecycle.internal.LifecycleModuleBuilder.buildProject(LifecycleModuleBuilder.java:117)at org.apache.maven.lifecycle.internal.LifecycleModuleBuilder.buildProject(LifecycleModuleBuilder.java:81)at org.apache.maven.lifecycle.internal.builder.singlethreaded.SingleThreadedBuilder.build(SingleThreadedBuilder.java:51)at org.apache.maven.lifecycle.internal.LifecycleStarter.execute(LifecycleStarter.java:128)at org.apache.maven.DefaultMaven.doExecute(DefaultMaven.java:309)at org.apache.maven.DefaultMaven.doExecute(DefaultMaven.java:194)at org.apache.maven.DefaultMaven.execute(DefaultMaven.java:107)at org.apache.maven.cli.MavenCli.execute(MavenCli.java:993)at org.apache.maven.cli.MavenCli.doMain(MavenCli.java:345)at org.apache.maven.cli.MavenCli.main(MavenCli.java:191)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at org.codehaus.plexus.classworlds.launcher.Launcher.launchEnhanced(Launcher.java:289)at org.codehaus.plexus.classworlds.launcher.Launcher.launch(Launcher.java:229)at org.codehaus.plexus.classworlds.launcher.Launcher.mainWithExitCode(Launcher.java:415)at org.codehaus.plexus.classworlds.launcher.Launcher.main(Launcher.java:356)
Caused by: org.apache.maven.plugin.MojoExecutionException: Some Enforcer rules have failed. Look above for specific messages explaining why the rule failed.at org.apache.maven.plugins.enforcer.EnforceMojo.execute(EnforceMojo.java:235)at org.apache.maven.plugin.DefaultBuildPluginManager.executeMojo(DefaultBuildPluginManager.java:134)at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:208)... 20 more

看到一个warning，版本号重复定义了，应该是basic中已经有了core？去掉：

Dependency convergence error for ch.qos.logback:logback-core:1.1.11 paths to dependency are:
+-org.apache.iotdb:zeppelin:0.12.0-SNAPSHOT+-org.apache.iotdb:iotdb-session:0.12.0-SNAPSHOT+-org.apache.iotdb:tsfile:0.12.0-SNAPSHOT+-ch.qos.logback:logback-classic:1.1.11+-ch.qos.logback:logback-core:1.1.11
and
+-org.apache.iotdb:zeppelin:0.12.0-SNAPSHOT+-ch.qos.logback:logback-core:1.2.3

编译成功。

这篇关于Zeppelin-Interperter遇到的logging问题-以IoTDB为例的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/617227。

相关文章

好题——hdu2522（小数问题：求1/n的第一个循环节）

好题——hdu2522（小数问题：求1/n的第一个循环节）

好喜欢这题，第一次做小数问题，一开始真心没思路，然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数，不能写作两整数之比*****************************（一开始没想到，小学没学好） 此题1/n肯定是一个有限循环小数，了解这些后就能做此题了。 按照除法的机制，用一个函数表示出来就可以了，代码如下
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
购买磨轮平衡机时应该注意什么问题和技巧

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时，您应该注意以下几个关键点： 平衡精度 平衡精度是衡量平衡机性能的核心指标，直接影响到不平衡量的检测与校准的准确性，从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声，提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮，适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监
阅读更多...
缓存雪崩问题

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库，瞬间耗尽数据库资源，导致数据库无法使用。 解决方案： 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内，大量缓存数据同时失效，导致所有请求直接涌向数据库，瞬间增加数据库的负载压力，可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k
阅读更多...
6.1.数据结构-c/c++堆详解下篇（堆排序，TopK问题）

6.1.数据结构-c/c++堆详解下篇（堆排序，TopK问题）

上篇：6.1.数据结构-c/c++模拟实现堆上篇（向下，上调整算法，建堆，增删数据）-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小)： 2.2 C语言代码（手写堆） 2.3 C++代码（使用优先级队列 priority_queue）
阅读更多...
【VUE】跨域问题的概念，以及解决方法。

【VUE】跨域问题的概念，以及解决方法。

目录 1.跨域概念 2.解决方法 2.1 配置网络请求代理 2.2 使用@CrossOrigin 注解 2.3 通过配置文件实现跨域 2.4 添加 CorsWebFilter 来解决跨域问题 1.跨域概念 跨域问题是由于浏览器实施了同源策略，该策略要求请求的域名、协议和端口必须与提供资源的服务相同。如果不相同，则需要服务器显式地允许这种跨域请求。一般在springbo
阅读更多...
题目1254：N皇后问题

题目1254：N皇后问题

题目1254：N皇后问题 时间限制：1 秒 内存限制：128 兆 特殊判题：否 题目描述： N皇后问题，即在N*N的方格棋盘内放置了N个皇后，使得它们不相互攻击（即任意2个皇后不允许处在同一排，同一列，也不允许处在同一斜线上。因为皇后可以直走，横走和斜走如下图)。 你的任务是，对于给定的N，求出有多少种合法的放置方法。输出N皇后问题所有不同的摆放情况个数。 输入
阅读更多...
vscode中文乱码问题，注释，终端，调试乱码一劳永逸版

vscode中文乱码问题，注释，终端，调试乱码一劳永逸版

忘记咋回事突然出现了乱码问题，很多方法都试了，注释乱码解决了，终端又乱码，调试窗口也乱码，最后经过本人不懈努力，终于全部解决了，现在分享给大家我的方法。 乱码的原因是各个地方用的编码格式不统一，所以把他们设成统一的utf8. 1.电脑的编码格式 开始-设置-时间和语言-语言和区域 管理语言设置-更改系统区域设置-勾选Bata版：使用utf8-确定-然后按指示重启 2.vscode
阅读更多...
Android Environment 获取的路径问题

Android Environment 获取的路径问题

1. 以获取 /System 路径为例 /*** Return root of the "system" partition holding the core Android OS.* Always present and mounted read-only.*/public static @NonNull File getRootDirectory() {return DIR_ANDR
阅读更多...
form表单提交编码的问题

form表单提交编码的问题

浏览器在form提交后，会生成一个HTTP的头部信息"content-type"，标准规定其形式为Content-type: application/x-www-form-urlencoded; charset=UTF-8        那么我们如果需要修改编码，不使用默认的，那么可以如下这样操作修改编码，来满足需求： hmtl代码：   <meta http-equiv="Conte
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2