关于kudu使用的一些问题及解决办法

2024-06-09 19:58

本文主要是介绍关于kudu使用的一些问题及解决办法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  • 在client 1.5之前,由于kudu客户端链接的token有效时间是7天,当时间大于7天的时候token失效,客户端不会主动去刷新token,导致写入数据报错;

 解决办法:kudu-client 版本使用1.5以上的版本

  •  kudu数据flush的模式问题

 AUTO_FLUSH_BACKGROUND:异步刷新可能会导致写入的时候乱序,因此有严格的顺序的写入操作可能要使用AUTO_FLUSH_SYNC模式

具体说明如下:

/**

 * Each {@link KuduSession#apply KuduSession.apply()} call will return only after being* flushed to the server automatically. No batching will occur.** <p>In this mode, the {@link KuduSession#flush} call never has any effect, since each* {@link KuduSession#apply KuduSession.apply()} has already flushed the buffer before* returning.*  * <p><strong>This is the default flush mode.</strong>
 * 使用该模式的时候调用apply以后就直接flush,不回有批量flush的情况,该模式为默认模式*/
AUTO_FLUSH_SYNC,/*** {@link KuduSession#apply KuduSession.apply()} calls will return immediately, but the writes* will be sent in the background, potentially batched together with other writes from* the same session. If there is not sufficient buffer space, then* {@link KuduSession#apply KuduSession.apply()} may block for buffer space to be available.** <p>Because writes are applied in the background, any errors will be stored* in a session-local buffer. Call {@link #countPendingErrors() countPendingErrors()} or* {@link #getPendingErrors() getPendingErrors()} to retrieve them.** <p><strong>Note:</strong> The {@code AUTO_FLUSH_BACKGROUND} mode may result in* out-of-order writes to Kudu. This is because in this mode multiple write* operations may be sent to the server in parallel.* See <a href="https://issues.apache.org/jira/browse/KUDU-1767">KUDU-1767</a> for more* information.** <p>The {@link KuduSession#flush()} call can be used to block until the buffer is empty.
 * 1. 在该模式下,调用apply以后自动返回,写入是在后台异步进行。有可能会和同一个session里面其他的写入操作一起批量提交,如果buffer的
 * 空间不够用的话apply会被阻塞直到有可用空间。
 * 2.由于写入是后台异步操作,可以使用countPendingErrors()或者getPendingErrors()来检索错误。* 3. AUTO_FLUSH_BACKGROUND可能会导致写入的结果是乱序的,因为这个模式可能会并行写入服务器中。*/
AUTO_FLUSH_BACKGROUND,/*** {@link KuduSession#apply KuduSession.apply()} calls will return immediately, but the writes* will not be sent until the user calls {@link KuduSession#flush()}. If the buffer runs past* the configured space limit, then {@link KuduSession#apply KuduSession.apply()} will return* an error.
 * apply以后会立即返回,写操作会在flush以后执行。如果缓冲超过了配置的大小,apply则会
报错 */
MANUAL_FLUSH

这篇关于关于kudu使用的一些问题及解决办法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1046157

相关文章

使用Python将JSON,XML和YAML数据写入Excel文件

《使用Python将JSON,XML和YAML数据写入Excel文件》JSON、XML和YAML作为主流结构化数据格式,因其层次化表达能力和跨平台兼容性,已成为系统间数据交换的通用载体,本文将介绍如何... 目录如何使用python写入数据到Excel工作表用Python导入jsON数据到Excel工作表用

Pyserial设置缓冲区大小失败的问题解决

《Pyserial设置缓冲区大小失败的问题解决》本文主要介绍了Pyserial设置缓冲区大小失败的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录问题描述原因分析解决方案问题描述使用set_buffer_size()设置缓冲区大小后,buf

resultMap如何处理复杂映射问题

《resultMap如何处理复杂映射问题》:本文主要介绍resultMap如何处理复杂映射问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录resultMap复杂映射问题Ⅰ 多对一查询:学生——老师Ⅱ 一对多查询:老师——学生总结resultMap复杂映射问题

鸿蒙中@State的原理使用详解(HarmonyOS 5)

《鸿蒙中@State的原理使用详解(HarmonyOS5)》@State是HarmonyOSArkTS框架中用于管理组件状态的核心装饰器,其核心作用是实现数据驱动UI的响应式编程模式,本文给大家介绍... 目录一、@State在鸿蒙中是做什么的?二、@Spythontate的基本原理1. 依赖关系的收集2.

Python基础语法中defaultdict的使用小结

《Python基础语法中defaultdict的使用小结》Python的defaultdict是collections模块中提供的一种特殊的字典类型,它与普通的字典(dict)有着相似的功能,本文主要... 目录示例1示例2python的defaultdict是collections模块中提供的一种特殊的字

java实现延迟/超时/定时问题

《java实现延迟/超时/定时问题》:本文主要介绍java实现延迟/超时/定时问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java实现延迟/超时/定时java 每间隔5秒执行一次,一共执行5次然后结束scheduleAtFixedRate 和 schedu

C++ Sort函数使用场景分析

《C++Sort函数使用场景分析》sort函数是algorithm库下的一个函数,sort函数是不稳定的,即大小相同的元素在排序后相对顺序可能发生改变,如果某些场景需要保持相同元素间的相对顺序,可使... 目录C++ Sort函数详解一、sort函数调用的两种方式二、sort函数使用场景三、sort函数排序

Java String字符串的常用使用方法

《JavaString字符串的常用使用方法》String是JDK提供的一个类,是引用类型,并不是基本的数据类型,String用于字符串操作,在之前学习c语言的时候,对于一些字符串,会初始化字符数组表... 目录一、什么是String二、如何定义一个String1. 用双引号定义2. 通过构造函数定义三、St

如何解决mmcv无法安装或安装之后报错问题

《如何解决mmcv无法安装或安装之后报错问题》:本文主要介绍如何解决mmcv无法安装或安装之后报错问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mmcv无法安装或安装之后报错问题1.当我们运行YOwww.chinasem.cnLO时遇到2.找到下图所示这里3.

浅谈配置MMCV环境,解决报错,版本不匹配问题

《浅谈配置MMCV环境,解决报错,版本不匹配问题》:本文主要介绍浅谈配置MMCV环境,解决报错,版本不匹配问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录配置MMCV环境,解决报错,版本不匹配错误示例正确示例总结配置MMCV环境,解决报错,版本不匹配在col