本文主要是介绍07.es_thread_pool使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
文章目录
- 1. 线程池的类型
- 1. fixed
- 2. fixed_auto_queue_size
- 3. scaling 类型线程池
- 2.相对重要的线程池
- 1. generic线程池
- 2. search线程池
- 3. search_throttled线程池
- 4. get线程池
- 5. analyze线程池
- 6. write线程池
- 7. snapshot线程池
- 8. warmer线程池
- 9. refresh线程池
- 10. listener线程池
- 3. 修改某个线程池的设置
- 4. Processors setting
在es这种的每个node都会有多个线程池来处理任务。很多线程池都会有一个queue来缓存一些需要处理的request而不是直接丢弃。
这里会着重介绍比较重要的线程池,在介绍线程池之前我们先介绍es的线程池的都有哪些类型。
1. 线程池的类型
1. fixed
fixed的线程池是一个有固定线程数量的thread pool,而且会有一个固定大小的queue来缓存处理不过来的任务。
下面的方式可以设置一个fixed thread pool
thread_pool:write:size: 30queue_size: 1000
queue_size的值如果不设置的话默认为-1
,代表无限大。
当queue被填满的时候请求就会被abort掉。
2. fixed_auto_queue_size
这个是实验性的类型特性,fixed_auto_queue_size的thread的数量是fixed,但是queue的大小是根据一些规则进行变动的。
可以这样设置一个fixed_auto_queue_size thread pool:
thread_pool:search:size: 30queue_size: 500min_queue_size: 10max_queue_size: 1000auto_queue_frame_size: 2000target_response_time: 1s
queue_size 是初始化的queue的size数量
auto_queue_frame_size的作用是用来衡量是否需要扩容的请求数。
target_response_time的含义是当任务的处理时间(加上排队时间)大于1s的时候会对queue进行缩容,来避免大量的超时处理。
3. scaling 类型线程池
这类线程池的thread的数量是可以基于负载的大小动态变化的
可以这样设置一个scaling的线程池
thread_pool:warmer:core: 1max: 8keep_alive: 2m
keep_alive 指定了闲置的线程池达到2m会被回收
2.相对重要的线程池
1. generic线程池
普通线程池,一般用来运行后台任务或者discovery等,是一个大小可以scaling的线程池。
2. search线程池
针对 count/search/suggest 操作 ,线程池的类型是 fixed_auto_queue_size 线程池的大小是固定值 int((# of available_processors * 3) / 2) + 1, 有一个可以伸缩的queue, queue size 初始值是 1000.
3. search_throttled线程池
应对count/search/suggest/get 操作,但是这些对应的索引是search_throttled indices.线程池的类型是 fixed_auto_queue_size thread 的size 是 1, queue_size 的初始值 100.
4. get线程池
get操作对应的线程池,Thread pool 的类型是 fixed ,size 是 available processors, queue_size 是 1000.
5. analyze线程池
analyze 请求对应的线程池, Thread pool 的类型是 fixed ,size 是1, queue size 是16.
6. write线程池
这个线程池对应处理的是index/delete/update请求和bulk请求,Thread pool 的类型是 fixed,size 是 available processors queue size 是 200。thread pool最大的可设置的值为1+ available processors
这个线程池对应处理的是 Thread pool 的类型是 fixed ,size 是 , queue size 是 。
7. snapshot线程池
这个线程池对应处理的是snapshot/restore操作,Thread pool 的类型是 scaling,size 最大值是min(5, (# of available processors)/2), 每个thread的keep-alive时间是5m,如果5m都是空闲的,那么该线程就会别回收。
8. warmer线程池
这个线程池对应处理的是segment warm-up 操作, Thread pool 的类型是scaling,size 最大值是min(5, (# of available processors)/2), 每个thread的keep-alive时间是5m,如果5m都是空闲的,那么该线程就会别回收。
9. refresh线程池
这个线程池对应处理的是refresh 操作,Thread pool 的类型是scaling,size 最大值是min(10, (# of available processors)/2), 每个thread的keep-alive时间是5m,如果5m都是空闲的,那么该线程就会别回收。
10. listener线程池
这个线程池对应处理的是java client的操作,Thread pool 的类型是scaling,size 最大值是min(10, (# of available processors)/2), 每个thread的keep-alive时间是5m,如果5m都是空闲的,那么该线程就会别回收。
3. 修改某个线程池的设置
thread_pool:write:size: 30
4. Processors setting
设置elasticsearch动态监测到的processor的数量,这个一般情况下不用设置,只有由于操作系统的原因可能导致检测不准,或者因为对应的服务器上还有其他服务,想要缩小es使用的cpu核数才会使用。
processors: 2
这篇关于07.es_thread_pool使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!