复杂度为O(1)的最不常用[LFU]缓存算法

2024-02-24 06:58

本文主要是介绍复杂度为O(1)的最不常用[LFU]缓存算法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

参考链接:http://python.jobbole.com/82424/

这篇文章描述了怎么用 Python 实现复杂度为 O(1) 的「最不常用」(Least Frequently Used, LFU)缓存回收算法。在 Ketan Shah、Anirban Mitra 和 Dhruv Matani的论文中有算法描述。实现中的命名是按照论文中的命名。

LFU 缓存回收机制对于 HTTP 缓存网络代理是非常有用的,我们可以从缓存中移除那些最不常使用的条目。
本文旨在设计一个其所有操作的时间复杂度都只有 O(1)的 LFU 缓存算法,这些操作包括了插入、访问和删除(回收)。

这个算法中用了双向链表。其一是用于访问频率,链表中的每个结点都包含一个链表,其中的元素有相同的访问频率。假设缓存中有5个元素。有两个元素被访问了一次,三个元素被访问了两次。在这个例子中,访问频率列表有两个结点(频率为1和2)。第一个频率结点的链表中有两个结点,第二个频率结点的链表中有三个结点。


相关的python代码如下:

class Node(object):def __init__(self,data):self.data= dataself.prev = Noneself.next = Noneclass DoublyLinkedList(object):def __init__(self):self.head = Noneself.tail = Noneself.count= 0def add_node(self,cls,data):return self.insert_node(cls,data,self.tail,None)def insert_node(self,cls,data,prev,next):node = cls(data)node.prev = prevnode.next = nextif prev:prev.next = nodeif next:next.prev = nodeif not self.head or next is self.head:self.head = nodeif not self.tail or prev is self.tail:self.tail = nodeself.count +=1return nodedef remove_node(self,node):if node is self.head:self.head = node.nextelse:node.prev.next = node.nextif node is self.tail:self.tail = node.prevelse:node.next.prev = node.prevself.count -=1;def get_nodes_data(self):data=[]node = self.headwhile node:data.append(node.data)
#print "asd"node = node.nextreturn data
class FreqNode(DoublyLinkedList,Node):def __init__(self,data):DoublyLinkedList.__init__(self)Node.__init__(self,data)def add_item_node(self,data):node = self.add_node(ItemNode,data)node.parent= selfreturn nodedef insert_item_node(self,data,prev,next):self.insert_node(ItemNode,data,prev,next)node.parent = selfreturn nodedef remove_item_node(self,node):self.remove_node(node)
class ItemNode(Node):def __init__(self,data):Node.__init__(self,data)self.parent = None
class LfuItem(object):def __init__(self,data,parent,node):self.data = dataself.parent = parentself.node = node
class Cache(DoublyLinkedList):def __init__(self):DoublyLinkedList.__init__(self)self.items = {}def insert_freq_node(self,data,prev,next):return self.insert_node(FreqNode,data,prev,next)def remove_freq_node(self,node):self.remove_node(node)def insert(self,key,value):if key in self.items:raise DuplicateException('key exists')freq_node = self.headif not freq_node or freq_node.data != 1:
#print "adassd"freq_node = self.insert_freq_node(1,None,freq_node)item_node = freq_node.add_item_node(key)self.items[key] = LfuItem(value,freq_node,item_node)def access(self,key):try:tmp_node = self.items[key]except KeyError:raise NotFoundException('key not found')freq_node = tmp_node.parentnext_freq_node = freq_node.nextif not next_freq_node or next_freq_node.data != freq_node.data+1:next_freq_node = self.insert_freq_node(freq_node.data+1,freq_node,next_freq_node)item_node = next_freq_node.add_item_node(key)tmp_node.parent = next_freq_nodefreq_node.remove_item_node(tmp_node.node)if(freq_node.count == 0):self.remove_freq_node(freq_node)tmp_node.node = item_nodereturn tmp_node.datadef delete_lfu(self):if not self.head:raise NotFoundException('No frequency nodes found')freq_node = self.headitem_node = freq_node.headdel self.items[item_node.data]freq_node.remove_item_node(item_node)if freq_node.count == 0:self.remove_freq_node(freq_node)				 def funcs(da):for d in da:print d
if __name__ == '__main__':ca = Cache()ca.insert(1,"123")ca.insert(2,"122")ca.insert(3,"322")da = ca.get_nodes_data()print	ca.access(1)print ca.access(2)print ca.access(3)print ca.access(3)		funcs(ca.get_nodes_data())


这篇关于复杂度为O(1)的最不常用[LFU]缓存算法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/741304

相关文章

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时

Linux上设置Ollama服务配置(常用环境变量)

《Linux上设置Ollama服务配置(常用环境变量)》本文主要介绍了Linux上设置Ollama服务配置(常用环境变量),Ollama提供了多种环境变量供配置,如调试模式、模型目录等,下面就来介绍一... 目录在 linux 上设置环境变量配置 OllamPOgxSRJfa手动安装安装特定版本查看日志在

Java常用注解扩展对比举例详解

《Java常用注解扩展对比举例详解》:本文主要介绍Java常用注解扩展对比的相关资料,提供了丰富的代码示例,并总结了最佳实践建议,帮助开发者更好地理解和应用这些注解,需要的朋友可以参考下... 目录一、@Controller 与 @RestController 对比二、使用 @Data 与 不使用 @Dat

Mysql中深分页的五种常用方法整理

《Mysql中深分页的五种常用方法整理》在数据量非常大的情况下,深分页查询则变得很常见,这篇文章为大家整理了5个常用的方法,文中的示例代码讲解详细,大家可以根据自己的需求进行选择... 目录方案一:延迟关联 (Deferred Join)方案二:有序唯一键分页 (Cursor-based Paginatio

Linux修改pip和conda缓存路径的几种方法

《Linux修改pip和conda缓存路径的几种方法》在Python生态中,pip和conda是两种常见的软件包管理工具,它们在安装、更新和卸载软件包时都会使用缓存来提高效率,适当地修改它们的缓存路径... 目录一、pip 和 conda 的缓存机制1. pip 的缓存机制默认缓存路径2. conda 的缓

Python实现常用文本内容提取

《Python实现常用文本内容提取》在日常工作和学习中,我们经常需要从PDF、Word文档中提取文本,本文将介绍如何使用Python编写一个文本内容提取工具,有需要的小伙伴可以参考下... 目录一、引言二、文本内容提取的原理三、文本内容提取的设计四、文本内容提取的实现五、完整代码示例一、引言在日常工作和学

Redis中的常用的五种数据类型详解

《Redis中的常用的五种数据类型详解》:本文主要介绍Redis中的常用的五种数据类型详解,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Redis常用的五种数据类型一、字符串(String)简介常用命令应用场景二、哈希(Hash)简介常用命令应用场景三、列表(L

Redis解决缓存击穿问题的两种方法

《Redis解决缓存击穿问题的两种方法》缓存击穿问题也叫热点Key问题,就是⼀个被高并发访问并且缓存重建业务较复杂的key突然失效了,无数的请求访问会在瞬间给数据库带来巨大的冲击,本文给大家介绍了Re... 目录引言解决办法互斥锁(强一致,性能差)逻辑过期(高可用,性能优)设计逻辑过期时间引言缓存击穿:给

python中time模块的常用方法及应用详解

《python中time模块的常用方法及应用详解》在Python开发中,时间处理是绕不开的刚需场景,从性能计时到定时任务,从日志记录到数据同步,时间模块始终是开发者最得力的工具之一,本文将通过真实案例... 目录一、时间基石:time.time()典型场景:程序性能分析进阶技巧:结合上下文管理器实现自动计时