【C++】实现一个定长内存池(Object Pool)

2024-08-24 23:04
文章标签 c++ 实现 内存 object pool

本文主要是介绍【C++】实现一个定长内存池(Object Pool),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

为什么要有定长内存池?

什么是定长内存池?

如何实现定长内存池?


为什么要有定长内存池?

C++中,申请释放空间一般使用new和delete。为了解决自定义类型初始化和清理的问题,new的底层封装了operator new和构造函数,delete的底层封装了析构函数和operator delete。又为了配合C++面向对象的异常机制,operator new和operator delete又分别封装了malloc和free,并在申请空间失败时抛出bad_alloc异常。malloc和free为了综合考虑各种场景,在某些场景下无法发挥出最高的效率,比如:每次只申请固定大小的空间时。为了解决这个问题,我们可以手动写一个定长的内存池(object pool)。


什么是定长内存池?

每次都new和delete固定长度的对象,简单起见,我们假设每次都new和delete同一类型的对象(假设类型是T)。


如何实现定长内存池?

先来考虑如何new。在堆上申请一大块内存(比如128KB),每次在这块内存中“切分”出一个T类型的对象并返回。当大块内存的空间不够时,再重新申请一大块内存。我们需要记录大块内存中还没使用的起始位置(_memory)和还没使用的字节数(_remainBytes)。对象大小(objSize)至少是一个指针的大小,原因我稍后讲解。为了符合new会自动调用构造函数的特点,我们在返回obj前调用定位new(placement new)完成初始化的工作。如何“切分”呢?记录并返回_memory的地址,并让_memory向后挪动objSize字节即可

	// 剩余空间不够一个对象大小时,重新申请大块内存size_t objSize = std::max<size_t>(sizeof(T), sizeof(void*));if (_remainBytes < objSize){_remainBytes = 128 * 1024;_memory = static_cast<char*>(SystemAlloc(_remainBytes >> 13));}// 分配空间obj = reinterpret_cast<T*>(_memory);_memory += objSize;_remainBytes -= objSize;
}new (obj) T;
return obj;

其中SystemAlloc直接在堆上按页(一般是8KB)申请空间。比如,WIN32可以直接调用VirtualAlloc。

inline static void* SystemAlloc(size_t kpage)
{
#ifdef _WIN32void* ptr = VirtualAlloc(0, kpage << 13,MEM_COMMIT | MEM_RESERVE, PAGE_READWRITE);
#else// ...
#endif // _WIN32if (nullptr == ptr){throw std::bad_alloc();}return ptr;
}

接下来考虑如何delete。当我们delete obj时,为了符合delete会自动调用析构函数的特点,需要显示调用析构函数完成清理工作。obj这块空间不能“丢了”,我们用单向链表来管理delete的空间,把obj指向的这块空间当作一个节点链接到一个链表中,我们称这个链表为自由链表(free list)每个节点的头4或者8字节(具体取决于环境是x86还是x64)存储下一个节点的地址。用_freeList记录头节点的地址。我们把obj插入到自由链表中,就完成了对还回来的空间的管理。由于我们只有头节点的地址,所以头插(push front)的效率非常高,如果尾插(push back)的话还需要遍历链表找到尾节点。

void Delete(T* obj)
{if (obj){obj->~T();// 把obj头插到自由链表中NextObj(obj) = _freeList;_freeList = obj;}
}

我们把obj下一个节点的地址存储在obj的前4或者8字节的空间中。如何取出这个地址呢?只需要把obj的类型转换为void**,再解引用,就能取出一个void*了。

inline static void*& NextObj(void* obj)
{assert(obj);return *static_cast<void**>(obj);
}

由于节点必须能存下一个指针,所以每次申请的空间大小(objSize)至少是一个指针的大小。另外,每次new的时候,如果自由链表非空,优先重复利用自由链表的空间。由于我们只有自由链表的头指针,所以直接返回头节点的地址,并且对自由链表执行头删(pop front)操作,不尾删(pop back)同样是因为找尾节点需要遍历链表导致效率太低。

if (_freeList)
{// 重复利用还回来的内存块obj = static_cast<T*>(_freeList);_freeList = NextObj(_freeList); // 自由链表的头删
}

附上ObjectPool的完整代码。

template <class T>
class ObjectPool
{
public:T* New(){T* obj = nullptr;if (_freeList){// 重复利用还回来的内存块obj = static_cast<T*>(_freeList);_freeList = NextObj(_freeList); // 自由链表的头删}else{// 剩余空间不够一个对象大小时,重新申请大块内存size_t objSize = std::max<size_t>(sizeof(T), sizeof(void*));if (_remainBytes < objSize){_remainBytes = 128 * 1024;_memory = static_cast<char*>(SystemAlloc(_remainBytes >> 13));}// 分配空间obj = reinterpret_cast<T*>(_memory);_memory += objSize;_remainBytes -= objSize;}new (obj) T;return obj;}void Delete(T* obj){if (obj){obj->~T();// 把obj头插到自由链表中NextObj(obj) = _freeList;_freeList = obj;}}private:char*  _memory = nullptr; // 指向大块内存size_t _remainBytes = 0;  // 大块内存还剩多少字节没用void* _freeList = nullptr; // 自由链表,管理还回来的内存块
};

简单测试一下效率,和C++原生的new和delete作对比。

template <class T>
class TreeNode
{using Node = TreeNode<T>;public:T _val;Node* _parent = nullptr;Node* _left = nullptr;Node* _right = nullptr;TreeNode(const T& val = T()): _val(val){}
};void TestObjectPool()
{const size_t ROUNDS = 5;  // 申请释放多少轮const size_t N = 1000000; // 每轮申请释放多少次std::vector<TreeNode<int>*> v1;std::vector<TreeNode<int>*> v2;v1.reserve(N);v2.reserve(N);// 测试new和delete申请释放空间clock_t begin1 = clock();for (size_t i = 0; i < ROUNDS; ++i){for (size_t j = 0; j < N; ++j){v1.emplace_back(new TreeNode<int>);}for (auto ptr : v1){delete ptr;}v1.clear();}clock_t end1 = clock();// 测试ObjectPool申请释放空间clock_t begin2 = clock();ObjectPool<TreeNode<int>> treeNodePool;for (size_t i = 0; i < ROUNDS; ++i){for (size_t j = 0; j < N; ++j){v2.emplace_back(treeNodePool.New());}for (auto ptr : v2){treeNodePool.Delete(ptr);}v2.clear();}clock_t end2 = clock();std::cout << "new and delete cost time: " << end1 - begin1 << std::endl;std::cout << "object pool cost time: "    << end2 - begin2 << std::endl;
}

在Release x64环境下输出:

new and delete cost time: 296
object pool cost time: 30

芜湖!这效率一下就上来了!

这篇关于【C++】实现一个定长内存池(Object Pool)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1103852

相关文章

SpringBoot集成redisson实现延时队列教程

《SpringBoot集成redisson实现延时队列教程》文章介绍了使用Redisson实现延迟队列的完整步骤,包括依赖导入、Redis配置、工具类封装、业务枚举定义、执行器实现、Bean创建、消费... 目录1、先给项目导入Redisson依赖2、配置redis3、创建 RedissonConfig 配

Python的Darts库实现时间序列预测

《Python的Darts库实现时间序列预测》Darts一个集统计、机器学习与深度学习模型于一体的Python时间序列预测库,本文主要介绍了Python的Darts库实现时间序列预测,感兴趣的可以了解... 目录目录一、什么是 Darts?二、安装与基本配置安装 Darts导入基础模块三、时间序列数据结构与

C++右移运算符的一个小坑及解决

《C++右移运算符的一个小坑及解决》文章指出右移运算符处理负数时左侧补1导致死循环,与除法行为不同,强调需注意补码机制以正确统计二进制1的个数... 目录我遇到了这么一个www.chinasem.cn函数由此可以看到也很好理解总结我遇到了这么一个函数template<typename T>unsigned

Python使用FastAPI实现大文件分片上传与断点续传功能

《Python使用FastAPI实现大文件分片上传与断点续传功能》大文件直传常遇到超时、网络抖动失败、失败后只能重传的问题,分片上传+断点续传可以把大文件拆成若干小块逐个上传,并在中断后从已完成分片继... 目录一、接口设计二、服务端实现(FastAPI)2.1 运行环境2.2 目录结构建议2.3 serv

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很

SpringBoot+RustFS 实现文件切片极速上传的实例代码

《SpringBoot+RustFS实现文件切片极速上传的实例代码》本文介绍利用SpringBoot和RustFS构建高性能文件切片上传系统,实现大文件秒传、断点续传和分片上传等功能,具有一定的参考... 目录一、为什么选择 RustFS + SpringBoot?二、环境准备与部署2.1 安装 RustF

Nginx部署HTTP/3的实现步骤

《Nginx部署HTTP/3的实现步骤》本文介绍了在Nginx中部署HTTP/3的详细步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录前提条件第一步:安装必要的依赖库第二步:获取并构建 BoringSSL第三步:获取 Nginx

MyBatis Plus实现时间字段自动填充的完整方案

《MyBatisPlus实现时间字段自动填充的完整方案》在日常开发中,我们经常需要记录数据的创建时间和更新时间,传统的做法是在每次插入或更新操作时手动设置这些时间字段,这种方式不仅繁琐,还容易遗漏,... 目录前言解决目标技术栈实现步骤1. 实体类注解配置2. 创建元数据处理器3. 服务层代码优化填充机制详

Python实现Excel批量样式修改器(附完整代码)

《Python实现Excel批量样式修改器(附完整代码)》这篇文章主要为大家详细介绍了如何使用Python实现一个Excel批量样式修改器,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一... 目录前言功能特性核心功能界面特性系统要求安装说明使用指南基本操作流程高级功能技术实现核心技术栈关键函

Java实现字节字符转bcd编码

《Java实现字节字符转bcd编码》BCD是一种将十进制数字编码为二进制的表示方式,常用于数字显示和存储,本文将介绍如何在Java中实现字节字符转BCD码的过程,需要的小伙伴可以了解下... 目录前言BCD码是什么Java实现字节转bcd编码方法补充总结前言BCD码(Binary-Coded Decima