封装:内存镜像文件(MemoryMappedFile)封装,一维二维三维定点访问

本文主要是介绍封装:内存镜像文件(MemoryMappedFile)封装,一维二维三维定点访问,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

MemoryMappedFile简介:



1、问题:公司底层限制使用32位应用程序,针对大数据数据模型会产生内存溢出;

2、解决方案:C#中可以使用MemoryMappedFile类将内存映射到硬盘中,将大网格数据保存在硬盘中节省内存;


3、实测结果:读取写入速度可以接受,持久化效果良好;

4、针对使用结构进行了如下封装,可用于泛型索引访问

    /// <summary> 泛型 T 内存映射文件 </summary>public partial class MmfEntity<T> where T : struct{#region - 成员变量 -private long _size;/// <summary> 文件大小 </summary>public long Size{get { return _size; }}/// <summary> 实体大小 </summary>public int MLeight{get { return Marshal.SizeOf(typeof(T)); }}private int _count;/// <summary> T 类型的数量 </summary>public int Count{get { return _count; }set{//  设置容器大小this._size = MLeight * value;_count = value;}}private string _file;/// <summary> 文件全路径 </summary>public string FileInf{get { return _file; }set { _file = value; }}private string _name;/// <summary> 镜像名称 </summary>public string Name{get{if (string.IsNullOrEmpty(_name)){_name = Path.GetFileNameWithoutExtension(_file);}return _name;}}private MemoryMappedFile _mmf;/// <summary> 内存镜像 </summary>protected MemoryMappedFile Mmf{get{BuildFile();return _mmf;}}/// <summary> 创建文件 </summary>void BuildFile(){if (File.Exists(this.FileInf)){this.Dispose();File.Delete(this.FileInf);}//  如果存在删除_mmf = MemoryMappedFile.CreateFromFile(this.FileInf, FileMode.OpenOrCreate, _name, _size, MemoryMappedFileAccess.ReadWriteExecute);}private MemoryMappedViewAccessor _mapView;/// <summary> 随机访问视图  </summary>protected MemoryMappedViewAccessor MapView{get{if (_mmf == null){this.BuildFile();}if (_mapView == null){_mapView = _mmf.CreateViewAccessor();}return _mapView;}}private MemoryMappedViewStream _mapStream;/// <summary> 按循序访问的流 </summary>protected MemoryMappedViewStream MapStream{get{if (_mmf == null){this.BuildFile();}if (_mapStream == null){_mapStream = _mmf.CreateViewStream();}return _mapStream;}private set { _mapStream = value; }}#endregion/// <summary> 将 T 类型的结构从访问器读取到提供的引用中 </summary>public T GetPostion(long position){T structure;MapView.Read<T>(position, out structure);return structure;}/// <summary> 读取指定索引处结构 </summary>public T GetIndex(int index){long postion = index * this.MLeight;return this.GetPostion(postion);}/// <summary> 将 T 类型的结构从访问器读取到 T 类型的数组中 </summary>public T[] GetPostion(int count, long position = 0){T[] arr = new T[count];MapView.ReadArray<T>(position, arr, 0, count);return arr;}/// <summary> 将 T 类型的结构从访问器读取到 T 类型的数组中 </summary>public T[] GetAll(long position = 0){T[] arr = new T[this._count];MapView.ReadArray<T>(position, arr, 0, this._count);return arr;}/// <summary> 将一个结构写入访问器 </summary>public void SetPosition(long position, T structure){MapView.Write<T>(position, ref structure);}/// <summary> 写入指定索引处结构 </summary>public void SetIndex(int index, T structure){long postion = index * this.MLeight;this.SetPosition(postion, structure);}/// <summary> 将结构从 T 类型的数组写入访问器 </summary>public void SetPosition(long position, T[] arr){MapView.WriteArray<T>(position, arr, 0, arr.Length);}/// <summary> 将结构从 T 类型的数组写入访问器 </summary>public void SetAll(T[] arr){MapView.WriteArray<T>(0, arr, 0, arr.Length);}/// <summary> 将结构从 T 类型的数组写入访问器 </summary>public void SetAll(T t){T[] arr = new T[this.Count];this.Count.DoCountWhile(l => arr[l] = t);MapView.WriteArray<T>(0, arr, 0, this.Count);}/// <summary> 重置大小 </summary>public void ReSetSize(int count){this._count = count;this._size = count * this.MLeight;this.BuildFile();}}partial class MmfEntity<T> : IDisposable{#region - 构造函数 -public MmfEntity(string fileFullPath, int Tcount){this._file = fileFullPath;this._count = Tcount;this._size = Tcount * this.MLeight;this._name = Path.GetFileNameWithoutExtension(fileFullPath);this.BuildFile();}#endregion#region - 资源释放 -private bool _isDisposed = false;~MmfEntity(){Dispose(false);}public void Dispose(){Dispose(true);GC.SuppressFinalize(this);}protected virtual void Dispose(bool disposing){if (!_isDisposed){if (disposing){if (this._mapView != null) this._mapView.Dispose();if (this._mmf != null) this._mmf.Dispose();}this._isDisposed = true;}}#endregion}

5、针对二维三维的定点结构访问

    /// <summary> 二维存储结构 </summary>public class DxyMmfEntity<T> : MmfEntity<T> where T : struct{#region - 构造函数 -public DxyMmfEntity(string fileFullPath, int Tcount): base(fileFullPath, Tcount){}#endregionprivate int _x;/// <summary> X维数 </summary>public int X{get { return _x; }set { _x = value; }}private int _y;/// <summary> Y维数 </summary>public int Y{get { return _y; }set { _y = value; }}public void Set(int x, int y, T value) {this.SetIndex(TranFucntion(x, y), value);}/// <summary> 获取指定二维值 </summary>public T Get(int x, int y){return this.GetIndex(TranFucntion(x, y));}Func<int, int, int> tranFucntion;/// <summary> 设置指定二维值 </summary>public Func<int, int, int> TranFucntion{get { return (x, y) => y * this.X + x; }}}


    /// <summary> 三维存储结构 </summary>public class DxyzMmfEntity<T> : MmfEntity<T> where T : struct{#region - 构造函数 -public DxyzMmfEntity(string fileFullPath, int x, int y, int z): base(fileFullPath, x * y * z){this.X = x;this.Y = y;this.Z = z;}/// <summary> 初始化方法 </summary>public void Init(int x, int y, int z){this.X = x;this.Y = y;this.Z = z;base.ReSetSize(x * y * z);}#endregionprivate int _x;/// <summary> X维数 </summary>public int X{get { return _x; }set { _x = value; }}private int _y;/// <summary> Y维数 </summary>public int Y{get { return _y; }set { _y = value; }}private int _z;/// <summary> Z方向维数 </summary>public int Z{get { return _z; }set { _z = value; }}public void Set(int x, int y, int z, T value){this.SetIndex(TranFucntion(x, y, z), value);}/// <summary> 获取指定二维值 </summary>public T Get(int x, int y, int z){return this.GetIndex(TranFucntion(x, y, z));}Func<int, int, int> tranFucntion;/// <summary> 设置指定二维值 </summary>public Func<int, int, int, int> TranFucntion{get { return (x, y, z) => z * this.X * this.Y + y * this.X + x; }}}

6,测试用例

 class Program{static void Main(string[] args){long offset = 0x10000000; // 256 megabyteslong length = 0x20000000; // 512 megabyteslong test = 800 * 1024;// 800 * 1024 * 1024;// 800MBDateTime time = DateTime.Now;Console.WriteLine("开始创建文件!");using (MmfEntity<int> mmf = new MmfEntity<int>(@"E:\ExtremelyLargeImage.data", 100)){for (int i = 0; i < 100; i++){mmf.SetIndex(i, i);}for (int i = 0; i < 100; i++){Console.WriteLine("执行:" + i + "  值:" + mmf.GetIndex(i));}
            }
           Console.WriteLine("完成!");Console.WriteLine("大小:" + test + "用时:" + (DateTime.Now - time).ToString());Console.Read();}
}

7、MemoryMappedFile结构图



这篇关于封装:内存镜像文件(MemoryMappedFile)封装,一维二维三维定点访问的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1005049

相关文章

关于Java内存访问重排序的研究

《关于Java内存访问重排序的研究》文章主要介绍了重排序现象及其在多线程编程中的影响,包括内存可见性问题和Java内存模型中对重排序的规则... 目录什么是重排序重排序图解重排序实验as-if-serial语义内存访问重排序与内存可见性内存访问重排序与Java内存模型重排序示意表内存屏障内存屏障示意表Int

SpringBoot实现基于URL和IP的访问频率限制

《SpringBoot实现基于URL和IP的访问频率限制》在现代Web应用中,接口被恶意刷新或暴力请求是一种常见的攻击手段,为了保护系统资源,需要对接口的访问频率进行限制,下面我们就来看看如何使用... 目录1. 引言2. 项目依赖3. 配置 Redis4. 创建拦截器5. 注册拦截器6. 创建控制器8.

SpringBoot如何访问jsp页面

《SpringBoot如何访问jsp页面》本文介绍了如何在SpringBoot项目中进行Web开发,包括创建项目、配置文件、添加依赖、控制层修改、测试效果以及在IDEA中进行配置的详细步骤... 目录SpringBoot如何访问JSP页python面简介实现步骤1. 首先创建的项目一定要是web项目2. 在

如何测试计算机的内存是否存在问题? 判断电脑内存故障的多种方法

《如何测试计算机的内存是否存在问题?判断电脑内存故障的多种方法》内存是电脑中非常重要的组件之一,如果内存出现故障,可能会导致电脑出现各种问题,如蓝屏、死机、程序崩溃等,如何判断内存是否出现故障呢?下... 如果你的电脑是崩溃、冻结还是不稳定,那么它的内存可能有问题。要进行检查,你可以使用Windows 11

Linux限制ip访问的解决方案

《Linux限制ip访问的解决方案》为了修复安全扫描中发现的漏洞,我们需要对某些服务设置访问限制,具体来说,就是要确保只有指定的内部IP地址能够访问这些服务,所以本文给大家介绍了Linux限制ip访问... 目录背景:解决方案:使用Firewalld防火墙规则验证方法深度了解防火墙逻辑应用场景与扩展背景:

Python使用pysmb库访问Windows共享文件夹的详细教程

《Python使用pysmb库访问Windows共享文件夹的详细教程》本教程旨在帮助您使用pysmb库,通过SMB(ServerMessageBlock)协议,轻松连接到Windows共享文件夹,并列... 目录前置条件步骤一:导入必要的模块步骤二:配置连接参数步骤三:实例化SMB连接对象并尝试连接步骤四:

NameNode内存生产配置

Hadoop2.x 系列,配置 NameNode 内存 NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列,配置 Nam

hdu1240、hdu1253(三维搜索题)

1、从后往前输入,(x,y,z); 2、从下往上输入,(y , z, x); 3、从左往右输入,(z,x,y); hdu1240代码如下: #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#inc

poj2576(二维背包)

题意:n个人分成两组,两组人数只差小于1 , 并且体重只差最小 对于人数要求恰好装满,对于体重要求尽量多,一开始没做出来,看了下解题,按照自己的感觉写,然后a了 状态转移方程:dp[i][j] = max(dp[i][j],dp[i-1][j-c[k]]+c[k]);其中i表示人数,j表示背包容量,k表示输入的体重的 代码如下: #include<iostream>#include<

hdu2159(二维背包)

这是我的第一道二维背包题,没想到自己一下子就A了,但是代码写的比较乱,下面的代码是我有重新修改的 状态转移:dp[i][j] = max(dp[i][j], dp[i-1][j-c[z]]+v[z]); 其中dp[i][j]表示,打了i个怪物,消耗j的耐力值,所得到的最大经验值 代码如下: #include<iostream>#include<algorithm>#include<