Unity DOTS中的baking(四)blob assets

2024-03-27 12:20
文章标签 unity assets blob dots baking

本文主要是介绍Unity DOTS中的baking(四)blob assets,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Unity DOTS中的baking(四)blob assets

blob assets表示不可变的二进制数据,在运行时也不会发生更改。由于blob assets是只读的,这意味着可以安全地并行访问它们。此外,blob assets仅限于使用非托管类型,这意味着它们与Burst编译器兼容。而且由于它们是非托管类型,序列化和反序列化的速度要比其他数据格式快得多。blob assets只能包含值类型,除了标准的值类型之外,还支持三种特殊的数据类型:BlobArray, BlobPtr, BlobString。

在baking中创建一个blob asset的过程,可以分为以下若干步骤:

  1. 创建一个BlobBuilder,它在Unity内部分配一些内存;
  2. 调用BlobBuilder.ConstructRoot构造blob asset的根节点;
  3. 把需要的数据填充到上一步骤返回的根节点中;
  4. 调用BlobBuilder.CreateBlobAssetReference创建一个BlobAssetReference。这个API会把blob asset复制到最终位置;
  5. 释放第一步创建的BlobBuilder
  6. 调用AddBlobAsset将blob asset注册到baker中,如果不执行这一步,blob asset的引用计数将不会更新,也就是说blob asset可能会被意外释放;
  7. 调用AddComponentBlobAssetReference添加到entity上。

在官网了解完这些理论知识之后,我们来动手实践一下。首先定义一个BlobAssetReference引用的struct MyBlobData,它包含一个BlobArray和一个int:

public struct MyBlobData
{public BlobArray<int> blobArray;public int blobInt;
}

然后再定义一个component,它包含一个BlobAssetReference

public struct MyBlobComponent : IComponentData
{public BlobAssetReference<MyBlobData> blobReference;
}

接下来就是根据上面所说的步骤,创建出BlobAssetReference

public BlobAssetReference<MyBlobData> CreateBlobData()
{using (var blobBuilder = new BlobBuilder(Allocator.TempJob)){ref var root = ref blobBuilder.ConstructRoot<MyBlobData>();var array = blobBuilder.Allocate(ref root.blobArray, 10);for (int i = 0; i < 10; i++){array[i] = i;}root.blobInt = 42;return blobBuilder.CreateBlobAssetReference<MyBlobData>(Allocator.Persistent);}
}

最后就是把BlobAssetReference注册到baker里去:

public override void Bake(MyBlobAssetAuthoring authoring)
{var entity = GetEntity(TransformUsageFlags.None);var blobReference = CreateBlobData();AddBlobAsset(ref blobReference, out _);AddComponent(entity, new MyBlobComponent { blobReference = blobReference });
}

此时在Unity里,可以看到MyBlobComponent,但是无法看到component里数据的详细信息:

Unity DOTS中的baking(四)1

我们可以借助System,在运行时打印这个component的信息:

foreach (var blob in SystemAPI.Query<RefRW<MyBlobComponent>>())
{int x = blob.ValueRO.blobReference.Value.blobArray[4];int y = blob.ValueRO.blobReference.Value.blobInt;Debug.Log(string.Format ("{0}, {1}", x, y));
}

Unity DOTS中的baking(四)2

可以看到一切正常。那么,我们现在回过头来,看看Unity官方文档中创建一个blob asset的过程,每一步骤背后究竟做了哪些事情。

第一步,创建BlobBuilder,BlobBuilder的构造函数会初始化内部使用的若干成员变量:

/// <summary>
/// Constructs a BlobBuilder object.
/// </summary>
/// <param name="allocator">The type of allocator to use for the BlobBuilder's internal, temporary data. Use
/// <see cref="Unity.Collections.Allocator.Temp"/> unless the BlobBuilder exists across more than four Unity frames.</param>
/// <param name="chunkSize">(Optional) The minimum amount of memory to allocate while building an asset.
/// The default value should suit most use cases. A smaller chunkSize results in more allocations; a larger
/// chunkSize could increase the BlobBuilder's total memory allocation (which is freed when you dispose of
/// the BlobBuilder.</param>
public BlobBuilder(AllocatorManager.AllocatorHandle allocator, int chunkSize = 65536)
{m_allocator = allocator;m_allocations = new NativeList<BlobAllocation>(16, m_allocator);m_patches = new NativeList<OffsetPtrPatch>(16, m_allocator);m_chunkSize = CollectionHelper.Align(chunkSize, 16);m_currentChunkIndex = -1;
}

注释中提到了两个参数的作用,allocator用于BlobBuilder内部数据的分配,除非BlobBuilder的生命周期很长,否则就应该使用Allocator.Temp,用完就回收;chunkSize用来控制BlobBuilder存放数据的内存块大小,太小的话会导致多次内存分配,太大则会导致内存占用负担,一般用默认值就可以了。

函数体内部初始化了5个成员变量,m_allocations是一个BlobAllocation类型的list,它记录了每个内存块chunk当前的状态,即内存块的起始指针p,和当前已经分配掉的内存大小size。

struct BlobAllocation
{public int size;public byte* p;
}

m_patches则是一个OffsetPtrPatch类型的list,它记录了需要patch的数据结构内存分配的信息。什么是需要patch的数据结构?我们前面提到blob assets除了支持标准值类型之外,还支持BlobArray, BlobPtr, BlobString这三种类型。这三种类型的变量,在初始化时往往还没有真正地分配所需要的内存,后续分配内存时,需要通过一种方式把变量和内存关联起来。OffsetPtrPatch类型记录了变量的起始地址指针offsetPtr,以及与变量关联的内存分配信息target,还有一个length字段记录数组的长度。

struct OffsetPtrPatch
{public int* offsetPtr;public BlobDataRef target;public int length; // if length != 0 this is an array patch and the length should be patched
}

BlobDataRef类型包含此次内存分配所在的chunk index,以及在chunk中的内存偏移量offset:

struct BlobDataRef
{public int allocIndex;public int offset;
}

m_chunkSize就是存放数据的内存块大小,这里会对传入的参数值进行处理,返回一个16字节对齐的大小。对齐函数的实现也蛮有趣的:

/// <summary>
/// Returns an allocation size in bytes that factors in alignment.
/// </summary>
/// <example><code>
/// // 55 aligned to 16 is 64.
/// int size = CollectionHelper.Align(55, 16);
/// </code></example>
/// <param name="size">The size to align.</param>
/// <param name="alignmentPowerOfTwo">A non-zero, positive power of two.</param>
/// <returns>The smallest integer that is greater than or equal to `size` and is a multiple of `alignmentPowerOfTwo`.</returns>
/// <exception cref="ArgumentException">Thrown if `alignmentPowerOfTwo` is not a non-zero, positive power of two.</exception>
public static int Align(int size, int alignmentPowerOfTwo)
{if (alignmentPowerOfTwo == 0)return size;CheckIntPositivePowerOfTwo(alignmentPowerOfTwo);return (size + alignmentPowerOfTwo - 1) & ~(alignmentPowerOfTwo - 1);
}

首先要检查传入的对齐字节数是不是2的幂:

[Conditional("ENABLE_UNITY_COLLECTIONS_CHECKS"), Conditional("UNITY_DOTS_DEBUG")]
internal static void CheckIntPositivePowerOfTwo(int value)
{var valid = (value > 0) && ((value & (value - 1)) == 0);if (!valid){throw new ArgumentException($"Alignment requested: {value} is not a non-zero, positive power of two.");}
}

2的幂的二进制表示为1000…000,减一则为01111…111,按位与之后必为0。

所谓的字节对齐,就是要找到离传入参数值最接近的字节对齐的倍数。那么,我们只需要对原来的size加上alignmentPowerOfTwo - 1,就能保证得到的值一定超过了这个最接近的对齐值。接下来只要把超出的部分去掉就可以了,对alignmentPowerOfTwo - 1取反得到的就是1111…1000…000,后面的这些0就是个mask,按位与这个mask就可以去掉超出的部分了。

最后一个成员变量,m_currentChunkIndex,表示当前已经分配到的chunk index,初始化时还没开始内存分配,默认为-1。

第二步,调用ConstructRoot创建根节点,它会分配出足够容纳传入类型T的空间。

/// <summary>
/// Creates the top-level fields of a single blob asset.
/// </summary>
/// <remarks>
/// This function allocates memory for the top-level fields of a blob asset and returns a reference to it. Use
/// this root reference to initialize field values and to allocate memory for arrays and structs.
/// </remarks>
/// <typeparam name="T">A struct that defines the structure of the blob asset.</typeparam>
/// <returns>A reference to the blob data under construction.</returns>
public ref T ConstructRoot<T>() where T : struct
{var allocation = Allocate(UnsafeUtility.SizeOf<T>(), UnsafeUtility.AlignOf<T>());return ref UnsafeUtility.AsRef<T>(AllocationToPointer(allocation));
}

UnsafeUtility.SizeOf<T>()会返回struct的大小,这里的大小是带有padding的,比如我们这里的struct MyBlobData,返回的大小为12。UnsafeUtility.AlignOf<T>()返回的是struct的对齐字节,对于struct MyBlobData,对齐字节为4,如果MyBlobData中包含一个long成员,对齐字节就是8了。

下层的Allocate函数会根据传入的参数size和alignment进行内存分配。函数返回一个BlobDataRef类型的变量,表示此次分配的结果,即分配到了哪个chunk,以及在chunk中的地址。内存分配的策略其实不算复杂,我们这里不去分析代码,而是使用图示的方式来表达。

首先,初始情况下,m_currentChunkIndex为-1,那么需要直接分配一个chunk,然后将m_currentChunkIndex设置为0,并保存分配的chunk信息。由于是一个空白的chunk,那么就可以从chunk的首地址开始分配。

Unity DOTS中的baking(四)3

如图所示,p和size表示本次分配之后的chunk信息,p为chunk的首地址,size为已经分配掉的内存大小;allocIndex和offset表示本次分配的结果,allocIndex表示分配的内存在第0号chunk上,offset表示分配的内存首地址相对于chunk的首地址偏移量,这里为0。

有了chunk之后,后续的内存分配都在这个chunk上进行。为了保证存取数据的效率,后续分配的首地址都在对应struct的对齐字节整数倍上进行。

Unity DOTS中的baking(四)4

如图所示,第二次分配后,chunk的size信息需要更新为两次分配的内存大小,以及第二次分配用于字节对齐的大小总和。此次分配的结果,offset不再为0,而是chunk空闲的首地址再加上用于字节对齐的偏移量。

举个通俗的例子,假如第一次分配了12字节的struct内存,而第二次要分配的struct,总共64字节,但它是8字节对齐的,那么这里就不会紧挨着从12字节的位置继续分配,而是计算8字节对齐的整数倍,也就是16字节处,开始分配这个struct。这样两个struct之间其实是有4个字节的间隙,用于第二个struct字节对齐的。

当chunk剩余的内存空间不足时,就会再去申请一个新的chunk,同时会把上一个chunk中已经分配的空间调整到16字节对齐,这是因为chunk都是按照16字节对齐的地址进行分配的。

Unity DOTS中的baking(四)5

那如果需要分配的内存,超过一个chunk的大小,要怎么办呢?Unity会先计算一个16字节对齐后的大小,然后直接分配一个这样大的chunk。也就是说,Unity内部维护的chunk list,每个chunk的大小其实未必相同。

根据Allocate函数返回的分配结果,要如何转换成对应T类型的对象呢?我们前面提到,分配的结果,包含了分配的chunk索引,以及在chunk中的地址偏移量。那么只需要拿到chunk的首地址,加上偏移量就能得到实际分配T类型对象的指针了:

void* AllocationToPointer(BlobDataRef blobDataRef)
{return m_allocations[blobDataRef.allocIndex].p + blobDataRef.offset;
}

再把指针强转成对象即可。

[MethodImpl(MethodImplOptions.AggressiveInlining)]
public unsafe static ref T AsRef<T>(void* ptr) where T : struct
{return ref *(T*)ptr;
}

第三步,我们的Component中还包含了BlobArray,那么也需要为它分配内存,这里调用的是BlobBuilder.Allocate函数,它接受一个BlobArray对象的引用,以及要创建的数组大小这两个参数,返回一个BlobBuilderArray类对象,这个对象封装了数组访问的行为。

/// <summary>
/// Allocates enough memory to store <paramref name="length"/> elements of struct <typeparamref name="T"/>.
/// </summary>
/// <param name="ptr">A reference to a BlobArray field in a blob asset.</param>
/// <param name="length">The number of elements to allocate.</param>
/// <typeparam name="T">The struct data type.</typeparam>
/// <returns>A reference to the newly allocated array as a mutable BlobBuilderArray instance.</returns>
public BlobBuilderArray<T> Allocate<T>(ref BlobArray<T> ptr, int length) where T : struct
{return Allocate(ref ptr, length, UnsafeUtility.AlignOf<T>());
}

数组对象的内存分配逻辑与我们之前说的根节点内存分配逻辑大体相似,只不过这里需要额外考虑一点,如何把新分配的数组内存,与对象本身关联起来。分配数组内存的时机,往往是在对象初始化之后。Unity这里会把对象的地址,此次内存分配的结果,以及分配数组的长度,记录在OffsetPtrPatch类型的变量中。

Unity DOTS中的baking(四)6

返回的BlobBuilderArray类型是一个相当简单的数据结构,仅仅包含一个数据指针以及数组长度:

/// <summary>
/// Used by the <see cref="BlobBuilder"/> methods to reference the arrays within a blob asset.
/// </summary>
/// <remarks>Use this reference to initialize the data of a newly created <see cref="BlobArray{T}"/>.</remarks>
/// <typeparam name="T">The data type of the elements in the array.</typeparam>
public unsafe ref struct BlobBuilderArray<T> where T : struct
{private void* m_data;private int m_length;
}

这个struct重载了下标操作符,方便读写数据:

/// <summary>
/// Array index accessor for the elements in the array.
/// </summary>
/// <param name="index">The sequential index of an array item.</param>
/// <exception cref="IndexOutOfRangeException">Thrown when index is less than zero or greater than the length of the array (minus one).</exception>
public ref T this[int index]
{get{CheckIndexOutOfRange(index);return ref UnsafeUtility.ArrayElementAsRef<T>(m_data, index);}
}

ArrayElementAsRef就是个指针的计算操作:

[MethodImpl(MethodImplOptions.AggressiveInlining)]
public unsafe static ref T ArrayElementAsRef<T>(void* ptr, int index) where T : struct
{return ref *(T*)((byte*)ptr + (long)index * (long)sizeof(T));
}

到目前为止,数组的内存和对象还没有正确关联起来。这个实际上是在第4步,创建BlobAssetReference对象时完成的。CreateBlobAssetReference会把上面几步分配的内存拷贝到最终的位置上。

在拷贝之前,Unity做了若干准备工作,首先是定义了一个offsets数组,每个offset等于前一个offset加上当前chunk已经分配的内存大小,最后一个offset的值就是所有chunk分配的内存大小之和;然后还定义了sortedAllocs和sortedPatches两个数组,它们分别保存的是每个chunk的首地址和每个待关联对象的首地址,并且根据地址的高低进行了排序。

Unity DOTS中的baking(四)7

然后,Unity会分配一个长度为要拷贝的数据大小再加上BlobAssetHeader这一数据结构大小的buffer。offsets其实就是每个要拷贝的数据位于buffer的地址偏移。之后,Unity将每个chunk挨个拷贝到buffer中去,由于chunk之前已经做过16字节对齐了,这里就不需要再做其他工作了。

Unity DOTS中的baking(四)8

下一步,Unity开始把BlobArray,BlobPtr, BlobString这几种类型的变量和内存进行关联。首先要找到变量和内存分别在buffer中所对应的地址,两个地址相减得到真正的offset。

Unity DOTS中的baking(四)9

最关键的一步来了,回填,我们先看下BlobArray,BlobPtr, BlobString这几种类型的数据结构:

public unsafe struct BlobString
{internal BlobArray<byte> Data;
}public unsafe struct BlobPtr<T> where T : struct
{internal int m_OffsetPtr;
}public unsafe struct BlobArray<T> where T : struct
{internal int m_OffsetPtr;internal int m_Length;
}

它们有个共同特点,就是前4个字节,都是存放了一个int类型的offset ptr。这个值表示变量指向的内存地址距离变量自身的地址偏移量。直到此时此刻才会被填充。如果被指向的内存还包含长度信息,说明变量是BlobArray类型的,那么还需要回填一下数组的长度。

Unity DOTS中的baking(四)10

最后一步,Unity会填充header的信息,BlobAssetHeader是一个占用32字节的struct,它强制定义了内存的布局:

unsafe struct BlobAssetHeader
{[FieldOffset(0)]  public void* ValidationPtr;[FieldOffset(8)]  public int Length;[FieldOffset(12)] public AllocatorManager.AllocatorHandle Allocator;[FieldOffset(16)] public ulong Hash;[FieldOffset(24)] private ulong Padding;
}

其中,ValidationPtr表示存放数据的首地址。函数最后返回的是BlobAssetReference类型的对象,该对象也包含一个指针,指向存放数据的首地址。

Unity DOTS中的baking(四)11

最后,我们来提一下AddBlobAsset这个函数。本文开头提到,这个函数是用来将blob asset注册到baker中的,如果不注册blob asset可能会被错误释放。这里Unity实现的技巧比较trick,和所谓的引用计数毫无关系:

internal void ProtectAgainstDisposal()
{ValidateNotNull();if (IsProtected){throw new InvalidOperationException("Cannot protect this BlobAssetReference, it is already protected.");}
#if UNITY_64Header->ValidationPtr = (void*)~(long)m_Ptr;
#elseHeader->ValidationPtr = (void*)~(int)m_Ptr;
#endif
}

Unity会把blob asset header的ValidationPtr进行修改,让它不再指向原来存放数据的位置。然后Unity就可以通过比较ValidationPtr和数据的首地址,判断当前blob asset是否被引用住:

bool IsProtected
{get{
#if UNITY_64return Header->ValidationPtr == (void*)~(long)m_Ptr;
#elsereturn Header->ValidationPtr == (void*)~(int)m_Ptr;
#endif}
}

如果被引用住了,Dispose时则不会释放该blob asset。

public void Dispose()
{ValidateNotNull();ValidateNotProtected();ValidateNotDeserialized();Memory.Unmanaged.Free(Header, Header->Allocator);m_Ptr = null;
}

Reference

[1] Blob assets

[2] Create a blob asset

这篇关于Unity DOTS中的baking(四)blob assets的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/852086

相关文章

Mysql BLOB类型介绍

BLOB类型的字段用于存储二进制数据 在MySQL中,BLOB类型,包括:TinyBlob、Blob、MediumBlob、LongBlob,这几个类型之间的唯一区别是在存储的大小不同。 TinyBlob 最大 255 Blob 最大 65K MediumBlob 最大 16M LongBlob 最大 4G

Unity Post Process Unity后处理学习日志

Unity Post Process Unity后处理学习日志 在现代游戏开发中,后处理(Post Processing)技术已经成为提升游戏画面质量的关键工具。Unity的后处理栈(Post Processing Stack)是一个强大的插件,它允许开发者为游戏场景添加各种视觉效果,如景深、色彩校正、辉光、模糊等。这些效果不仅能够增强游戏的视觉吸引力,还能帮助传达特定的情感和氛围。 文档

Unity协程搭配队列开发Tips弹窗模块

概述 在Unity游戏开发过程中,提示系统是提升用户体验的重要组成部分。一个设计良好的提示窗口不仅能及时传达信息给玩家,还应当做到不干扰游戏流程。本文将探讨如何使用Unity的协程(Coroutine)配合队列(Queue)数据结构来构建一个高效且可扩展的Tips弹窗模块。 技术模块介绍 1. Unity协程(Coroutines) 协程是Unity中的一种特殊函数类型,允许异步操作的实现

Unity 资源 之 Super Confetti FX:点亮项目的璀璨粒子之光

Unity 资源 之 Super Confetti FX:点亮项目的璀璨粒子之光 一,前言二,资源包内容三,免费获取资源包 一,前言 在创意的世界里,每一个细节都能决定一个项目的独特魅力。今天,要向大家介绍一款令人惊艳的粒子效果包 ——Super Confetti FX。 二,资源包内容 💥充满活力与动态,是 Super Confetti FX 最显著的标签。它宛如一位

Unity数据持久化 之 一个通过2进制读取Excel并存储的轮子(4)

本文仅作笔记学习和分享,不用做任何商业用途 本文包括但不限于unity官方手册,unity唐老狮等教程知识,如有不足还请斧正​​ Unity数据持久化 之 一个通过2进制读取Excel并存储的轮子(3)-CSDN博客  这节就是真正的存储数据了   理清一下思路: 1.存储路径并检查 //2进制文件类存储private static string Data_Binary_Pa

Unity Adressables 使用说明(一)概述

使用 Adressables 组织管理 Asset Addressables 包基于 Unity 的 AssetBundles 系统,并提供了一个用户界面来管理您的 AssetBundles。当您使一个资源可寻址(Addressable)时,您可以使用该资源的地址从任何地方加载它。无论资源是在本地应用程序中可用还是存储在远程内容分发网络上,Addressable 系统都会定位并返回该资源。 您

Unity Adressables 使用说明(六)加载(Load) Addressable Assets

【概述】Load Addressable Assets Addressables类提供了加载 Addressable assets 的方法。你可以一次加载一个资源或批量加载资源。为了识别要加载的资源,你需要向加载方法传递一个键或键列表。键可以是以下对象之一: Address:包含你分配给资源的地址的字符串。Label:包含分配给一个或多个资源的标签的字符串。AssetReference Obj

在Unity环境中使用UTF-8编码

为什么要讨论这个问题         为了避免乱码和更好的跨平台         我刚开始开发时是使用VS开发,Unity自身默认使用UTF-8 without BOM格式,但是在Unity中创建一个脚本,使用VS打开,VS自身默认使用GB2312(它应该是对应了你电脑的window版本默认选取了国标编码,或者是因为一些其他的原因)读取脚本,默认是看不到在VS中的编码格式,下面我介绍一种简单快

图片地址携带blob:的原因

图片地址携带blob:的原因与Blob对象(Binary Large Object)的使用有关。Blob对象代表了一个不可变的、原始数据的类文件对象,通常用于处理二进制数据,如图片、视频或音频文件等。在计算机中,Blob常用于数据库中存储二进制文件,但在Web开发中,Blob对象也被广泛用于前端处理二进制数据。 具体来说,当图片地址携带blob:时,这通常意味着图片数据是以Blob对象的形式存储

Unity数据持久化 之 一个通过2进制读取Excel并存储的轮子(3)

本文仅作笔记学习和分享,不用做任何商业用途 本文包括但不限于unity官方手册,unity唐老狮等教程知识,如有不足还请斧正​​ Unity数据持久化 之 一个通过2进制读取Excel并存储的轮子(2) (*****生成数据结构类的方式特别有趣****)-CSDN博客 做完了数据结构类,该做一个存储类了,也就是生成一个字典类(只是声明)  实现和上一节的数据结构类的方式大同小异,所