3DGS CUDA代码笔记

2024-04-24 11:28
文章标签 代码 笔记 cuda 3dgs

本文主要是介绍3DGS CUDA代码笔记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本篇文章 一Scaffold GS 为例子。 目标在里面添加 Render Depth 的代码:

将可见的 Gaussians Render 到 2D 图像上面

from diff_gaussian_rasterization import GaussianRasterizationSettings, GaussianRasterizer
.......rasterizer = GaussianRasterizer(raster_settings=raster_settings)
rendered_image, radii = rasterizer(means3D = xyz,             #  高斯的中心点 means2D = screenspace_points,   ##  return 数值shs = None,colors_precomp = color,opacities = opacity,scales = scaling,rotations = rot,cov3D_precomp = None)

上面那个 GuassianRasterizer 是从 diff_gaussian_rasterization 这个 package 中导入进来的、 因此,我找到 diff_gaussian_rasterization 这个文件夹,首先 看其对应的 init.py 这个函数。因为每次 import 这个package 的时候 都会首先执行一次 这个文件夹下面的 init.py 作为包的初始化函数

这个 Init 函数里面 回调用 rasterize_gaussians CUDA 的 函数:

 return rasterize_gaussians(means3D,means2D,shs,colors_precomp,opacities,scales, rotations,cov3D_precomp,raster_settings, )继续调用:
def rasterize_gaussians(means3D,means2D,sh,colors_precomp,opacities,scales,rotations,cov3Ds_precomp,raster_settings,
):return _RasterizeGaussians.apply(means3D,means2D,sh,colors_precomp,opacities,scales,rotations,cov3Ds_precomp,raster_settings,)

最后跳入到 _RasterizeGaussians 的 forward 函数当中

num_rendered, color, radii, geomBuffer, binningBuffer, imgBuffer = _C.rasterize_gaussians(*args)

_C 表示 在当前的 Cpp 文件中去 找这个 rasterize_gaussians 的函数,

PYBIND11_MODULE(TORCH_EXTENSION_NAME, m) {m.def("rasterize_gaussians", &RasterizeGaussiansCUDA);m.def("rasterize_gaussians_backward", &RasterizeGaussiansBackwardCUDA);m.def("rasterize_aussians_filter", &RasterizeGaussiansfilterCUDA);m.def("mark_visible", &markVisible);}

发现对应的 RasterizeGaussiansCUDA 函数

这个 函数 通过 ext.
cpp
查询可以发现是 rasterize_points.cu 里面的 函数:

下面这个函数主要是定义了 一些需要返回的 变量,启动 核函数

RasterizeGaussiansCUDA(const torch::Tensor& background,const torch::Tensor& means3D,const torch::Tensor& colors,const torch::Tensor& opacity,const torch::Tensor& scales,const torch::Tensor& rotations,const float scale_modifier,const torch::Tensor& cov3D_precomp,const torch::Tensor& viewmatrix,const torch::Tensor& projmatrix,const float tan_fovx, const float tan_fovy,const int image_height,const int image_width,const torch::Tensor& sh,const int degree,const torch::Tensor& campos,const bool prefiltered,const bool debug)
{if (means3D.ndimension() != 2 || means3D.size(1) != 3) {AT_ERROR("means3D must have dimensions (num_points, 3)");}const int P = means3D.size(0);const int H = image_height;const int W = image_width;auto int_opts = means3D.options().dtype(torch::kInt32);auto float_opts = means3D.options().dtype(torch::kFloat32);torch::Tensor out_color = torch::full({NUM_CHANNELS, H, W}, 0.0, float_opts);torch::Tensor radii = torch::full({P}, 0, means3D.options().dtype(torch::kInt32));torch::Device device(torch::kCUDA);torch::TensorOptions options(torch::kByte);torch::Tensor geomBuffer = torch::empty({0}, options.device(device));torch::Tensor binningBuffer = torch::empty({0}, options.device(device));torch::Tensor imgBuffer = torch::empty({0}, options.device(device));std::function<char*(size_t)> geomFunc = resizeFunctional(geomBuffer);std::function<char*(size_t)> binningFunc = resizeFunctional(binningBuffer);std::function<char*(size_t)> imgFunc = resizeFunctional(imgBuffer);int rendered = 0;if(P != 0){int M = 0;if(sh.size(0) != 0){M = sh.size(1);}rendered = CudaRasterizer::Rasterizer::forward(geomFunc,binningFunc,imgFunc,P, degree, M,background.contiguous().data<float>(),W, H,means3D.contiguous().data<float>(),sh.contiguous().data_ptr<float>(),colors.contiguous().data<float>(), opacity.contiguous().data<float>(), scales.contiguous().data_ptr<float>(),scale_modifier,rotations.contiguous().data_ptr<float>(),cov3D_precomp.contiguous().data<float>(), viewmatrix.contiguous().data<float>(), projmatrix.contiguous().data<float>(),campos.contiguous().data<float>(),tan_fovx,tan_fovy,prefiltered,out_color.contiguous().data<float>(),radii.contiguous().data<int>(),debug);}return std::make_tuple(rendered, out_color, radii, geomBuffer, binningBuffer, imgBuffer);
}

之后 进入 CudaRasterizer::Rasterizer::forward 函数,其定义在 rasterizer_impl.cu 对应的文件。 这个 forward 函数 最后会调用 FORWARD 类里面的 render 函数, 真实的 Render 过程是在下面这个函数执行的,我们

CHECK_CUDA(FORWARD::render(tile_grid, block,imgState.ranges,binningState.point_list,width, height,geomState.means2D,feature_ptr,geomState.conic_opacity,imgState.accum_alpha,out_alpha,imgState.n_contrib,background,out_color,out_depth), debug)

最后的 Depth Render 的函数是在 renderCUDA 函数中进行的。
实际修改的代码:

## 定义 CUDA 的变量
float weight = 0;
float D = 0;## 使用深度的加权去 计算真实的depth 的数值
weight += alpha * T;
D += depths[collected_id[j]] * alpha * T;

在 添加的时候,也添加了对于 Depth 的 BP 的操作,但是如果只需要可视化 depth 的话可以不用添加。

参考网址: https://github.com/ashawkey/diff-gaussian-rasterization

这篇关于3DGS CUDA代码笔记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/931620

相关文章

springboot循环依赖问题案例代码及解决办法

《springboot循环依赖问题案例代码及解决办法》在SpringBoot中,如果两个或多个Bean之间存在循环依赖(即BeanA依赖BeanB,而BeanB又依赖BeanA),会导致Spring的... 目录1. 什么是循环依赖?2. 循环依赖的场景案例3. 解决循环依赖的常见方法方法 1:使用 @La

使用C#代码在PDF文档中添加、删除和替换图片

《使用C#代码在PDF文档中添加、删除和替换图片》在当今数字化文档处理场景中,动态操作PDF文档中的图像已成为企业级应用开发的核心需求之一,本文将介绍如何在.NET平台使用C#代码在PDF文档中添加、... 目录引言用C#添加图片到PDF文档用C#删除PDF文档中的图片用C#替换PDF文档中的图片引言在当

C#使用SQLite进行大数据量高效处理的代码示例

《C#使用SQLite进行大数据量高效处理的代码示例》在软件开发中,高效处理大数据量是一个常见且具有挑战性的任务,SQLite因其零配置、嵌入式、跨平台的特性,成为许多开发者的首选数据库,本文将深入探... 目录前言准备工作数据实体核心技术批量插入:从乌龟到猎豹的蜕变分页查询:加载百万数据异步处理:拒绝界面

用js控制视频播放进度基本示例代码

《用js控制视频播放进度基本示例代码》写前端的时候,很多的时候是需要支持要网页视频播放的功能,下面这篇文章主要给大家介绍了关于用js控制视频播放进度的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言html部分:JavaScript部分:注意:总结前言在javascript中控制视频播放

Spring Boot 3.4.3 基于 Spring WebFlux 实现 SSE 功能(代码示例)

《SpringBoot3.4.3基于SpringWebFlux实现SSE功能(代码示例)》SpringBoot3.4.3结合SpringWebFlux实现SSE功能,为实时数据推送提供... 目录1. SSE 简介1.1 什么是 SSE?1.2 SSE 的优点1.3 适用场景2. Spring WebFlu

java之Objects.nonNull用法代码解读

《java之Objects.nonNull用法代码解读》:本文主要介绍java之Objects.nonNull用法代码,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录Java之Objects.nonwww.chinasem.cnNull用法代码Objects.nonN

SpringBoot实现MD5加盐算法的示例代码

《SpringBoot实现MD5加盐算法的示例代码》加盐算法是一种用于增强密码安全性的技术,本文主要介绍了SpringBoot实现MD5加盐算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习... 目录一、什么是加盐算法二、如何实现加盐算法2.1 加盐算法代码实现2.2 注册页面中进行密码加盐2.

python+opencv处理颜色之将目标颜色转换实例代码

《python+opencv处理颜色之将目标颜色转换实例代码》OpenCV是一个的跨平台计算机视觉库,可以运行在Linux、Windows和MacOS操作系统上,:本文主要介绍python+ope... 目录下面是代码+ 效果 + 解释转HSV: 关于颜色总是要转HSV的掩膜再标注总结 目标:将红色的部分滤

在C#中调用Python代码的两种实现方式

《在C#中调用Python代码的两种实现方式》:本文主要介绍在C#中调用Python代码的两种实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C#调用python代码的方式1. 使用 Python.NET2. 使用外部进程调用 Python 脚本总结C#调

Java时间轮调度算法的代码实现

《Java时间轮调度算法的代码实现》时间轮是一种高效的定时调度算法,主要用于管理延时任务或周期性任务,它通过一个环形数组(时间轮)和指针来实现,将大量定时任务分摊到固定的时间槽中,极大地降低了时间复杂... 目录1、简述2、时间轮的原理3. 时间轮的实现步骤3.1 定义时间槽3.2 定义时间轮3.3 使用时