【三维重建工具】NeRFStudio、3D GaussianSplatting、Colmap安装与使用指南（更新中）

2024-04-09 05:20
文章标签 工具 安装 更新 3d 使用指南 colmap 三维重建 nerfstudio gaussiansplatting

本文主要是介绍【三维重建工具】NeRFStudio、3D GaussianSplatting、Colmap安装与使用指南（更新中），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

  • 一、NeRFStudio安装
    • 1.安装（ubuntu系统）
    • 2.安装（windows系统）
  • 二、安装tinycudann
  • 三、Colmap安装与使用
    • 1. 安装依赖
    • 2. 安装colmap
    • 3.使用colmap
    • 3.1 可视化界面使用
    • 3.2 Nerfstudio命令行调用Colmap
  • 四、使用NeRFStudio进行三维重建
  • 五、3D GaussianSplatting安装与使用（即将到来）
  • 五* CUDA安装（附C++编译器说明）

场景/物体三维重建过程：首先用colmap估计图像位姿，而后以图像和位姿作为出入，用NeRF或Gaussian Splatting进行三维重建

一、NeRFStudio安装

  简介：Nerfstudio，一个用于NeRF开发的模块化PyTorch框架。框架中用于实现基于NeRF的方法的组件即插即用，使得研究人员和相关从业者可以轻松地将NeRF集成到自己的项目中。框架的模块化设计支持实时可视化工具，导入用户真实世界捕获的数据集外（in-the-wild）数据，以及导出为视频，点云和网格表示的工具。近期，还导入了InstantNGP、3D Gaussian Splatting等最新重建算法。

在这里插入图片描述

1.安装（ubuntu系统）

  下载项目代码到本地：

git clone https://github.com/nerfstudio-project/nerfstudio.git

  可以去github直接下载zip文件，也可以按照以上命令git。网络不好可以去gitee(码云)加速。

cd nerfstudio
pip install --upgrade pip setuptools
pip install -e .

2.安装（windows系统）

2.1.安装vs2019 + cuda 11.6;
2.2.通过conda创建虚拟环境nerfstudio,依次执行如下命令：

conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
python -m pip install --upgrade pip

3.3.安装依赖：
  (1).pytorch 1.13.1, 执行如下命令：

pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 -f https://download.pytorch.org/whl/torch_stable.html

  (2).tinycudann, 执行如下命令：

pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

3.4.安装nerfstudio，依次执行如下命令:

git clone git@github.com:nerfstudio-project/nerfstudio.git
cd nerfstudio
pip install --upgrade pip setuptools
pip install -e .

5.安装ffmpeg, 执行如下命令：

conda install -c conda-forge ffmpeg

6.安装colmap, 执行如下命令：

conda install -c conda-forge colmap
conda install -c conda-forge mpir

7.安装hloc,依次执行如下命令: 可选，windwos上不支持pycolmap

cd ..
git clone --recursive https://github.com/cvg/Hierarchical-Localization/
cd Hierarchical-Localization/
pip install pycolmap # windows不支持
python -m pip install -e .

二、安装tinycudann

pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

  这句命令不成功的，请切换gcc与g++版本，方法见最后

三、Colmap安装与使用

   colmap是用来对一系列图像进行位姿匹配，从而生成场景的三维模型（点云）。也就是你对一个场景拍摄了很多照片，colmap可以估计出每张照片的相机位置（pose，是NeRF的输入），并利用SFM算法生成三维模型。使用NeRF和Gaussian Splatting进行三维重建必备的工具。

1. 安装依赖

sudo apt-get install \git \cmake \ninja-build \build-essential \libboost-program-options-dev \libboost-filesystem-dev \libboost-graph-dev \libboost-system-dev \libeigen3-dev \libflann-dev \libfreeimage-dev \libmetis-dev \libgoogle-glog-dev \libgtest-dev \libsqlite3-dev \libglew-dev \qtbase5-dev \libqt5opengl5-dev \libcgal-dev \libceres-dev

2. 安装colmap

git clone https://github.com/colmap/colmap.git
cd colmap
mkdir build
cd build
sudo cmake .. \-D CMAKE_CUDA_COMPILER="/usr/local/cuda-11.3/bin/nvcc" ../CMakeLists.txt \-D CMAKE_CUDA_ARCHITECTURES='89'    
cd ..
sudo make -j24 
sudo make install

  注意：
  更改以上命令中cuda路径，以及最后的显卡算力（75代表Turing架构，如RTX 20系列；80代表Ampere架构，如RTX 30系列；89为RTX4080 显卡等）

3.使用colmap

3.1 可视化界面使用

使用命令打开colmap

colmap gui

打开界面如下：

在这里插入图片描述1.创建 project_cat 文件夹，把图片放 project_cat/images 下
2.执行 Automatic reconstruction 重建，如下：‘
在这里插入图片描述
在这里插入图片描述
  需要等待比较久的时间，最开始比较占用CPU,大概执行的是特征点计算和匹配一类的，后面会占用比较大的GPU使用率，GPU内存占用大概2G.

  到下面的界面后表明完成。

在这里插入图片描述
  同时介绍了可视化sparse, dense, mesh 模型结果的方法。最终效果如下：

在这里插入图片描述
一些参数说明：

Rotate model: Left-click and drag.
Shift model: Right-click or -click (-click) and drag.
Zoom model: Scroll.
Change point size: -scroll (-scroll).
Change camera size: -scroll. （红色的表示相机拍摄位置的符号）
Adjust clipping plane: -scroll. （距离观察视点一定距离的点会被 clipped）
Select point: Double-left-click point (change point size if too small). The green lines visualize the projections into the images that see the point. The opening window shows the projected locations of the point in all images.

3.2 Nerfstudio命令行调用Colmap

  除以上可视化界面直接计算图片的pose以外，还可以用Nerfstudio调用colmap：

ns-process-data images --sfm-tool hloc --feature-type superpoint --matcher-type superglue --data '/path/to/IMG'  --output-dir '/path/to/IMG'

  其优点是利用superpoint 和 superglue深度特征，替代原始的sift提取特征

四、使用NeRFStudio进行三维重建

4.1.通过colmap生成数据集，也可从网上，如https://data.nerf.studio/nerfstudio/ 下载lego 乐高玩具测试集，并拷贝到nerfstudio的data/nerfstudio目录下，data/nerfstudio需自己创建;

4.2.采用colmap生成数据集时，需执行如下命令生成transforms.json：

ns-process-data images --data data/nerfstudio/lego/train --output-dir data/nerfstudio/lego --camera-type perspective --matching-method exhaustive --sfm-tool colmap --crop-factor 0.0 0.0 0.0 0.0

4.3.训练命令如下：迭代产生的checkpoint存储在outputs/lego/nerfacto目录下

ns-train nerfacto --data data/nerfstudio/lego --vis viewer --max-num-iterations 50000

参数为数据路路径，迭代次数等。还可添加其他参数，用命令ns-render --help查看官方文档

  训练进度如下图所示：

在这里插入图片描述
训练结束后，会显示本地浏览地址。打开web实时预览: https://viewer.nerf.studio/versions/23-04-10-0/?websocket_url=ws://localhost:7007 ,如下图所示:

在这里插入图片描述加载预训练模型，继续训练命令为：

ns-train nerfacto --data data/nerfstudio/person --load-dir outputs/person/nerfacto/2023-08-23_152364/nerfstudio_models

加载预训练模型进行可视化查看：

ns-viewer --load-config outputs/person/nerfacto/2023-04-23_152364/config.yml

训练结果可以导出为 (1).渲染视频； (2).点云；(3).mesh.

支持的自定义数据集类型：https://docs.nerf.studio/en/latest/quickstart/custom_dataset.html
ns-process-data各参数说明：https://docs.nerf.studio/en/latest/reference/cli/ns_process_data.html
官方提供的数据集：https://drive.google.com/drive/folders/19TV6kdVGcmg3cGZ1bNIUnBBMD-iQjRbG

五、3D GaussianSplatting安装与使用（即将到来）

  一周内将更新此部分内容

五* CUDA安装（附C++编译器说明）

提示：安装cuda前，首先要确保gcc与g++编译器的版本，与cuda版本相匹配。不确定的先看第5节

1、查看已安装的CUDA版本

  所有已安装的CUDA版本默认保存在/usr/local路径下，cd到该路径下通过ls命令查看：

在这里插入图片描述

2、查看当前使用的CUDA版本

  在/usr/local路径下通过 stat cuda 命令查看当前使用的CUDA版本：

3、安装新的CUDA版本——CUDA11.3为例

3.1、下载对应版本的CUDA安装包: 链接（选择下载runfile文件）

3.2、在下载文件的目录下，通过命令进行安装：

sudo sh cuda_10.0.130_410.48_linux.run
## 安装时去掉对显卡驱动的安装，如下图中去掉第一行

在这里插入图片描述
3.3、修改环境变量
  系统环境中修改cuda版本。执行以下命令，打开环境路径，在最后添加并保存：

gedit ~/.bashrc

## 默认为以上软连接的路径
export PATH=/usr/local/cuda/bin:$PATH  
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
export CUDA_HOME=/usr/local/cuda## 也可以指定具体路径
export PATH=/usr/local/cuda-11.3/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.3/lib64:$LD_LIBRARY_PATH

保存环境变量：

source ~/.bashrc

4、CUDA版本的切换

4.1、删除原版本的cuda软连接

sudo rm -rf /usr/local/cuda

4.2、建立新的指向cuda-10.0的软连接

sudo ln -s /usr/local/cuda-10.0 /usr/local/cuda

5.切换gcc与g++版本

  cuda支持的最高版gcc与g++如下表，大部分人都需要降级gcc：

在这里插入图片描述

  安装对应版本gcc与g++（这里以cuda11.3对应的9.5为例）：

sudo apt-get install gcc-9
sudo apt-get install g++-9

  随后，进入/usr/bin目录下删除旧版本gcc/g++文件（这里只是删除了软连接）：

cd /usr/bin
sudo rm gcc g++

  最后，将gcc/g++和新安装的gcc-9/g+±9关联起来：

sudo ln -s gcc-9 gcc
sudo ln -s g++-9 g++

  查看最新版本：

gcc -V

  其他切换版本方法：gcc版，默认使用优先级最高的版本。设置gcc 10优先级为100，设置gcc 9优先级为70。那么默认使用gcc10。

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-10 100 --slave /usr/bin/g++ g++ /usr/bin/g++-10 --slave /usr/bin/gcov gcov /usr/bin/gcov-10
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 70 --slave /usr/bin/g++ g++ /usr/bin/g++-9 --slave /usr/bin/gcov gcov /usr/bin/gcov-9

  随后，使用以下命令来选择版本（默认选择第1行的，序号为0）

sudo update-alternatives --config gcc

这篇关于【三维重建工具】NeRFStudio、3D GaussianSplatting、Colmap安装与使用指南（更新中）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/887275。

相关文章

Zookeeper安装和配置说明

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。 ■ 单机模式：Zookeeper只运行在一台服务器上，适合测试环境； ■ 伪集群模式：就是在一台物理机上运行多个Zookeeper 实例； ■ 集群模式：Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble） Zookeeper通过复制来实现
阅读更多...
CentOS7安装配置mysql5.7 tar免安装版

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7
阅读更多...
Centos7安装Mongodb4

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/
阅读更多...
无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题：墙体两侧特征混淆误匹配，导致建图和定位偏差，表现为过门跳变、外月台走歪等 ·解决思路：预期的根治方案IGICP需要较长时间完成上线，先使用切分地图的工程化方案，即墙体两侧切分为不同地图，在某一侧只使用该侧地图进行定位 方案思路 切分原理：切分地图基于关键帧位置，而非点云。 理论基础：光照是直线的，一帧点云必定只能照射到墙的一侧，无法同时照到两侧实践考虑：关
阅读更多...
poj3468(线段树成段更新模板题)

poj3468(线段树成段更新模板题)

题意：包括两个操作：1、将[a.b]上的数字加上v；2、查询区间[a,b]上的和 下面的介绍是下解题思路： 首先介绍  lazy－tag思想：用一个变量记录每一个线段树节点的变化值，当这部分线段的一致性被破坏我们就将这个变化值传递给子区间，大大增加了线段树的效率。 比如现在需要对[a,b]区间值进行加c操作，那么就从根节点[1,n]开始调用update函数进行操作，如果刚好执行到一个子节点，
阅读更多...
hdu1394(线段树点更新的应用)

hdu1394(线段树点更新的应用)

题意：求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质，在0到n-1这些数字组成的乱序排列，将第一个数字A移到最后一位，得到的逆序数为res-a+(n-a-1) 知道上面的知识点后，可以用暴力来解 代码如下： #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in
阅读更多...
hdu1689(线段树成段更新)

hdu1689(线段树成段更新)

两种操作：1、set区间[a,b]上数字为v；2、查询[ 1 , n ]上的sum 代码如下： #include<iostream>#include<algorithm>#include<cstring>#include<stack>#include<queue>#include<set>#include<map>#include<stdio.h>#include<stdl
阅读更多...
Centos7安装JDK1.8保姆版

Centos7安装JDK1.8保姆版

工欲善其事，必先利其器。这句话同样适用于学习Java编程。在开始Java的学习旅程之前，我们必须首先配置好适合的开发环境。 通过事先准备好这些工具和配置，我们可以避免在学习过程中遇到因环境问题导致的代码异常或错误。一个稳定、高效的开发环境能够让我们更加专注于代码的学习和编写，提升学习效率，减少不必要的困扰和挫折感。因此，在学习Java之初，投入一些时间和精力来配置好开发环境是非常值得的。这将为我
阅读更多...
高效录音转文字：2024年四大工具精选！

高效录音转文字：2024年四大工具精选！

在快节奏的工作生活中，能够快速将录音转换成文字是一项非常实用的能力。特别是在需要记录会议纪要、讲座内容或者是采访素材的时候，一款优秀的在线录音转文字工具能派上大用场。以下推荐几个好用的录音转文字工具！ 365在线转文字 直达链接：https://www.pdf365.cn/ 365在线转文字是一款提供在线录音转文字服务的工具，它以其高效、便捷的特点受到用户的青睐。用户无需下载安装任何软件，只
阅读更多...
hdu 1754 I Hate It（线段树，单点更新，区间最值）

hdu 1754 I Hate It（线段树，单点更新，区间最值）

题意是求一个线段中的最大数。 线段树的模板题，试用了一下交大的模板。效率有点略低。 代码： #include <stdio.h>#include <string.h>#define TREE_SIZE (1 << (20))//const int TREE_SIZE = 200000 + 10;int max(int a, int b){return a > b ? a :
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2