【iOS ARKit】手动配置环境探头

2024-02-01 06:28

本文主要是介绍【iOS ARKit】手动配置环境探头,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

        在上节中我们已经了解了环境探头以及如何使用自动环境探头,这节一起了解如何使用手动配置环境探头。

     在使用自动环境反射时,开发人员无须进行有关环境反射的任何操作,只需要设置自动环境反射即可,其余工作完全由 RealityKit 自动完成,这适用于基本的常见环境反射。但这种环境反射方案是一种普适性的反射,并没有专门针对某特定虚拟元素进行优化,在某些情况下效果并不精细,并且我们也无法进行干预调优,如一辆行驶的赛车对环境的反射就需要更精细的控制,这时就需要手动控制环境探头的生成及更新。

     使用手动控制环境探头时,我们需要将配置中 environmentTexturing 属性设置为 manual,并决定在什么地方、什么时候设置与更新环境探头。通常而言,可以遵循以下流程:

(1) 在场景中某个特定位置创建 AREnvironmentProbeAnchor 锚点。

(2)将创建的 AREnvironmentProbeAnchor 锚点添加到 ARSession 中。

(3)使用 session(_:didUpdate:)代理方法根据需要更新环境探头。

使用手动方式控制环境探头的示例代码如下所示。

//
//  ManualEnvirmentTexturing.swift
//  ARKitDeamo
//
//  Created by zhaoquan du on 2024/1/30.
//import SwiftUI
import ARKit
import RealityKitstruct ManualEnvirmentTexturing: View {@State var automatic: Bool = truevar body: some View {ManualEnvirmentTexturingContainer(automatic: $automatic).overlay(content: {VStack {Spacer()HStack{Text(automatic ? "HDR" : "HDR Off").background(GeometryReader{ _ inColor.white}).padding(10).offset(x: 0)Toggle(isOn: $automatic) {}.frame(width: 50).offset(x: 0)}Spacer().frame(height: 40)}}).edgesIgnoringSafeArea(.all).navigationTitle("环境探头")}}struct ManualEnvirmentTexturingContainer:UIViewRepresentable {@Binding var automatic: Boolfunc makeUIView(context: Context) -> ARView{let arView = ARView(frame: .zero)return arView}func updateUIView(_ uiView: ARView, context: Context) {let config = ARWorldTrackingConfiguration()config.planeDetection = .horizontalconfig.environmentTexturing = .manualcontext.coordinator.arView = uiViewuiView.session.delegate = context.coordinatorif automatic {config.wantsHDREnvironmentTextures = true}else{config.wantsHDREnvironmentTextures = false}uiView.session.run(config, options: [])}func makeCoordinator() -> Coordinator {Coordinator(parent: self)}class Coordinator: NSObject,ARSessionDelegate {var manualProbe: ManualProbe?var arView: ARView? = nilvar parent: ManualEnvirmentTexturingContainerinit(parent: ManualEnvirmentTexturingContainer) {self.parent = parent}func session(_ session: ARSession, didAdd anchors: [ARAnchor]) {guard let anchor = anchors.first as? ARPlaneAnchor else {return}//球体let mesh = MeshResource.generateSphere(radius: 0.05)let meterial = SimpleMaterial(color: .blue, isMetallic: true)let modelEntity = ModelEntity(mesh: mesh, materials: [meterial])let planAnchor = AnchorEntity(anchor: anchor)//放在正上方5cm处modelEntity.transform.translation = [0, planAnchor.transform.translation.y + 0.05,0]manualProbe = ManualProbe(shpereEntity: modelEntity)updateProbe()planAnchor.addChild(manualProbe!.shpereEntity)arView?.scene.addAnchor(planAnchor)//只添加一次session.delegate = nilsession.run(ARWorldTrackingConfiguration())manualProbe?.isPlaced = true}func session(_ session: ARSession, didUpdate frame: ARFrame) {if let manualProbe = manualProbe,manualProbe.requireRefresh,Date().timeIntervalSince1970 - manualProbe.lastUpadateTime > 1{self.manualProbe?.lastUpadateTime = Date().timeIntervalSince1970updateProbe()}}func  updateProbe() {guard let manualProbe = manualProbe else {return}//移除旧的if let probAnchor = manualProbe.objectProbeAnchor {self.arView?.session.remove(anchor: probAnchor)self.manualProbe?.objectProbeAnchor = nil}var extent = (manualProbe.shpereEntity.model?.mesh.bounds.extents)! * manualProbe.shpereEntity.transform.scaleextent.x *= 3extent.y *= 3extent.z *= 2//            let verticalOffset = SIMD3(0, extent.y, 0)
//            var probeTransform = manualProbe.shpereEntity.transform
//            probeTransform.translation += verticalOffsetlet  position = simd_float4x4(SIMD4(1,0,0,0),SIMD4(0,1,0,0),SIMD4(0,0,1,0),SIMD4(manualProbe.shpereEntity.transform.translation,1))self.manualProbe?.objectProbeAnchor = AREnvironmentProbeAnchor(name: "objectProbe",transform: position, extent:extent)self.arView?.session.add(anchor: (self.manualProbe?.objectProbeAnchor)!)}}}struct ManualProbe {var objectProbeAnchor: AREnvironmentProbeAnchor?var requireRefresh = truevar lastUpadateTime = Date().timeIntervalSince1970var dateTime = Date()var shpereEntity: ModelEntityvar isPlaced = false
}

       在代码中,为更好地组织代码,我们自定义了 ManualProbe 类管理环境探头。在 ARKit 检测到水平平面并放置圆球后,将生成的环境探头放置在園球上方5cm 的地方以更精准地反射圆球的周边环境。在 session(_:didUpdate:)代理方法中我们对环境探头更新率进行了控制,设置为每秒更新一次,与所有的 ARAnchor一样,AREnvironmentProbeAnchor 锚点无法修改,更新时只能移除原锚点信息,创建新的锚点使用。updateProbe()方法负责所有的环境探头更新操作(具体细节稍后详述)。通过及时地更新就能反射用户环境中动态的变化,效果如图所示。

       手动放置环境探头主要是为了获得对特定虚拟对象的最精确环境反射信息,绑定环境探头与虚拟对象位置可以提高反射渲染的质量,因此,手动将反射探头放置在重要的虚拟对象中或其附近会产生为该对象生成最准确的环境反射信息。通常而言,自动放置可以提供对真实环境比较好的宏观环境信息,而手动放置能提供在某个特定点上对周围环境更准确的环境映射从而提升反射的质量。

      反射探头负责捕获环境纹理信息,每个反射探头都有一个比例(Scale)、方向(Orientation)、位置(Position) 和大小(Size)。比例、方向和位置属性定义了反射探头相对于 ARSession 空间的空间信息,大小则定义了反射探头反射的范围,无限大小表示环境纹理可用于全局,而有限大小表示反射探头只能捕获其周围特定区域的环境信息。

在手动放置时,为了使放置的反射探头能更好地发挥作用,通常反射探头的放置位置与大小设置应遵循以下原则:

(1)反射探头的位置应当放在需要反射的虚拟物体顶部中央,高度应该为虚拟物体高的两倍,如下图所示。这可以确保反射探头下部与虚拟物体下部对齐,并捕获到虚拟物体放置平面的环境信息。

(2)反射探头的长与宽应该为虚拟物体长与宽的3倍,确保反射探头能捕获到虚拟物体周边的环境信息。

  • 提示:使用手动处理环境反射时,我们也可以使用 wantsHDREnvironmentTextures 提高反射质量。

性能优化

       在AR 中使用反射探头反射环境可以大大增强虚拟物体的可信度,但由于AR摄像头获取的环境信息不充分,ARKit 只能得到摄像头拍摄的真实环境部分数据,而无法获取摄像头未拍摄部分的环境数据,需要利用人工智能的方式对不足信息进行补充,需要补充的信息计算量大,对资源要求高,这对移动平台的性能与电池续航提出了非常高的要求,因此为更好的扬长避短,在AR 中使用反射探头反射真实环境需要注意以下几点。

1. 避免精确反射

     如上所述,AR中从摄像头获取的信息不足以对周围环境进行精准再现,因此反射体对环境的反射也不能做到非常精准,希望利用反射探头实现对真实环境的镜面反射是不现实的。因为在 AR 中不能获取完全的立方体贴图并且立方体贴图更新也不实时(为降低硬件消耗),通常在小面积上可以使用高反射率而在大面积上使用低反射率,达到既营造反射效果又避免反射不准确而带来的负面作用。

2. 对移动对象的处理

     烘焙的环境贴图不能反映环境的变化,实时的反射探头又会带来过大的性能消耗,对移动对象的反射处理需要特别进行优化。在设置反射探头时可以考虑以下方法:

(1)如果移动物体移动路径可知或可以预测,可以提前在其经过的路径上放置多个反射探头并进行烘焙,这样移动物体可以根据距离的远近对不同的反射探头生成的立方体贴图采样。

(2)创建一个全局的环境反射,如Skybox,这样当移动物体移动出某个反射探头的范围时仍然可以反射而不是突然出现反射中断。

(3)当移动物体移动到一个新的位置后重新创建一个反射探头并销毁原来位置的反射探头。

3. 防止滥用

     在AR中,当用户移动位置或者调整虚拟对象大小时,应用程序都会重新创建反射探头,因此我们需要限制此类更新,如更新频率不应大于1次每秒。

4.避免突然切换

      突然地移除反射探头或者添加新的反射探头会让用户感到不适。在 ARKit 中使用自动放置反射探头的模式下,只要 ARSession启动,就会创建一个全局的类似 Skybox 的大背景以防止反射突然切换。在手动放置时,开发者应该确保反射的自然过渡,确保虚拟物体始终能反射合适的环境,或者使用一个全种环境下都能适应的静态立方体贴图作为过渡手段。

具体代码地址:https://github.com/duzhaoquan/ARkitDemo.git

这篇关于【iOS ARKit】手动配置环境探头的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/666343

相关文章

最新版IDEA配置 Tomcat的详细过程

《最新版IDEA配置Tomcat的详细过程》本文介绍如何在IDEA中配置Tomcat服务器,并创建Web项目,首先检查Tomcat是否安装完成,然后在IDEA中创建Web项目并添加Web结构,接着,... 目录配置tomcat第一步,先给项目添加Web结构查看端口号配置tomcat    先检查自己的to

Java汇编源码如何查看环境搭建

《Java汇编源码如何查看环境搭建》:本文主要介绍如何在IntelliJIDEA开发环境中搭建字节码和汇编环境,以便更好地进行代码调优和JVM学习,首先,介绍了如何配置IntelliJIDEA以方... 目录一、简介二、在IDEA开发环境中搭建汇编环境2.1 在IDEA中搭建字节码查看环境2.1.1 搭建步

Servlet中配置和使用过滤器的步骤记录

《Servlet中配置和使用过滤器的步骤记录》:本文主要介绍在Servlet中配置和使用过滤器的方法,包括创建过滤器类、配置过滤器以及在Web应用中使用过滤器等步骤,文中通过代码介绍的非常详细,需... 目录创建过滤器类配置过滤器使用过滤器总结在Servlet中配置和使用过滤器主要包括创建过滤器类、配置过滤

在 VSCode 中配置 C++ 开发环境的详细教程

《在VSCode中配置C++开发环境的详细教程》本文详细介绍了如何在VisualStudioCode(VSCode)中配置C++开发环境,包括安装必要的工具、配置编译器、设置调试环境等步骤,通... 目录如何在 VSCode 中配置 C++ 开发环境:详细教程1. 什么是 VSCode?2. 安装 VSCo

在Spring中配置Quartz的三种方式

《在Spring中配置Quartz的三种方式》SpringQuartz是一个任务调度框架,它允许我们定期执行特定的任务,在Spring中,我们可以通过多种方式来配置Quartz,包括使用​​@Sche... 目录介绍使用 ​​@Scheduled​​ 注解XML 配置Java 配置1. 创建Quartz配置

Kibana的安装和配置全过程

《Kibana的安装和配置全过程》Kibana是一个开源的数据分析和可视化平台,它与Elasticsearch紧密集成,提供了一个直观的Web界面,使您可以快速地搜索、分析和可视化数据,在本文中,我们... 目录Kibana的安装和配置1.安装Java运行环境2.下载Kibana3.解压缩Kibana4.配

tomcat在nginx中的配置方式

《tomcat在nginx中的配置方式》文章介绍了如何在Linux系统上安装和配置Tomcat,并通过Nginx进行代理,首先,下载并解压Tomcat压缩包,然后启动Tomcat并查看日志,接着,配置... 目录一、下载安装tomcat二、启动tomcat三、配置nginx总结提示:文章写完后,目录可以自动

鸿蒙开发搭建flutter适配的开发环境

《鸿蒙开发搭建flutter适配的开发环境》文章详细介绍了在Windows系统上如何创建和运行鸿蒙Flutter项目,包括使用flutterdoctor检测环境、创建项目、编译HAP包以及在真机上运... 目录环境搭建创建运行项目打包项目总结环境搭建1.安装 DevEco Studio NEXT IDE

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7