Vision Pro“裸眼上车”,商汤绝影全新舱内3D交互亮相

2024-04-25 22:20

本文主要是介绍Vision Pro“裸眼上车”,商汤绝影全新舱内3D交互亮相,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

2023年,Apple Vision Pro的横空出世让人们领略到了3D交互的魅力,商汤绝影通过深厚的技术研发实力和高效的创新迭代效率,带来两大全新座舱3D交互:3D Gaze高精视线交互和3D动态手势交互。

作为全球首创的能够通过视线定位与屏幕图标进行交互的智能座舱技术,商汤绝影的3D Gaze高精视线交互将让用户通过眼神控制中控图标。3D 动态手势交互是行业领先的支持动态手势和手部微动作识别的智能座舱技术,能让用户通过手势“隔空”进行各类座舱交互。

商汤绝影这两个全新的座舱交互功能相互配合,将给智能座舱的交互带来革命性变革。

3D Gaze高精视线交互:“目控一切,所见即所选”

实体物理按键交互已经无法满足人们对更便捷、更高效交互的需求,采用“非接触式”交互已经成为智能座舱交互革命的必然趋势,而视线交互是最为直接和便捷的方案之一。

行业目前普遍能做到的是视线检测功能。现在车辆普遍搭载的驾驶员监测系统(DMS)就是以视线检测技术为基础。视线检测功能作为商汤绝影领先行业的王牌产品,已成功解决了智能座舱场景下的一系列长尾问题,如遮挡、阴阳脸、墨镜等,并量产落地100多个车型。

但DMS通常只能做到分心监测等舱内大面积区域的识别,受困于精度很难通过它进行具体的交互动作。商汤绝影全球首创3D Gaze高精视线交互,通过提升视线的精度,能精准识别到驾驶员注视中控屏或者后排用户看向后排屏幕的具体的某个图标并进行交互,实现“所见即所选”。

(商汤绝影全球首创3D Gaze高精视线交互,实现“所见即所选”)

因为眼球并不是标准的几何球体,它是一个复杂的器官,包括角膜、虹膜、瞳孔、晶状体、玻璃体等多个结构,不能简单使用几何球体的组合来描述眼球模型,而且每个人的眼球形态、大小、角膜曲率都存在生理上的差异,所以商汤绝影开发出了一套“千人千眼”的高精度三维眼球模型。

商汤绝影使用先进的眼动追踪技术和高精度的眼部成像设备,收集并分析驾驶员的眼部数据,精准为每个人的定制个性化的眼球模型,从而提高视线交互的精度和准确性,进一步提升驾驶的安全性和舒适性。

以“千人千眼”的高精度三维眼球模型为基础,结合创新的亚像素级细节定位和信息融合技术,商汤绝影3D Gaze高精视线交互革命性突破了座舱场景下的视线精度难题,配合手势、语音甚至是眨眼等方式,将给用户带来更智能、更个性化的舱内视觉交互体验。

3D动态手势交互:“掌握一切,所选即所得”

3D手势交互是以超高精的三维手部重建为基础,实时捕捉、识别与分析用户的三维手势动作,实现对车辆功能控制的技术,商汤绝影在北京车展首发座舱内3D手势交互,带来高精度、高稳定性、快速响应的全新交互体验。

相对于2D手势识别,得益于三维空间定位,商汤绝影的3D手势交互能更加精确定位手部的移动位置,并对手指细节进行优化,保证了不同手指间相互作用的准确感知,进而可以识别如捏合、拖拽等复杂动作,实现鼠标级的隔空手势交互操作。

(商汤绝影3D手势交互,实现“所选即所得”)

为了打造能够识别动态手势和手部微动作的3D手势交互,商汤绝影构建了超百万级别的数据规模。

在大量采集真人真实数据的基础上,借助渲染算法,对真实采集中缺少的数据维度以及各种极端场景进行渲染补充,确保数据囊括车舱环境下几乎所有场景。以海量的三维数据为基础,商汤绝影实现了技术从2D到3D的迅速突破,为3D手势交互打下坚强基础。

同时,由于手部动作的灵活性与多样性,3D手势定位与识别往往存在自遮挡、遮挡、动态模糊、运动过快等问题。商汤绝影引入了基于大模型的端到端识别网络。相较于传统的人为规则逻辑,端到端神经网络完全依靠海量数据学习到的知识对感知到的手部动作和手指细节进行判断,带来座舱3D手势交互的全新模式。

通过3D手势操作,用户可以更加直接地通过隔空手势控制导航、音乐、空调等功能,做到“所选即所得”,从而解放身体姿势和双手,享受更加舒适和智能化的驾驶体验。

Apple Vision Pro的操作方式就是将3D高精视线交互与3D手势交互相结合,让用户体验到头戴式MR设备的3D交互魅力。3D Gaze 高精视线交互与3D动态手势交互相结合,将进一步变革舱内交互模式。

商汤绝影已经实现这两大舱内3D交互功能相互配合,如同Vision Pro“裸眼上车”,革命性改变了座舱交互的方式,让用户从传统的物理按键和屏幕触控方式中解脱出来,真正做到“所见即所选,所选即所得”,打造更符合人类直觉的自然交互体验。

这篇关于Vision Pro“裸眼上车”,商汤绝影全新舱内3D交互亮相的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/935943

相关文章

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

2024网安周今日开幕,亚信安全亮相30城

2024年国家网络安全宣传周今天在广州拉开帷幕。今年网安周继续以“网络安全为人民,网络安全靠人民”为主题。2024年国家网络安全宣传周涵盖了1场开幕式、1场高峰论坛、5个重要活动、15场分论坛/座谈会/闭门会、6个主题日活动和网络安全“六进”活动。亚信安全出席2024年国家网络安全宣传周开幕式和主论坛,并将通过线下宣讲、创意科普、成果展示等多种形式,让广大民众看得懂、记得住安全知识,同时还

MiniGPT-3D, 首个高效的3D点云大语言模型,仅需一张RTX3090显卡,训练一天时间,已开源

项目主页:https://tangyuan96.github.io/minigpt_3d_project_page/ 代码:https://github.com/TangYuan96/MiniGPT-3D 论文:https://arxiv.org/pdf/2405.01413 MiniGPT-3D在多个任务上取得了SoTA,被ACM MM2024接收,只拥有47.8M的可训练参数,在一张RTX

uniapp设置微信小程序的交互反馈

链接:uni.showToast(OBJECT) | uni-app官网 (dcloud.net.cn) 设置操作成功的弹窗: title是我们弹窗提示的文字 showToast是我们在加载的时候进入就会弹出的提示。 2.设置失败的提示窗口和标签 icon:'error'是设置我们失败的logo 设置的文字上限是7个文字,如果需要设置的提示文字过长就需要设置icon并给

SAM2POINT:以zero-shot且快速的方式将任何 3D 视频分割为视频

摘要 我们介绍 SAM2POINT,这是一种采用 Segment Anything Model 2 (SAM 2) 进行零样本和快速 3D 分割的初步探索。 SAM2POINT 将任何 3D 数据解释为一系列多向视频,并利用 SAM 2 进行 3D 空间分割,无需进一步训练或 2D-3D 投影。 我们的框架支持各种提示类型,包括 3D 点、框和掩模,并且可以泛化到不同的场景,例如 3D 对象、室

VMware Fusion Pro 13 Mac版虚拟机 安装Win11系统教程

Mac分享吧 文章目录 Win11安装完成,软件打开效果一、VMware安装Windows11虚拟机1️⃣:准备镜像2️⃣:创建虚拟机3️⃣:虚拟机设置4️⃣:安装虚拟机5️⃣:解决连不上网问题 安装完成!!! Win11安装完成,软件打开效果 一、VMware安装Windows11虚拟机 首先确保自己的mac开启了网络共享。不然虚拟机连不上👀的 1️⃣:准备镜像

模具要不要建设3D打印中心

随着3D打印技术的日益成熟与广泛应用,模具企业迎来了自建3D打印中心的热潮。这一举措不仅为企业带来了前所未有的发展机遇,同时也伴随着一系列需要克服的挑战,如何看待企业引进增材制造,小编为您全面分析。 机遇篇: 加速产品创新:3D打印技术如同一把钥匙,为模具企业解锁了快速迭代产品设计的可能。企业能够迅速将创意转化为实体模型,缩短产品从设计到市场的周期,抢占市场先机。 强化定制化服务:面

Kubernetes 之 kubelet 与 CRI、CNI 的交互过程

序言 当一个新的 Pod 被提交创建之后,Kubelet、CRI、CNI 这三个组件之间进行了哪些交互? Kubelet -> CRI -> CNI 如上图所示: Kubelet 从 kube-api-server 处监听到有新的 pod 被调度到了自己的节点且需要创建。Kubelet 创建 sandbox 并配置好 Pod 的环境,其中包括: Kubelet 通过 gRPC 调用 C

ArcGIS Pro 克隆clone python环境报错问题处理方法

ArcGIS Pro 克隆clone python环境报错问题处理方法 (一)安装arcpro和深度学习安装包 首先安装arcgis pro桌面版和深度学习安装包后 然后克隆默认 Python 环境 arcgispro-py3 接下来,安装以下 Python 软件包:Tensorflow、fast.ai、Keras、Pytorch、Scikit-image、Pillow 和 Libtiff。 切

WPF入门到跪下 第十三章 3D绘图 - 3D绘图基础

3D绘图基础 四大要点 WPF中的3D绘图涉及4个要点: 视口,用来驻留3D内容3D对象照亮部分或整个3D场景的光源摄像机,提供在3D场景中进行观察的视点 一、视口 要展示3D内容,首先需要一个容器来装载3D内容。在WPF中,这个容器就是Viewport3D(3D视口),它继承自FrameworkElement,因此可以像其他元素那样在XAML中使用。 Viewport3D与其他元素相