论文笔记--Optical Mouse: 3D Mouse Pose From Single-View Video_从单视角视频看x小鼠3D姿态

本文主要是介绍论文笔记--Optical Mouse: 3D Mouse Pose From Single-View Video_从单视角视频看x小鼠3D姿态,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  将这些最初为推断人类三维姿态而开发的技术改编为小鼠。我们预测小鼠的二维关键点,然后根据从数据中学到的先验因素对三维姿势进行优化。
数据获取
  连续、多视角和步态。
  连续视频数据是来自32个笼子的14天的数据,每个笼子都配备了一个摄像头(Vium)。在黑暗周期中,使用红外线照明。8只动物是一岁的、以c57b6为背景的基因敲除小鼠;8只是一岁的杂合子对照组;8只是一岁的c57b6小鼠;以及8只两个月大的c57b6小鼠。基因敲除小鼠有一个导致运动障碍的缺失,
  多视角视频数据是在一个定制的捕获设备(如下所述)中的一只c57b6小鼠的35个连续多视角帧

  步态视频数据是一只c57b6小鼠在跑步机上行走的视频,下面安装有摄像头和相应的商业分析工具(DigiGait),上面安装有一个额外的摄像头(GoPro),我们用于分析。每段视频以每秒24至30帧的速度记录。

小鼠的姿势预测
  特征提取管道(如图1所示)包括三个阶段:边界框检测,二维姿势预测,和三维姿势的优化。

在这里插入图片描述
图1. 我们的管道在视频的帧上运行(左上)。对于每一帧,我们运行一个经过训练的二维物体检测器来检测小鼠(右上角,方框表示检测)。我们应用一个二维姿势模型(堆叠沙漏网络)来检测检测到的位置上的小鼠关键点(右下角,用任意颜色表示关节位置的彩色热图)。最后,我们对鼠标的三维姿势进行优化(左下角,蓝色的点是前一阶段关键点热图的峰值,红色的点是来自优化姿势的投影三维关键点,灰色的三维网格覆盖在图像上)。

  我们用COCO[16]上使用的物体关键点相似度(OKS)得分来评估我们的姿势模型。Pi exp(-d2i/(2k2is2))/20
,其中di是预测和地面真实之间的欧氏距离,s是物体尺度为边界框面积的平方根,每个关键点的衰减,ki,被设定为所有关键点的人类中值0.08。准确度被计算为预测的关键点的百分比大于表1中的阈值OKS得分。
在这里插入图片描述
图2.左边。标记的二维关键点。 中间。小鼠的标记图像,关节图例在左边。 右边。高分辨率的CT扫描图,浅色为骨骼分割,深色为皮肤分割,在中性姿势下有相应的关键点位置。

3D姿态预测
  我们将文献[4]中的人类三维姿势优化策略适用于小鼠。我们迭代更新由18个关节组成的运动学链上的三维关节角度,这些关节对应于二维关键点(不包括耳朵),以最小化输入的二维关键点位置和预测的三维关节位置之间的距离。
  通过使用形状和/或姿态先验[3]来提高三维姿态优化的稳定性和收敛性。具体来说,我们使用关节角度约束(关节角度必须在±50度以内)和Guassian Mixture Model姿势先验的组合,该先验由3D姿势的多视图重建(见下文)和手置模型构成。手持模型的关节角度是在一个三维建模软件中设置的,以匹配一组涵盖典型姿势的图像中的明显鼠标姿势。从这些三维姿势中,我们对准和缩放这些姿势,使从颈部底部到脊柱中部的矢量被定义为X轴和单位长度,然后我们用5个分量的高斯混合模型来适应数据。我们对关节角度进行优化,以共同实现再现误差最小化和混合模型下的似然最大化。

2.3. 多视角三维姿态重建
为了产生用于验证和构建姿态先验的地面真实三维姿态数据,我们建立了一个定制的多视角三维捕捉装置。一个自上而下的RGB+D相机(Kinect)和两个具有同步时间的侧面RGB相机被校准为鼠标笼的重叠视场。我们在每个视场的同步帧中标记二维关节位置,并对每个关节位置的三维位置进行三角测量,以使重投影误差最小。多视角重建被用来评估单视角重建质量,然后添加到姿势先验中。
结论
我们的方法可以从单视图视频中推断出小鼠的三维姿势。这为连续的、非侵入性的监测提供了引人注目的机会。我们证明,三维关节角度比其他特征更容易预测小鼠的健康相关属性。我们的系统甚至可以取代定制的硬件解决方案来确定步态参数,如步长。未来的工作包括提高三维姿势的准确性,并将这种方法扩展到动物的社会互动。

这篇关于论文笔记--Optical Mouse: 3D Mouse Pose From Single-View Video_从单视角视频看x小鼠3D姿态的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/858558

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

数学建模笔记—— 非线性规划

数学建模笔记—— 非线性规划 非线性规划1. 模型原理1.1 非线性规划的标准型1.2 非线性规划求解的Matlab函数 2. 典型例题3. matlab代码求解3.1 例1 一个简单示例3.2 例2 选址问题1. 第一问 线性规划2. 第二问 非线性规划 非线性规划 非线性规划是一种求解目标函数或约束条件中有一个或几个非线性函数的最优化问题的方法。运筹学的一个重要分支。2

MiniGPT-3D, 首个高效的3D点云大语言模型,仅需一张RTX3090显卡,训练一天时间,已开源

项目主页:https://tangyuan96.github.io/minigpt_3d_project_page/ 代码:https://github.com/TangYuan96/MiniGPT-3D 论文:https://arxiv.org/pdf/2405.01413 MiniGPT-3D在多个任务上取得了SoTA,被ACM MM2024接收,只拥有47.8M的可训练参数,在一张RTX