背着相机的甲虫登上Science子刊,它拍下了昆虫界第一部Vlog

2023-10-12 15:30

本文主要是介绍背着相机的甲虫登上Science子刊,它拍下了昆虫界第一部Vlog,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

编辑|蛋酱、小舟

来源|机器之心

如果昆虫也成为了一名 Vlogger,作品会是什么样的?

近日,一项在甲虫背部安装相机的研究登上《Science Robotics》,为我们揭晓了这一谜题。通过了解自然界中昆虫的视觉系统并做出取舍,研究者以平衡能量、计算量和质量的方式,为昆虫规模的机器人设计出更好的视觉系统。

让身长不足三厘米的甲虫背上相机,这件事并不简单。在人类看来最微小的摄像机,也足以压垮昆虫。因而,研究者首先思考的问题是:如何打造出一款适用于昆虫搭载的可操纵摄像机?

在该研究中,研究者设计出一种完全无线、动力自动化、机械可操纵的视觉系统。该系统用足够小的形状因子模仿昆虫的头部运动,可以安装在活的甲虫或类似大小的陆地机器人背部。

对于昆虫大小的机器人来说,无线视觉提供了丰富的环境形状和纹理信息。这在大型机器人中很常见,但在资源有限的小型平台上却是一个挑战。

▲ 安装在甲虫或类似大小的

机器人背上的相机基本构造

电子设备的执行器重 248 毫克,并且可以根据智能手机的命令将相机转向 60 度。制作好的相机约为硬币大小,以每秒 1 到 5 帧(fps)将 “第一人称主视角” 以 160*120 像素的单色视频传到距离 120 米远的蓝牙无线电中。

研究者将该视觉系统安装在两种自由行走的活甲虫上,使用板载加速度计触发图像捕获,在 10 毫安时的电池下操作时长可以达到 6 个小时。

电子图像传感器遵循与生物眼睛相似的趋势,由于更简单,分辨率更低的图像传感器消耗更少的质量和能源,所需的计算量也更少。在许多小型移动相机的兴趣场景中,图像分辨率是一个限制因素。研究者没有削减分辨率或视野,而是探索了自然界中使用的方法。并设计了一个机械可操纵的视觉系统,模仿头部运动。

研究者还加入了一个超小型压电悬臂驱动器和一个微制造的杠杆臂来操纵摄像机。通过合并转向,系统提供了更高的分辨率,可能与广角镜头覆盖相同的视野。研究者进一步表明,该系统的移动装置实际上比移动昆虫或机器人的身体更有效,最大限度地减少了对电池寿命的影响,并允许锁定移动物体。

用这样的方法,研究者开发了一个完全无线的机械可操纵视觉系统。它的形状因子足够小,可以安装在活的甲虫和类似大小的陆地机器人的背上。

对于活的昆虫来说,无线第一人称视角代表了一种之前从未展示过的能力。这可以用于研究昆虫的行为,例如在会受到控制的实验室环境之外,它们如何感知和相互作用,以及它们与环境之间的相互影响。

将微型黑白相机装在昆虫背部,然后放它自由爬行,摄像机会将照片和视频传回 iPhone,从中我们可以窥见甲虫眼中的万物:

为了读取相机数据,研究者重新调整了串行外设接口(SPI)的用途,该接口可以访问 DMA。通过 SPI 接口读取数据需要数据信号,时钟信号合片选信号(CS)。为了提供协议要求的缺失 CS 信号,研究者利用了摄像机的行有效输出。该信号配置为触发蓝牙芯片上的中断,该中断触发输出引脚以 “欺骗” 缺失的 CS 信号。

与平常的移动整个机器人的方式相比,这种可操纵的视觉系统使得目标跟踪和广角视图的能耗降低为 1/26 或 1/84。

从昆虫的视角来看,普通马克杯或是魔方,都能变为高耸的建筑物。

这种身背机器的昆虫显然无法贡献高清晰的图像,但甲虫摄影师却有独特的好处:它能够在崎岖的地面爬行,并钻进岩石缝隙和狭窄管道中探索内部景象。

鉴于昆虫是活体,不容易操纵,研究者还设计了一款小型昆虫规模的机器人,以便对其进行完全的远程控制。这是有史以来最小的具有动力自主功能的地面机器人,体型为 1.6 厘米 x 2 厘米,移动速度约为每秒 3.5 厘米,在现有的供能条件下可连续运行 63 到 260 分钟。

下一步,研究者计划将该无线摄像系统安装在飞行类生物身上,这也许会带来新的挑战,例如大黄蜂只能携带 100 毫克到 200 毫克的重量。通过使用定制传感器和不同类型的镜头,摄像机本身也还可以等比例缩小。电源系统是其中的主要限制,这一点或许可以通过太阳能供电来解决。

参考链接:

https://spectrum.ieee.org/automaton/robotics/robotics-hardware/uw-micro-camera

https://robotics.sciencemag.org/content/5/44/eabb0839

https://www.sciencemag.org/news/2020/07/watch-tiny-camera-show-world-bug-s-point-view

RECOMMEND

网易智能有12个不同垂直领域社群等你来

添加智能菌微信:kaiwu_club

扫码了解更多

这篇关于背着相机的甲虫登上Science子刊,它拍下了昆虫界第一部Vlog的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/196744

相关文章

基于UE5和ROS2的激光雷达+深度RGBD相机小车的仿真指南(五):Blender锥桶建模

前言 本系列教程旨在使用UE5配置一个具备激光雷达+深度摄像机的仿真小车,并使用通过跨平台的方式进行ROS2和UE5仿真的通讯,达到小车自主导航的目的。本教程默认有ROS2导航及其gazebo仿真相关方面基础,Nav2相关的学习教程可以参考本人的其他博客Nav2代价地图实现和原理–Nav2源码解读之CostMap2D(上)-CSDN博客往期教程: 第一期:基于UE5和ROS2的激光雷达+深度RG

Science|癌症中三级淋巴结构的免疫调节作用与治疗潜力|顶刊精析·24-09-08

小罗碎碎念 Science文献精析 今天精析的这一篇综述,于2022-01-07发表于Science,主要讨论了癌症中的三级淋巴结构(Tertiary Lymphoid Structures, TLS)及其在肿瘤免疫反应中的作用。 作者类型作者姓名单位名称(中文)通讯作者介绍第一作者Ton N. Schumacher荷兰癌症研究所通讯作者之一通讯作者Daniela S. Thomm

Science Robotics 首尔国立大学研究团队推出BBEX外骨骼,实现多维力量支持!

重复性举起物体可能会对脊柱和背部肌肉造成损伤,由此引发的腰椎损伤是工业环境等工作场所中一个普遍且令人关注的问题。为了减轻这类伤害,有研究人员已经研发出在举起任务中为工人提供辅助的背部支撑装置。然而,现有的这类装置通常无法在非对称性的举重过程中提供多维度的力量支持。此外,针对整个人体脊柱的设备安全性验证也一直是一个缺失的环节。 据探索前沿科技边界,传递前沿科技成果的X-robot投稿,来自首尔国立

海鸥相机存储卡格式化如何恢复数据

在摄影的世界里,‌每一张照片都承载着独特的记忆与故事。‌然而,‌当我们不慎将海鸥相机的存储卡格式化后,‌那些珍贵的瞬间似乎瞬间消逝,‌让人心急如焚。‌但请不要绝望,‌数据恢复并非遥不可及。‌本文将详细介绍在海鸥相机存储卡格式化后,‌如何高效地恢复丢失的数据,‌帮助您重新找回那些宝贵的记忆。‌ 图片来源于网络,如有侵权请告知 一、‌回忆备份情况 ‌海鸥相机存储卡格式化如何恢复数据?在意

环信_Android_第一部_JAR包集成

自己新建 project...不用easeui的包,太不友好了..全部自己解封.自己写 个是在要Android studio 3.3.2版本中测试有效在android7和8(API24,25,26,27)四个个版本中有效. 如果到了Adnroid9(API28,Q)会有so报错.在AndroidMaifest.xml有两处用☆标出来 注意三点. 1:复制两个文件夹文件 libs.av 是

机器视觉硬件选型根据某项目相机镜头

一 项目总需求 1、大视野检测需求: (1)大视野: ①产品尺寸15.6寸屏幕,产品大小:350mm x 225mm; ②产品料盘尺寸大小:565mm x 425mm; ③工作距离:880mm;检测精度:500μm; 1、大视野检测需求: (1)大视野: ①产品尺寸15.6寸屏幕,产品大小:350mm x 225mm; ②产品料盘尺寸大小:565mm x 425mm; 工作距离:

005:VTK世界坐标系中的相机和物体

VTK医学图像处理---世界坐标系中的相机和物体 左侧是成像结果                                                    右侧是世界坐标系中的相机与被观察物体 目录 VTK医学图像处理---世界坐标系中的相机和物体 简介 1 在三维空间中添加坐标系 2 世界坐标系中的相机 3 世界坐标系中vtkImageData的参数 总结:

独立双端App《瓦格相机》的开发过程分享

前言 Hello大家好,我是灯灯,独立开发者灯灯,也是天天学藏语的灯灯,哈哈哈... 好了屁话少说,今天和大家分享一下最近自己独立制作一款应用的经验历程,希望能对刚刚起步的新手们、还有独立开发者们有所帮助。 什么样的应用 我想做的是一款能够将照片转换成文字拼成的图片应用,也就是,图片中的每一个像素点都将会被文字取代,同时对应色彩、密集程度等。 之所以想做这样的应用是因为早在我高中的时候,

相机检查内参 外参

目录 检查内参 外参 像素点投影到世界坐标系,再投回到2d坐标系: 检查内参 外参 import cv2import numpy as np# 假设我们有以下相机内参K = np.array([[418.96369417, 0.0, 489.16315478],[0.0, 419.04813353, 267.88796254],[0.0, 0.0, 1.0]], dtype=n

Nature子刊:教你零基础开展微生物组数据分析和可视化

使用MicrobiomeAnalyst进行微生物组数据的全面统计、功能和元分析 Using MicrobiomeAnalyst for comprehensive statistical, functional, and meta-analysis of microbiome data Nature Protocols Impact Factor 11.334 https://do