背着相机的甲虫登上Science子刊,它拍下了昆虫界第一部Vlog

2023-10-12 15:30

本文主要是介绍背着相机的甲虫登上Science子刊,它拍下了昆虫界第一部Vlog,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

编辑|蛋酱、小舟

来源|机器之心

如果昆虫也成为了一名 Vlogger,作品会是什么样的?

近日,一项在甲虫背部安装相机的研究登上《Science Robotics》,为我们揭晓了这一谜题。通过了解自然界中昆虫的视觉系统并做出取舍,研究者以平衡能量、计算量和质量的方式,为昆虫规模的机器人设计出更好的视觉系统。

让身长不足三厘米的甲虫背上相机,这件事并不简单。在人类看来最微小的摄像机,也足以压垮昆虫。因而,研究者首先思考的问题是:如何打造出一款适用于昆虫搭载的可操纵摄像机?

在该研究中,研究者设计出一种完全无线、动力自动化、机械可操纵的视觉系统。该系统用足够小的形状因子模仿昆虫的头部运动,可以安装在活的甲虫或类似大小的陆地机器人背部。

对于昆虫大小的机器人来说,无线视觉提供了丰富的环境形状和纹理信息。这在大型机器人中很常见,但在资源有限的小型平台上却是一个挑战。

▲ 安装在甲虫或类似大小的

机器人背上的相机基本构造

电子设备的执行器重 248 毫克,并且可以根据智能手机的命令将相机转向 60 度。制作好的相机约为硬币大小,以每秒 1 到 5 帧(fps)将 “第一人称主视角” 以 160*120 像素的单色视频传到距离 120 米远的蓝牙无线电中。

研究者将该视觉系统安装在两种自由行走的活甲虫上,使用板载加速度计触发图像捕获,在 10 毫安时的电池下操作时长可以达到 6 个小时。

电子图像传感器遵循与生物眼睛相似的趋势,由于更简单,分辨率更低的图像传感器消耗更少的质量和能源,所需的计算量也更少。在许多小型移动相机的兴趣场景中,图像分辨率是一个限制因素。研究者没有削减分辨率或视野,而是探索了自然界中使用的方法。并设计了一个机械可操纵的视觉系统,模仿头部运动。

研究者还加入了一个超小型压电悬臂驱动器和一个微制造的杠杆臂来操纵摄像机。通过合并转向,系统提供了更高的分辨率,可能与广角镜头覆盖相同的视野。研究者进一步表明,该系统的移动装置实际上比移动昆虫或机器人的身体更有效,最大限度地减少了对电池寿命的影响,并允许锁定移动物体。

用这样的方法,研究者开发了一个完全无线的机械可操纵视觉系统。它的形状因子足够小,可以安装在活的甲虫和类似大小的陆地机器人的背上。

对于活的昆虫来说,无线第一人称视角代表了一种之前从未展示过的能力。这可以用于研究昆虫的行为,例如在会受到控制的实验室环境之外,它们如何感知和相互作用,以及它们与环境之间的相互影响。

将微型黑白相机装在昆虫背部,然后放它自由爬行,摄像机会将照片和视频传回 iPhone,从中我们可以窥见甲虫眼中的万物:

为了读取相机数据,研究者重新调整了串行外设接口(SPI)的用途,该接口可以访问 DMA。通过 SPI 接口读取数据需要数据信号,时钟信号合片选信号(CS)。为了提供协议要求的缺失 CS 信号,研究者利用了摄像机的行有效输出。该信号配置为触发蓝牙芯片上的中断,该中断触发输出引脚以 “欺骗” 缺失的 CS 信号。

与平常的移动整个机器人的方式相比,这种可操纵的视觉系统使得目标跟踪和广角视图的能耗降低为 1/26 或 1/84。

从昆虫的视角来看,普通马克杯或是魔方,都能变为高耸的建筑物。

这种身背机器的昆虫显然无法贡献高清晰的图像,但甲虫摄影师却有独特的好处:它能够在崎岖的地面爬行,并钻进岩石缝隙和狭窄管道中探索内部景象。

鉴于昆虫是活体,不容易操纵,研究者还设计了一款小型昆虫规模的机器人,以便对其进行完全的远程控制。这是有史以来最小的具有动力自主功能的地面机器人,体型为 1.6 厘米 x 2 厘米,移动速度约为每秒 3.5 厘米,在现有的供能条件下可连续运行 63 到 260 分钟。

下一步,研究者计划将该无线摄像系统安装在飞行类生物身上,这也许会带来新的挑战,例如大黄蜂只能携带 100 毫克到 200 毫克的重量。通过使用定制传感器和不同类型的镜头,摄像机本身也还可以等比例缩小。电源系统是其中的主要限制,这一点或许可以通过太阳能供电来解决。

参考链接:

https://spectrum.ieee.org/automaton/robotics/robotics-hardware/uw-micro-camera

https://robotics.sciencemag.org/content/5/44/eabb0839

https://www.sciencemag.org/news/2020/07/watch-tiny-camera-show-world-bug-s-point-view

RECOMMEND

网易智能有12个不同垂直领域社群等你来

添加智能菌微信:kaiwu_club

扫码了解更多

这篇关于背着相机的甲虫登上Science子刊,它拍下了昆虫界第一部Vlog的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/196744

相关文章

【图像识别系统】昆虫识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50

一、介绍 昆虫识别系统,使用Python作为主要开发语言。通过TensorFlow搭建ResNet50卷积神经网络算法(CNN)模型。通过对10种常见的昆虫图片数据集(‘蜜蜂’, ‘甲虫’, ‘蝴蝶’, ‘蝉’, ‘蜻蜓’, ‘蚱蜢’, ‘蛾’, ‘蝎子’, ‘蜗牛’, ‘蜘蛛’)进行训练,得到一个识别精度较高的H5格式模型文件,然后使用Django搭建Web网页端可视化操作界面,实现用户上传一

LabVIEW 控制 Tucsen 相机

LabVIEW 控制 Tucsen 相机 ucsen 是一家知名的显微镜相机制造商,其相机产品广泛应用于科研、工业和医疗等领域。本文将介绍如何使用 LabVIEW 软件来控制 Tucsen 相机,涵盖相机的基本情况、硬件和软件要求、具体的控制步骤和编程示例。通过使用 LabVIEW,可以实现相机的图像采集、处理和分析,增强实验和工业应用的效率和精度。 一、Tucsen 相机概况 1.1 相机

【Computer Security : Art and Science】【Second Edition】

以下是书的目录: #### 第一部分:介绍 1. 计算机安全概述     - 1.1 基本组件     - 1.2 威胁     - 1.3 策略与机制     - 1.4 假设与信任     - 1.5 保证     - 1.6 操作问题     - 1.7 人为问题     - 1.8 综合概述     - 1.9 总结     - 1.10 研究问题     - 1.11 拓展阅读

[每周一更]-(第102期):认识相机格式Exif

文章目录 EXIF数据包含的信息读取EXIF数据的工具和库EXIF数据读取示例(Go语言)想法参考 相机拍摄的照片,在照片展示行无水印信息,但是照片属性中会包含比较丰富的信息,相机品牌、型号、镜头信息等,这些我们就可以利用起来, 采用程序形式来进行构造属于自己的水印,市面上常见的水印相机是类似流程,那么我们就看看什么是Exif 可交换图像文件格式(英语:Exchan

Matlab 单目相机标定(内置函数,棋盘格)

文章目录 一、简介二、实现代码三、实现效果参考资料 一、简介 具体的标定原理可以参阅之前的博客Matlab 单目相机标定(内置函数),这里实现对棋盘格数据的标定过程。 二、实现代码 getCameraCorners.m function [camCorners, usedImIdx, imCheckerboard] = getCameraCorners(cali

去水印助手,小熊录屏,OldRoll复古胶片相机

我们将带大家了解三款特色应用,软件是经过大佬处理过的,都非常的好用!今天分享给大家!如果你也喜欢这几款软件不要忘记给博主点击点赞和再看哦! 软件获取链接在链接的底部: 一键去水印助手 无论您是在各大社交平台上寻找视频无水印,还是需要处理图片中的水印烦恼,这款助手都能为您解决燃眉之急,更重要的是,一次登录即可成为终身会员,让您尽情享受无水印世界的精彩。 【资源名称】:一键去水印助手 【资源

手把手教你实现条纹结构光三维重建(3)——相机投影仪标定

我们都知道,投影仪其实就是个反向相机,如果我们了解双目标定的原理,那么相机和投影仪的标定就不难,关键是我们怎么得到投影仪在图像特征点(比如棋盘格角点)上的像素位置。 投影仪也类似于一个cmos,图像有像素位置(u,v),那么通过我们上一讲的条纹解码,给图像添加水平方向和垂直方向的投影,就可以通过解码,得到图像对应的投影相位值,此相位值就是投影的像素坐标(xp,yp)。如下图所示,具体的原理可以参

小程序自定义相机

1.要求相机是圆形的,因为小程序调用原生相机,永远在屏幕最顶层,只能在camera标签里使用cover-view和cover-image标签,用一张图片盖在相机上,效果如下图: <!-- 调用摄像头的组件--> <view class='cameraBox' > <camera class='camera' device-position="front" flash="off" bind

骁龙相机启动流程分析

一、骁龙相机启动流程分析 1. 相机启动阶段关键TAG 关键字解释deliverInputEvent点击事件bindApplicationApp 冷启动 创建applicationactivityStart创建camera activityactivityResumecamera UI界面开始显示connectDevicecameraFWK 开始链接并open sensorCameraH

停车场防逃费设备有哪些,捷曜超眸相机怎么样,有哪些功能?

在当今快速发展的城市交通环境中,车场管理面临着诸多挑战,其中防逃费现象尤为突出。频繁的逃费行为不仅给车场运营带来了经济损失,也严重影响了停车场的正常秩序。对于车场防逃费方案中,超眸相机,以其尖端的高清成像技术和智能识别能力,成为现代车场防逃费管理中不可或缺的一部分。在车场防逃费的领域,超眸相机扮演着至关重要的角色。它能够准确捕捉到每一辆进出车辆的车牌信息,通过先进的算法对车辆进行识别和追踪,结合逃