语义分割离线数据增强——Albumentations实现

2024-04-07 16:28

本文主要是介绍语义分割离线数据增强——Albumentations实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

该脚本实现了一个图像及其对应掩模的离线数据增强流程,旨在通过引入多种变换增强图像多样性,以提高深度学习模型的泛化能力。主要技术要点如下:

1.使用 Albumentations 库进行数据增强

:Albumentations 是一个强大的 Python 库,专门用于图像预处理和数据增强。它提供了丰富的图像变换操作,支持多种深度学习框架。在本脚本中,通过定义 A.Compose 对象 aug 集成了多种增强操作。

2.定义增强配置:

A.HorizontalFlip(p=0.8) 和 A.VerticalFlip(p=0.7):分别以 80% 和 70% 的概率水平翻转和垂直翻转图像及掩模,增加图像的方向性变化。
A.Resize(height=512, width=512, interpolation=cv.INTER_CUBIC, always_apply=False, p=1):始终将图像和掩模统一缩放到 512x512 大小,使用三次插值法保持图像质量。
A.ShiftScaleRotate(shift_limit=0.0625, scale_limit=0.2, rotate_limit=15, p=0.8):以 80% 的概率对图像和掩模进行随机平移(最大移动图像尺寸的 1/16)、缩放(最大放大20%或缩小至80%)和旋转(最大±15度),模拟真实世界中的视角变化和物体位置、大小的差异。
A.Transpose(always_apply=False, p=1):始终对图像和掩模进行转置(水平与垂直方向交换),增加图像的空间布局变化。
A.GridDistortion(num_steps=10, distort_limit=0.3, border_mode=cv.BORDER_CONSTANT, always_apply=False, p=1):始终对图像和掩模应用网格失真变形,模拟镜头畸变或物体表面不规则情况。

3.数据集准备与目录结构:

image_dir、mask_dir 存储原始图像和掩模文件,分别对应图像和其对应的彩色掩模。
aug_image_dir、aug_mask_dir 分别为增强后图像和掩模的输出目录,确保其存在并创建(若不存在)。

4.遍历图像与掩模文件:

从 image_dir 和 mask_dir 中获取相同数量的图像和掩模文件列表,确保二者一一对应。
使用 zip 函数同时遍历 image_files 和 mask_files,对每一对图像和掩模进行后续处理。

5.生成增强版本:

读取指定路径下的原始图像和彩色掩模。
对每对图像-掩模组合应用增强配置 aug 进行100次随机增强。
从增强结果中提取增强后的图像 image_aug 和掩模 mask_aug。

6.保存增强结果:

构建增强后图像和掩模的新文件名,格式为原始文件名(去除扩展名)+ 序号(0~99)+ 扩展名(.jpg 或 .png)。将增强后的图像和掩模保存到对应的输出目录 aug_image_dir 和 aug_mask_dir。

总之,此脚本利用 Albumentations 库对给定图像及其彩色掩模进行一系列几何变换和像素级失真操作,生成大量增强后的图像-掩模对,旨在提升模型训练时的数据多样性,进而增强模型的泛化能力。每个原始图像-掩模对将产生100个不同的增强版本,增强了数据集的规模和复杂性。

import os
import cv2 as cv
import albumentations as A# 定义增强配置
aug = A.Compose([A.HorizontalFlip(p=0.8),A.VerticalFlip(p=0.7),A.Resize(height=512, width=512, interpolation=cv.INTER_CUBIC, always_apply=False, p=1),A.ShiftScaleRotate(shift_limit=0.0625, scale_limit=0.2, rotate_limit=15, p=0.8),A.Transpose(always_apply=False, p=1),A.GridDistortion(num_steps=10, distort_limit=0.3, border_mode=cv.BORDER_CONSTANT, always_apply=False, p=1),
])# load dataset
image_dir = './dataset/image'
mask_dir = './dataset/mask'
aug_image_dir = './aug/image'
aug_mask_dir = './aug/mask'# 确保输出目录存在
os.makedirs(aug_image_dir, exist_ok=True)
os.makedirs(aug_mask_dir, exist_ok=True)# 获取图像和掩模文件列表
image_files = [f for f in os.listdir(image_dir) if f.endswith('.jpg') or f.endswith('.png')]
mask_files = [f for f in os.listdir(mask_dir) if f.endswith('.jpg') or f.endswith('.png')]assert len(image_files) == len(mask_files), "Number of images and masks don't match"for image_file, mask_file in zip(image_files, mask_files):# 读取原始图像和掩模image_path = os.path.join(image_dir, image_file)mask_path = os.path.join(mask_dir, mask_file)image = cv.imread(image_path)mask = cv.imread(mask_path, cv.IMREAD_COLOR)  # 读取彩色掩模# 为当前图像和掩模生成多个增强版本(共100个)for i in range(100):augmented = aug(image=image, mask=mask)image_aug = augmented["image"]mask_aug = augmented["mask"]# 为增强结果构建新的文件名output_image_name = f'{image_file[:-4]}_{i}.jpg'  # 假设原始图像为 .jpg 格式output_mask_name = f'{mask_file[:-4]}_{i}.png'  # 假设原始掩模为 .png 格式# 保存增强后的图像和掩模output_image_path = os.path.join(aug_image_dir, output_image_name)output_mask_path = os.path.join(aug_mask_dir, output_mask_name)cv.imwrite(output_image_path, image_aug)cv.imwrite(output_mask_path, mask_aug)

这篇关于语义分割离线数据增强——Albumentations实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/883087

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time