第三篇 FastAI数据构造API

2024-02-27 00:32

本文主要是介绍第三篇 FastAI数据构造API,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

上一篇博客介绍了如何调用ImageDataBunch的工厂类方法,生成Fast AI的模型所需的数据包(Data Bunch)。事实上,Fast AI提供了一系列函数接口,使得构建数据包的流程更符合逻辑且更灵活,而前述博客所示的工厂类方法其实也是基于这些API进行构建的。本篇博客将介绍相关的数据类型以及API

一、Fast AI的数据积木(Data Block)API (文档链接)

DataBunch类的功能就是整合trainvalid的数据加载器(即PyTorch里的DataLoader)。而使用Data Block API一步一步构建DataBunch的流程如下图所示:

图 1. 使用DataBlock API构建DataBunch的流程
对于该流程中各个步骤以及所用的类介绍如下。
1. 数据列表:ItemList

ItemList是用于存储数据的列表类(即提供了索引功能)。针对不同的任务以及各类型的标签,Fast AI提供了ItemList的各种子类,其中与视觉应用相关的子类包括:

  • CategoryList: 分类问题的类别标签列表
  • MultiCategoryList: 多标签问题的多类别标签列表
  • FloatList: 回归问题的浮点数标签列表
  • ImageList: 图像(标签)列表
  • SegmentationLabelList: 分割任务的掩膜标签列表
  • ObjectLabelList: 目标检测任务的目标框标签列表
  • PointsItemList: 关键点检测任务的点标签列表

ItemList提供了几种生成ItemList实例的工厂类方法:

  • from_folder()工厂类方法

    @classmethod
    def from_folder(cls,path:PathOrStr, # 数据目录extensions:Collection[str]=None, # 只获取特定扩展名的文件recurse:bool=True, # 是否进行文件路径的迭代查找include:Optional[Collection[str]]=None, # 指定路径的最后一层的列表processor:PreProcessors=None,presort:Optional[bool]=False, # 是否对文件进行排序**kwargs)->'ItemList'
    
  • from_df()工厂类方法

    @classmethod
    def from_df(cls,df:DataFrame,path:PathOrStr='.',cols:IntsOrStrs=0, # 数据所在的列processor:PreProcessors=None, **kwargs)->'ItemList'
    
  • from_csv()工厂类方法

    @classmethod
    def from_csv(cls,path:PathOrStr,csv_name:str,cols:IntsOrStrs=0,delimiter:str=None, header:str='infer',processor:PreProcessors=None, **kwargs)->'ItemList'
    

此外,ItemList还提供了几个用于数据过滤的函数:

  • 1.filter_by_func(func): 按函数返回值是否为真进行筛选。
  • 2.filter_by_folder(include=None, exclude=None): 包含include指定的文件夹,排除exclude指定的文件夹。
  • 3.filter_by_rand(p, seed): 按照一定的比例p筛选数据。
2. 将数据分划为trainvalid

ItemList类提供了若干个用于分划数据集的方法,返回的是一个包含trainvalid两个ItemListItemLists实例。

split_by_rand_pct(valid_pct:float=0.2, seed:int=None)# 按valid_pct指定的比例进行分划。
split_subsets(train_size:float, valid_size:float, seed=None)# 按train_size、valid_size指定的比例进行抽取
split_by_files(valid_names:ItemList) → ItemLists# 按valid_names指定的文件名进行分划
split_by_fname_file(fname:PathOrStr, path:PathOrStr=None)# 按fname文件存储的文件名进行分划
split_by_folder(train:str='train', valid:str='valid')# 按照文件夹的名称进行分划
split_by_idx(valid_idx:Collection[int])# 按照valid_idx指定的索引进行分划
split_by_idxs(train_idx, valid_idx)# 同时指定train和valid两个索引列表
split_by_list(train, valid)# 同时指定train和valid的文件列表
split_by_valid_func(func:Callable)# 传入文件名,按照返回值的真假进行分划(取真时为validation数据集)
split_from_df(col:IntsOrStrs=2)# 使用inner_df的第col列进行分划(取真时为validation数据集)# 这一函数要求ItemList是由from_df()或者from_csv()构建的
3. 生成数据标签

ItemLists实例调用label_from_*函数完成;其返回的是LabelLists实例,该实例由两个LabelList组成;而LabelList类继承自PyTorchDataset类,整合了数据x和标签y(二者均是ItemList类或其子类),并实现了Dataset类所必需的__len__()__getitem__()函数。

label_from_df(cols:IntsOrStrs=1, label_cls:Callable=None, **kwargs)# 由inner_df的第cols列提供标签,cols可以为多列# 这一函数要求ItemList是由from_df()或者from_csv()构建的
label_from_folder(label_cls:Callable=None, **kwargs)# 由文件路径的最后一层的名称指定标签
label_from_func(func:Callable, label_cls:Callable=None, **kwargs)# 由函数提供标签,该函数接受文件名作为参数,返回一个类别
label_from_re(pat:str, full_path:bool=False, label_cls:Callable=None, **kwargs)# 由正则表达式提供标签。
4. 生成模型所需的数据包

LabelLists实例调用databunch()生成,实际上是通过调用DataBunch.create()函数完成的。

二、针对视觉任务的调整 (文档链接)

1. 使用ImageList替换ItemList

ImageListItemList的子类,其主要覆写了对列表进行索引时所需用到的get()函数,即在索引时使用open_image()打开图像。另外,ImageList还覆写了from_df()from_csv()函数,其中会将数据路径与dfcsv中的相对路径拼合成绝对路径。

2. 使用ImageDataBunch替换DataBunch

这一设置其实也是在ImageList中进行的。在ItemList类中,用一个类变量_bunch记录数据包的类DataBunch;而在ImageList中,这一变量的值变为了ImageDataBunchImageDataBunchDataBunch的子类。

三、其他需要注意的地方

1. ItemLists的属性

查询ItemLists的实例属性时,调用的是__getattr__()函数。首先查看self.train的相应属性,若查到的属性不是Callable的,则直接返回;否则,则在self.trainself.valid上分别调用相应属性,并将结果替换self.trainself.valid

事实上,如LabelInstance.classes也是类似的逻辑。

2. 数据预处理

预设的预处理操作是通过ItemList的类属性_processor来设置的。如果在创建ItemList时,指定了实例变量processor,则将覆盖_processor的作用。预处理操作均应为PreProcessor类的实例,该实例主要包含用于处理单条记录的process_one()函数和用于列表处理的process()函数;process()函数将使用预处理后的结果替换掉传入的数据列表。

如对分类问题,在由ItemLists实例调用label_from_*方法(由前所述,该调用实际会在ItemListsInstance.trainItemListsInstance.valid两个ItemList实例上分别调用label_from_*方法)时,会首先判断标签类型为CategoryList,该类继自CategoryListBase;而CategoryListBase继承自ItemList,并且类成员变量_processorCategoryProcessor(ItemList类的_processorNone)。这样,由label_from_*方法生成的LabelList对象的x将为ItemList类,对其进行的预处理将为空;而其y将为CategoryList类,对其进行的预处理将为CategoryProcessor,即将标签中的不同值当做标签集合,并提供标签字面值与索引的映射字典。

四、示例

仍使用fastai.URLs.MNIST_SAMPLEi数据,假设数据所在文件夹为path,则:

data = (ImageList.from_folder(path) # 数据文件的路径.split_by_folder()      # 按比例分割训练集和验证集.label_from_folder()    # 指定类别标签.transform(size=32)     # 对图像进行变换.databunch(bs=128).normalize(imagenet_stats) # 数据归一化
)

假设要从每张图片中预测三个浮点值,数据准备如下:

图 2. 从图片中预测浮点值
则数据包的构造流程为:
il = (ImageList.from_csv(path=path, csv_name="labels_float.csv").split_by_idx(range(20)).label_from_df(cols=[1,2,3], label_cls=FloatList).transform(size=32).databunch(bs=128).normalize(imagenet_stats)
)

其中在做label_from_df()调用时,需要指明Label ClassFloatList类型,否则会默认设置为MultiCategoryList类。

注意,其中均未设置对数据应做哪些变换,这一部分内容将在下一篇博文中介绍。

这篇关于第三篇 FastAI数据构造API的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/750666

相关文章

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解