多示例学习 (multi-instance learning, MIL) 学习路线 (归类、重点文章列举、持续更新)

2024-02-26 01:30
文章标签 学习 更新 文章 重点 示例 持续 multi learning 路线 mil instance 归类 列举

本文主要是介绍多示例学习 (multi-instance learning, MIL) 学习路线 (归类、重点文章列举、持续更新)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 0 要点
  • 1 多示例背景介绍
  • 2 理论MIL概述
    • 2.1 传统MIL方法
    • 2.2 注意力网络
    • 2.3 对比学习
    • 2.4 介入学习
    • 2.5 强化学习
    • 2.6 GAN
  • 3 MIL交叉领域
    • 3.1 多示例偏标签
    • 3.2 多示例多标签
    • 3.3 多示例正和无标签学习
    • 3.4 多示例对抗攻击及防御
    • 3.5 多示例分布外检测
    • 3.6 多模态多示例
  • 4 应用MIL概述
    • 4.1 全幻灯片分类
    • 4.2 视频异常检测
    • 4.3 图像分类
    • 4.4 调制识别
    • 4.5 Benchmark

0 要点

说明：本文在于能够让大家能够更加快速地了解MIL这个领域，因此将从以下几个方面重点介绍MIL (这里不详细介绍每一篇文章，只做概述)。

注1：欢迎和我进一步交流，可以加入我建立的QQ群 (2024年1月15日建立，没啥人hhh)；
注2：如果给出的文章包含代码，可以点击其名称缩写获取；
注3：承2，如果包含博客讲解，可以点击其全称获取；

1 多示例背景介绍

概述：多示例学习 (MIL) 是一种典型的弱监督学习，其输入的单个样本被称为包 (bag)，包中包含多个实例 (instance)。在训练阶段，通常只有包的标签可知，而实例的标签不可知或者获取成本极高。因此，概括性的，MIL与传统机器学习的主要区别在于：

  1. 弱监督场景：实例的数量巨大却没有标签，仅通过包标签来预测未知类，甚至预测实例标签是极具挑战性的；
  2. 数据结构：包是多个实例的集合，实例可以是向量、图像、视频等任意结构，因此传统机器学习可以看作是MIL的一种特殊情况；

纵观MIL发展历程，其可以分为几个阶段：

  1. 早期：从Dietterich团队的药物活性预测研究开始，尝试直接使用传统的机器学习方法解决MIL问题；
  2. 发展：尝试MIL问题的转换，通常使用嵌入函数或包相似性度量来将其简化为传统的机器学习问题；
  3. 深度：利用深度学习的强大特征提取及表征能力，直接预测包的标签，这也是目前MIL研究的重点；
  4. 应用：考虑更多背景信息，如视频的时序、医疗图像相邻区块的关联性，以更好地处理实际任务；

2 理论MIL概述

之所以优先介绍传统MIL方法，究其原因为：

  1. 传统MIL方法包含众多实用策略，其思想内核至今仍被前沿的深度MIL方法使用；
  2. 传统方法均可被深度MIL直接或间接复刻，通过对齐首要了解，可以为后续深度MIL方法学习打下基础；

2.1 传统MIL方法

传统MIL方法大致分为三种：

  1. 实例方法：首先预测实例标签，并通过MIL假设计算包标签；
  2. 包方法：设计类似于高斯核的MIL包距离度量，使得 k k kNN和SVM等基于距离矩阵的方法得以施展；
  3. 嵌入方法：将包转换为向量，使得传统机器学习策略生效，这也是目前MIL表征学习的基础；

当然，立足于深度MIL方法的小伙伴只需大致了解这类方法。以下是对一些经典方法的归类：

方法名团队期刊/会议全称思想领域
MINTL广东工业大学TNNLS’24Multi-instance nonparallel tube learning基于优化理论的类边界信息学习，以提升模型性能理论
ISK周志华KDD‘19Isolation set-kernel and its application to multi-instance learning基于孤立核设置集合核和嵌入函数理论
MILDM悉尼科技大学TKDE’18Multi-instance Learning with discriminative bag mapping利用辨别性优化嵌入结果理论
miVLAD周志华TNNLS’16Scalable algorithms for multi-instance learning基于 k k kMeans聚类的高效MIL算法理论
miFV周志华ICDM’14Scalable multi-instance learning混合高斯模型及Fisher核编码包为向量理论
BAMIL周志华Applied Intelligence’09Multi-instance clustering with applications to multi-instance prediction利用包距离度量和 k k kMeans聚类获取包嵌入向量理论

2.2 注意力网络

注意力机制的引入是深度MIL发展史上的一次伟大变革，其以Ilse等人发表的ABMIL和GAMIL为伊始，并深刻影响着后续MIL算法的发展。后续的基于对比学习、介入学习等策略的MIL大都围绕其展开，只是方法的侧重有所不同：

方法名团队期刊/会议全称思想领域
IBMIL上海交通大学CVPR’23Interventional bag multi-instance learning on whole-slide pathological images基于训练模型和 k k kMeans的全局特征提取WSI
MHIM-MIL香港科技大学CVPR’23Multiple instance learning framework with masked hard instance mining基于蒙版硬实例和软实例的孪生网络WSI
ItS2CLR纽约大学CVPR’23Multiple instance learning via iterative self-paced supervised contrastive learning实例伪标签提升表示学习质量，并通过自步采用策略优化WSI
CHEESE大连理工大学IEEE TCDS’23Multiple instance learning for cheating detection and localization in online examinations综合被检测人员的眼睛注视、头部姿势和面部特征等信息来学习模型VAD
LNPL-MIL清华大学ICCV’23LNPL-MIL: Learning from noisy pseudo labels for promoting multiple instance learning in whole slide image提出了一种更准确的Top- k k k实例选择策略，并设计了一个能够感知实例顺序和分布的TransformerWSI
CausalMIL东南大学NeurIPS’22Multi-instance causal representation learning for instance label prediction and out-of-distribution generalization获得实例级因果表示并考虑OOD问题理论
ZoomMILIBM 欧洲研究院ECCV’22Differentiable zooming for multiple instance learning on whole-slide images多尺度WSI同时输入WSI
DSMIL威斯康星大学CVPR’21Dual-stream multiple instance learning network for whole slide image classification with self-supervised contrastive learning双流架构及自监督对比学习WSI
TransMIL清华大学NeurIPS‘21TransMIL: Transformer based correlated multiple instance learning for whole slide image classification基于Transformer的相关型MIL框架WSI
LAMIL佛罗里达大学AAAI’20Loss-based attention for deep multiple instance learning额外添加实例损失优化模型且提供理论证明理论
ABMIL&GAMIL阿姆斯特丹大学ICML’18Attention-based deep multiple instance learning设计了两种注意力机制来捕捉包中的关键实例理论

2.3 对比学习

方法名团队期刊/会议全称思想领域
ItS2CLR纽约大学CVPR’23Multiple instance learning via iterative self-paced supervised contrastive learning实例伪标签提升表示学习质量，并通过自步采用策略优化WSI
SMILES东北大学AAAI’23Robust self-supervised multi-instance learning with structure awareness引入无监督对比学习来获取包表示理论

2.4 介入学习

方法名团队期刊/会议全称思想领域
IBMIL上海交通大学CVPR’23Interventional bag multi-instance learning on whole-slide pathological images基于训练模型和 k k kMeans的全局特征提取WSI

2.5 强化学习

2.6 GAN

3 MIL交叉领域

3.1 多示例偏标签

3.2 多示例多标签

3.3 多示例正和无标签学习

正和无标签学习 (PU) 的训练集中只包含正样本和无标记样本，对应的问题有叶片上的异常结冰检测、诈骗邮件检测等。

方法名团队期刊/会议全称思想领域
PU-MIL-AD鲁汶大学KDD’23Learning from positive and unlabeled multi-instance bags in anomaly detection在MIL中首次引入PU学习的概念，并基于VAE进行异常检测Anomaly Detection

3.4 多示例对抗攻击及防御

考虑MIL的弱监督设置，通过添加对抗扰动的方式愚弄MIL分类器，以解释模型的脆弱性和安全性。此外，对抗防御则用于降低MIL攻击者的效能。

方法名团队期刊/会议全称思想领域
CAF-GAN韩国航空航天大学IEEE TIFS’23A robust open-set multi-instance learning for defending adversarial attacks in digital image基于GAN的对抗防御及数字取证研究Anti-forensic
MI-CAP&MI-UAP西南交通大学PR’23Interpreting vulnerabilities of multi-instance learning to adversarial perturbations首次在MIL中引入对抗攻击，以解释算法的脆弱性，后续可作为数据增强策略等理论

3.5 多示例分布外检测

3.6 多模态多示例

4 应用MIL概述

4.1 全幻灯片分类

4.2 视频异常检测

4.3 图像分类

4.4 调制识别

4.5 Benchmark

这篇关于多示例学习 (multi-instance learning, MIL) 学习路线 (归类、重点文章列举、持续更新)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/747297。

相关文章

HarmonyOS学习(七)——UI（五）常用布局总结

HarmonyOS学习(七)——UI（五）常用布局总结

自适应布局 1.1、线性布局（LinearLayout） 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列，Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距，达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式，且在各类尺寸屏幕上表现一致，其中交叉轴为垂直时，取值为Vert
阅读更多...
Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【课程链接】 AntV G6：深入图形与图形分组、自定义节点、节点动画（下）_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中，应该怎样去计算和绘制图形，如何给一个图形制作不间断的动画，以及在鼠标事件之后产生动画。（有点难，需要好好理解） <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06
阅读更多...
学习hash总结

学习hash总结

2014/1/29/   最近刚开始学hash，名字很陌生，但是hash的思想却很熟悉，以前早就做过此类的题，但是不知道这就是hash思想而已，说白了hash就是一个映射，往往灵活利用数组的下标来实现算法，hash的作用：1、判重；2、统计次数；
阅读更多...
poj3468(线段树成段更新模板题)

poj3468(线段树成段更新模板题)

题意：包括两个操作：1、将[a.b]上的数字加上v；2、查询区间[a,b]上的和 下面的介绍是下解题思路： 首先介绍  lazy－tag思想：用一个变量记录每一个线段树节点的变化值，当这部分线段的一致性被破坏我们就将这个变化值传递给子区间，大大增加了线段树的效率。 比如现在需要对[a,b]区间值进行加c操作，那么就从根节点[1,n]开始调用update函数进行操作，如果刚好执行到一个子节点，
阅读更多...
hdu1394(线段树点更新的应用)

hdu1394(线段树点更新的应用)

题意：求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质，在0到n-1这些数字组成的乱序排列，将第一个数字A移到最后一位，得到的逆序数为res-a+(n-a-1) 知道上面的知识点后，可以用暴力来解 代码如下： #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in
阅读更多...
hdu1689(线段树成段更新)

hdu1689(线段树成段更新)

两种操作：1、set区间[a,b]上数字为v；2、查询[ 1 , n ]上的sum 代码如下： #include<iostream>#include<algorithm>#include<cstring>#include<stack>#include<queue>#include<set>#include<map>#include<stdio.h>#include<stdl
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程（Gaussian Process，简称GP）是一种概率模型，用于描述一组随机变量的联合概率分布，其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数（或核函数） 1.3 核函数1.4 高斯过程回归（Gauss
阅读更多...
hdu 1754 I Hate It（线段树，单点更新，区间最值）

hdu 1754 I Hate It（线段树，单点更新，区间最值）

题意是求一个线段中的最大数。 线段树的模板题，试用了一下交大的模板。效率有点略低。 代码： #include <stdio.h>#include <string.h>#define TREE_SIZE (1 << (20))//const int TREE_SIZE = 200000 + 10;int max(int a, int b){return a > b ? a :
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2