本文主要是介绍【组会记录 | 研一下】医学影像自然图像,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
【2.25】-步态
主题:通过单帧步态图像重建步态周期的步态识别
论文:Gait Recognition from a Single Image using a Phase-Aware Gait Cycle Reconstruction Network
讨论:
1、研一下要有实质性进展/想法,至少要确定模型,这也假期可以做实验&写论文
(实际上有很多情况会导致延迟)
2、论文/讲座
(1)因为演讲者很多基础的/重要的东西没有交代清楚而导致听者不理解
(2)演讲者在讲论文的时候,先挑论文重点/中心工作 给大家讲清楚,然后再去讲实现细节(大家会清晰一点,所见即所得)
(3)老师看论文的时候会关注细节,比如参数/结构/为什么?(比如师姐的归一化)
3、一些问题
(1)从一个二维图得到一个向量,有几种方法?
①池化
②展平
③全连接:(FC参数大有过拟合风险,但学得多/高/准)
FC后要加分类结果、CNN后是特征提取分类结果
一维信号变图片、二维图形变换、
(2)200维->2维->向量
eg. 1x1的100个通道=>2x2的30个通道如何实现?
resize、上采样
(3)phase相位
【3.11】- 认知障碍
SCD主观认知障碍
PET检测脑活性,功能项核磁,不是高清(测某一生物特性的指标)
ADNI做痴呆的数据集、
迁移学习
【3.18】-zou
上采样代替反卷积
合理角矩阵
SMAPE越低越好、AMAE(人工手动测量误差5-10)、MSE
曲率、曲线上描述cobb角/变化
Smooth平滑的目的是为了降噪(稀疏矩阵 一般会加入平滑)
拟合:追求所有点~误差最小
多任务?多目标
ResNet预测更准 学得更少 效果更好 || 减少误差
一张热图,17个关键点(多高斯)Not一张图一个关键点 || 步态中人的姿势会不一样(多分类任务) 脊柱锥体之间本身就是有很强的结构相似性,所以会出现找错通道的情况
轻量化 有些需要加 有些不需要加
研三论文截止4.6
研二小论文3.18
论文讲半小时/消化后讲核心 讨论半小时
【4.1】-
【冯】
Low/high level feature
空间注意力是点乘
CAM(channel attention module)一般插在末尾部分
关于MLP是否shared
许师姐:只用Maxpool 直接contact 然后送到MLP
为什么要加MLP操作:low/high attention去生成各自……
目前模型是参数量比较大
DL感受野越来越大,所以在生成的过程中,低级空间特征慢慢就丢失了,更加关注高级的全局结构信息。为什么要融合,就是让高级也加入低级,所以加通道,局部和全局相互参考,然后确定我要更加关注哪个通道。[许师姐的通道注意力机制]
许:[?跨度很大的残差模块]、
许只是把通道注意力施加到全局中,冯做的是相互去学习,试试看这样得到的信息是不是更丰富。
HRnet里面应该有十几个block,两个MFAM离得不算近,可以。
HRnet有个特点就是会将浅层高层特征contact在一起、
HRnet有3各阶段,
ResNet分层/块,无阶段
原始HRNet是跨分辨率不是跨层的
模型一定要前后特征contact才行
郭:
1、shared MLP出来后还有通道吗?
A:是对C这个通道做全连接(一般全连接出来是一层)
Channel Attention出来是特征图
2、后面的MLP的作用?
生成各自的注意力
3、Stage图
想做的是即插即用型,随机选两个然后融合,就是要调整一下参数
4、第二个想法
通过两个点,绘制直线,得到body part(那后面其他点/部件的位置就可以通过其估计)
【蒋】
标题:数据集压缩by梯度压缩
传统方法:
Coreset selection:从原始数据中选择具有代表性的样本
Dataset distillation:数据蒸馏/模型压缩,对输入的数据集进行反向传播迭代,更新网络权重
数据蒸馏:DATASET DISTILLATION - 知乎 (zhihu.com)
提出:
基于梯度匹配的数据压缩
优点:解耦(生成的数据集与网络结构无关)
【4.29】-
【注意力机制】
1、一般用软注意力(广泛)>硬注意力;键值对 key-value两个维度输入;多个查询-MUlti-Head;
通道注意力(浅层-特征/深层-物体);空间注意力(reshape 位置间的关系?);空间+通道(CBAM/DAnet)
QK(映射)V、SE都是软注意力
2、自注意力与多头注意力(Q,K,V)
3、空间注意力一般加在深层(浅层的参数量太大)、通道注意力都可
U-Net
1、改进方法:
3D替换2D、
编码器:(特征提取/方式的改进)
跳跃连接:(降低语义差距)、UNet++
编码&解码&跳跃连接:
编码&解码&桥接模块:U2-Net
编码&解码&跳跃连接&桥接模块:
跳跃连接:
编码器&跳跃连接:
编码&解码&输入输出:[时]多尺度输入单尺度输出
网络结构的重复:
<理解深刻才能做出改进>
2、邹:UNet+hrnet
CN特征及优点
3、师兄工作
层间/内 改进
(Attention Gate的改进动机->多尺度融合、1x1卷积就是为了改变通道数;
Inception得到的特征通道有相同权值->动态加权/注意力自适应)
只有加性才会经过两个
不同睡眠周期的加权,得到类别
4、师兄建议
多尝试/实验、紧跟热点、多看论文
【监控异常检测】
不关注异常事件的类别,只关注是否含有异常事件
Unmasking:从视频中接入异常事件
没有用DL,只用了线性分类器
异常得分(变化大的地方更容易辨别)\如何得准确率
无监督(初始异常检测、自适应?不断更新迭代)、
半监督(特点是训练数据都是正常数据,Flownet提取运动特征)、Memory、动态Prototype Unit
弱监督(正常视频+异常数据,但后者什么时候出现不知道/某个时间段有没有异常/在哪里也不知道、
排序损失、正包负包、)
半监督是弱监督的特例
重构
抽调the most discriminant features之后 准确率变化大?
讲PPT的时候主要分享思想和核心工作,必要先验细节要讲,有些细节可以不用讲。
【5.6】-
【方-曲面参数化 Surface Parametrization】
1、应用
Texture Mapping/Transfer、四边形网格、参数化设计
2、从数学角度理解MappIng
Jacobian借助SVD来分析MappIng (圆->椭圆 有拉伸)
Lsometric等距变换(可换角度看)、Conformal保角(可拉扯)、Equiareal等面积
Domain
f退化意味着梯度退化、一对一映射(二维与曲面之间)
Linear Map (Jt)、ARAP(尽量只是旋转没有拉伸)、MIPS、Seamless无缝参数化(切割处有二义性)
Optimization
Linear Solver、Optimizer
3、Q&A
四边形网格与三角形网格的使用区别、如何采样
【李-步态识别及换装ReID综述】
1、步态识别难点(基于轮廓变化)
视角变化、服装/携带物变化、遮挡和环境的变化
2、步态识别和ReID的区别
步态识别:提取静态的内部特征(身高关节肌肉关键点)、动态特征
ReID:静态外观特征(携带物)
3、SP模块/set pooling、Gaint~、空间part(微运动)、
GAN用于解耦、卷积本身带有感受野、
self_attention:基于全局的transformer 多头multi-head 一个头看微运动一个看多运动whichbetter
4、师兄工作(zhaolim)
创新点:不要只是修改而要有想法?
分享的论文有筛选,和自己写的论文想法有关联
光靠模型比赛是不够的,要tricks
浙大罗浩(有一篇论文,ReID中所有tricks都去试了一下,看看对提点的帮助)
5、换装ReID
基于人脸(not)
这篇关于【组会记录 | 研一下】医学影像自然图像的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!