总结归纳2023【10月 - 11月】【收获分享，仅供学习使用】

收获分享，仅供学习使用

提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加

记录10月：从10.7-10.31 的主要收获

1. 学会使用服务器：MobaXterm软件 + pycharm专业版 + 一些常用的指令
2. 确定了研究的基本流程 + 开题报告创新点 + PPT + 看了至少20篇论文了解基本流程
3. PPT制作功底 + envi制作立体图，成功做成海报+宣传册
4. 软件使用：
   （1）arcGIS：裁剪栅格 + 栅格计算器
   （2）envi:根据roi裁剪、 监督分类、PCA
   （3）CC：裁剪、测量
   （4）C++开发：基本环境配置、公司级的插件式开发
5. Python方面：学会mat与tif格式的互转

记录11月第一周（11.1-11.12）主要收获

1. 理解机器学习分类方法原理（SVM（寻找最佳平面） RF（多决策树） MLE与MPE ）

2. 学习使用focal loss 代替 CE loss

3. PS：学会P西服证件照

• 详见P站UP：PS教学简单哥 的视频，链接: PS证件照教学

4. PPT制作以及PPT转入word时使用svg格式

5. 一些深度学习的基本概念

（1）dropout：解决过拟合问题
（2）整个网络的学习过程：反向传播+梯度下降 —— loss+优化器+合适的学习率（一般随数据量增大而适当降低）
（3）CNN：数据输入（预处理：去均值、归一化…） + 卷积（提取特征）+ 激活（非线性映射，避免梯度消失与过拟合 + 池化（下采样、去冗余、扩大感受野） + 全连接（分类器）
（4）隐藏层数、batch大小、训练迭代次数 等超参数
（5）预训练与迁移学习

6. Bert中的position embedding

• vit中也借鉴了该功能，用于标定位置
• 例如，对于一个输入序列，可以为每个位置分配一个唯一的位置嵌入向量，如[0.1, 0.2, -0.3, …]，然后将这些位置嵌入向量与每个词汇的词嵌入向量相加。这将允许BERT模型在处理输入序列时考虑每个词汇的具体位置，以更好地理解文本的上下文和结构。
• 位置嵌入是BERT模型的一个关键组成部分，它有助于模型实现双向（bidirectional）的上下文理解，而不仅仅是依赖于从左到右或从右到左的信息传递。这有助于BERT在各种自然语言处理任务中表现出色，包括语言建模、情感分析、命名实体识别等。
• 由于这里用的是sum而不是concatenate，所以位置嵌入向量和词嵌入向量具有相同的维度

7. Vit的创新之处主要有两个：

1. 将图形转化成patch，以迎合TE只能输入序列的需要；且模型是对16×16这样的小的patch进行处理而不是处理一整张224×224的图片中的所有像素
2. 使用位置编码，使用cls字符能够包含其它所有patch的信息
   
   

8. Swin Transformer的创新之处

• 加入滑动窗口，提高计算效率，同时可以使相邻窗口有效交互，提高全局建模能力
• 使用位置掩码，解决滑动窗口中不相邻要素交互的问题
• 同时该网络可以迁移到检测和分割领域，效果甚好