2024年8月20日~2024年8月26日周报

2024-08-28 02:36
文章标签 2024 20 周报 26

本文主要是介绍2024年8月20日~2024年8月26日周报,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

一、前言

二、完成情况

2.1 解决网络波动问题——学习率

2.2 设计盐数据速度模型展示图

三、下周计划


一、前言

        上周主要完成:

  • ①与老师讨论损失函数与介绍部分内容;
  • ②基于盐数据设计TU-Net的网络架构,并思考如何引出该网络架构;
  • ③验证TU-Net在SEG模拟盐数据上的适用情况;

        本周主要完成:

  • ①解决验证集上损失函数的波动问题;
  • ②继续完善论文与实验;
  • ③设计盐数据速度模型展示图;

二、完成情况

2.1 解决网络波动问题——学习率

        7月底-8月主要在完成OpenFWI数据集上的实验,包括对比实验与消融实验。当时验证集上的损失函数有一定的波动情况(batchsize设置20,学习率设置0.001),但是结果显示这个波动的影响不算大,且验证集损失有下降趋势。因此,之前没有在在意这个问题。

        但是上周在盐数据上进行实验时,发现验证集的损失值波动非常大(batchsize设置10,学习率设置0.001),波动情况如下图所示(该数据进行了归一化):

  • SEG_Net_loss3_weight_TrainSize1600_Epoch160_BatchSize10_LR0.001TrainLoss:

        后续我尝试在运行盐数据时不采用归一化操作,波动会小很多,但是指标也不是很稳定。因此,我尝试降低学习率或者增大batchsize调整波动情况。

  • 在不改变学习率的情况下(0.001),将batchsize从10调整为15:SEG_Net2_loss1+2_TrainSize1600_Epoch160_BatchSize15_LR0.001TrainLoss:。在调整中,主要有两个改变:①指标相比于batchsize为10的时候有改善;②训练时间增加了。在batchsize为10的时候,每一个epoch的训练时间大概为1分25秒,当时间增长后,每一个epoch的训练时间变为2分14秒。

  • 在batchsize为10的情况下,将学习率降低为0.0001:SEG_Net2_loss1+2_TrainSize1600_Epoch160_BatchSize10_LR0.0001TrainLoss。在本次调整中,主要有两个明显的改变:①与增大batchsize相比,这个波动明显更小了,但是这会导致指标下降,因为很长时间无法到达最低点;②训练时间没有改变。

  • 在进行了两个尝试(①增加batchsize、②降低学习率)后,我有了新的思考,尝试将学习率取两者的一半,折中取为0.0005,损失下降情况与上图接近,且指标明显变好。
  • 最后继续尝试了0.0003的学习率,在该指标下,效果最好。
  • 在盐数据上进行学习率与batchsize的尝试后,我回想起之前在OpenFWI数据集上的尝试。 

        下面的前两张图片是当时在OpenFWI CurveVelA数据集上的实验记录(蓝色曲线代表训练集,橘色曲线代表验证集):

  • ①TU_Net_loss3_TrainSize24000_Epoch160_BatchSize20_LR0.001TrainLoss:

  •  ②TU_Net_loss3_weight_TrainSize24000_Epoch180_BatchSize64_LR0.001TrainLoss:

  • ③TU_Net_loss3_weight_TrainSize24000_Epoch160_BatchSize20_LR0.0001TrainLoss: 

  •  ④TU_Net_loss3_weight_TrainSize24000_Epoch160_BatchSize20_LR0.0005TrainLoss:

  •  ⑤TU_Net_loss3_weight_TrainSize24000_Epoch160_BatchSize20_LR0.0003TrainLoss

         在之前实验的时候,认为超参数对实验的影响不算很大。另外,最初选择参数时只使用了5000的数据集,这也会影响我们的判断。

        梯度下降算法的每次迭代都会受到学习率的影响:

  • 如果学习率过小,那达到模型收敛所需要的迭代次数会非常高,训练时间会增加,且模型容易欠拟合;
  • 如果学习率过大,那模型每次学习步长就会增大,很难达到最小值;

2.2 设计盐数据速度模型展示图

三、下周计划

  1. 继续完成实验,并完善论文;
  2. 准备组会分享内容;
  3. 思考类似于热力图的展示图;

这篇关于2024年8月20日~2024年8月26日周报的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1113481

相关文章

2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题

题库来源:安全生产模拟考试一点通公众号小程序 2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题是由安全生产模拟考试一点通提供,流动式起重机司机证模拟考试题库是根据流动式起重机司机最新版教材,流动式起重机司机大纲整理而成(含2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题参考答案和部分工种参考解析),掌握本资料和学校方法,考试容易。流动式起重机司机考试技

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

高效录音转文字:2024年四大工具精选!

在快节奏的工作生活中,能够快速将录音转换成文字是一项非常实用的能力。特别是在需要记录会议纪要、讲座内容或者是采访素材的时候,一款优秀的在线录音转文字工具能派上大用场。以下推荐几个好用的录音转文字工具! 365在线转文字 直达链接:https://www.pdf365.cn/ 365在线转文字是一款提供在线录音转文字服务的工具,它以其高效、便捷的特点受到用户的青睐。用户无需下载安装任何软件,只

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

2024网安周今日开幕,亚信安全亮相30城

2024年国家网络安全宣传周今天在广州拉开帷幕。今年网安周继续以“网络安全为人民,网络安全靠人民”为主题。2024年国家网络安全宣传周涵盖了1场开幕式、1场高峰论坛、5个重要活动、15场分论坛/座谈会/闭门会、6个主题日活动和网络安全“六进”活动。亚信安全出席2024年国家网络安全宣传周开幕式和主论坛,并将通过线下宣讲、创意科普、成果展示等多种形式,让广大民众看得懂、记得住安全知识,同时还

2024/9/8 c++ smart

1.通过自己编写的class来实现unique_ptr指针的功能 #include <iostream> using namespace std; template<class T> class unique_ptr { public:         //无参构造函数         unique_ptr();         //有参构造函数         unique_ptr(

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

免费也能高质量!2024年免费录屏软件深度对比评测

我公司因为客户覆盖面广的原因经常会开远程会议,有时候说的内容比较广需要引用多份的数据,我记录起来有一定难度,所以一般都用录屏工具来记录会议内容。这次我们来一起探索有什么免费录屏工具可以提高我们的工作效率吧。 1.福晰录屏大师 链接直达:https://www.foxitsoftware.cn/REC/  录屏软件录屏功能就是本职,这款录屏工具在录屏模式上提供了多种选项,可以选择屏幕录制、窗口

【C++学习笔记 20】C++中的智能指针

智能指针的功能 在上一篇笔记提到了在栈和堆上创建变量的区别,使用new关键字创建变量时,需要搭配delete关键字销毁变量。而智能指针的作用就是调用new分配内存时,不必自己去调用delete,甚至不用调用new。 智能指针实际上就是对原始指针的包装。 unique_ptr 最简单的智能指针,是一种作用域指针,意思是当指针超出该作用域时,会自动调用delete。它名为unique的原因是这个

【JavaScript】LeetCode:16-20

文章目录 16 无重复字符的最长字串17 找到字符串中所有字母异位词18 和为K的子数组19 滑动窗口最大值20 最小覆盖字串 16 无重复字符的最长字串 滑动窗口 + 哈希表这里用哈希集合Set()实现。左指针i,右指针j,从头遍历数组,若j指针指向的元素不在set中,则加入该元素,否则更新结果res,删除集合中i指针指向的元素,进入下一轮循环。 /*** @param