略读专题

论文略读:Window Attention is Bugged: How not to Interpolate Position Embeddings

iclr 2024 reviewer 打分 6666 窗口注意力、位置嵌入以及高分辨率微调是现代Transformer X CV 时代的核心概念。论文发现,将这些几乎无处不在的组件简单地结合在一起,可能会对性能产生不利影响问题很简单:在使用窗口注意力时对位置嵌入进行插值是错误的 相对位置嵌入直接添加到注意力矩阵——>不仅速度慢,而且无法从最近的创新中受益理想情况下,希望只使用简单快速的绝对位

论文略读:Benign Oscillation of Stochastic Gradient Descent with Large Learning Rate

iclr 2024 reviewer评分 368 论文从理论上研究了通过随机梯度下降(SGD)且采用大学习率训练的神经网络(NN)的泛化特性论文的发现是,由于SGD的大学习率引起的NN权重的振荡,实际上有利于NN的泛化,潜在地优于通过SGD以小学习率训练的、更平滑收敛的相同NN ——>将这种现象称为“良性振荡”论文证明,通过振荡SGD且学习率较大训练的NN可以有效地学习在那些强特征存在的情况下的

论文略读 | MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelli

面向任务型对话建立的大规模多域数据集 1. 数据集介绍 (1)基本信息 面向多个domains和topicsfully-labeledhuman-human written conversationssize: 10k(复杂性和丰富的语言变化)标记了 dialogue belief state 和 dialogue actions,每段对话都注有一系列对话状态和相应的系统对话行为。提供了数据

Epinoia-有状态网络的意图验证模块,略读

Epinoia relies on a unified model for NFs by leveraging the causal precedence relationshipsthat exist between NF packet I/Os and states. 这句话的意思是:“Epinoia依靠一种统一的网络功能(NF)模型,通过利用存在于 NF 包输入/输出和状态之间的因果先行关系

23年基因蓝皮书略读

2023年基因慧蓝皮书略读 1.发展环境1.1 宏观环境1.2 基因产业内涵 2 应用场景2.1 生育支持与生育健康筛查2.2 老龄化与肿瘤精准防控2.2.1 肿瘤早筛2.2.2 肿瘤伴随诊断2.2.3 MRD检测2.2.4 生物药研发及基因科技 3 产业发展3.1 产业图谱及产业链分析拟上市肿瘤检测公司上市基因企业简析产业园区发展   本文非原创,仅为《2023基因行业蓝

23年基因蓝皮书略读

2023年基因慧蓝皮书略读 1.发展环境1.1 宏观环境1.2 基因产业内涵 2 应用场景2.1 生育支持与生育健康筛查2.2 老龄化与肿瘤精准防控2.2.1 肿瘤早筛2.2.2 肿瘤伴随诊断2.2.3 MRD检测2.2.4 生物药研发及基因科技 3 产业发展3.1 产业图谱及产业链分析拟上市肿瘤检测公司上市基因企业简析产业园区发展   本文非原创,仅为《2023基因行业蓝

英语略读三

课文的客观,或者逻辑推理   同增通减        比错 对比选项,找一个明显的区别   防并列,文章再说主语在干嘛干嘛的,但是与答案的角度不一样,是并列的关系 在对比选项,不是证明正确的 具体问题具体分析,but前后都要看 动态分析,把控全局       找到一个最明显的区别,也就是名词(内容) 在根据句子的结构,找到文章主要内容  一般

TiKV源码略读-Config

版权声明:本文由神州数码云基地团队整理撰写,若转载请注明出处。 以TiKvConfig struct为起始点,从TiKvConfig内部的字段开始,分析每个模块的作用和配置检查逻辑所做的事情。 TiKV 是一个分布式事务型的键值数据库,是TiDB的存储层,提供了满足 ACID 约束的分布式事务接口,并且通过 Raft 协议保证了多副本数据一致性以及高可用。关于TiDB、TiKV的详细介绍

TiKV 源码略读 - Server Start

作者:alexshen 原文来源: https://tidb.net/blog/97577fd5 这篇文章是上篇文章的继续,上篇文章其实是整个server启动过程中非常小的一部分,文章最后有一个整体流程图,感兴趣的话可以点开进行查看。 TiKV源码略读-Config - 技术文章 / 原理解读 - AskTUG 这次我们的代码略读会基于v4.0.8这个分支开展阅读工

ICCV2021 论文略读

前言 我硕士期间主要关注的方向是少样本学习,长尾分布,噪声标签学习等。之前视野不够开阔,只关注了图像分类相关的工作,但是我意识到要真正的和实际需求相结合,就必须也也关注包括图像分割,目标检测等方向的工作,同时也应该对low level方向的工作有所了解,这些在实际中的用处也很丰富。 这篇文章主要整理自己粗略过一遍ICCV2021自己比较感兴趣的文章,主要是对摘要的阅读和自己的对摘要的理解。

redis源码整体略读

之前读了 redis设计与实现 感觉好多细节不太清楚,于是去读了源码。单机部分基本上有个比较清晰的认识了,集群部分秋招后再去看了。 先放主流程图: 先抓主函数: mian 主要包含两部分核心函数:1.初始化服务器,分配空间 2.开启大循环 int main(int argc, char **argv){//... 初始化库initServerConfig();//初始化s

20190624论文略读

Intelligent Reflecting Surface Enhanced Wireless Network via Joint Active and Passive Beamforming Qing Wu Rui Zhang 累计短语: be envisioned to be 被期望成为 superposed 叠加的 to tackle this problem asymptotic pe

springboot源码略读

springboot的精髓是自动依赖注入。那么哪些能自动注入呢,打开spring-boot-autoconfigure,jar下的spring.factories。      可以看到一堆这样的配置: # Auto Configureorg.springframework.boot.autoconfigure.EnableAutoConfiguration=\org.spring

研究生论文阅读方法(包含泛读、略读、精读、深读)

已经好久没有更新博客了,前段时间忙着复现高翔的博客教程(一起来做RGBD),SLAM十四讲也已经看完了一遍(新手还是有点懵)。现在开始看论文,突然没有了方向感。导师在实验室论坛上的论文阅读要求给了我很大的启发,分享给各位,希望大家研究生学习都能充满方向感! 对于其中的十个问题,主要是 文献阅读按照先综述后细化的步骤展开~