hierarchical专题

面试：关于word2vec的相关知识点Hierarchical Softmax和NegativeSampling

1、为什么需要Hierarchical Softmax和Negative Sampling 从输入层到隐含层需要一个维度为N×K的权重矩阵，从隐含层到输出层又需要一个维度为K×N的权重矩阵，学习权重可以用反向传播算法实现，每次迭代时将权重沿梯度更优的方向进行一小步更新。但是由于Softmax激活函数中存在归一化项的缘故，推导出来的迭代公式需要对词汇表中的所有单词进行遍历，使得每次迭代过程非常缓慢

论文阅读笔记——StereoNet: Guided Hierarchical Renement for Real-Time Edge-Aware Depth Prediction

引言：谷歌实时端到端双目系统深度学习网络双目匹配可以得到环境中的三维深度信息，进而为机器人，无人车，VR等现实场景下的应用提供有力信息，在对安全验证比较高的人脸支付领域，三维人脸验证也正在逐渐取代安全性较低的二维人脸验证。近年来，深度学习双目系统匹配已经取得了很不错的进展，很多先进的网络性能已经超过传统方法。然而，深度学习双目系统匹配仍然在实用方面面临很多问题，其中一个问题便是无法做到推断

风格迁移学习笔记(1):Multimodal Transfer: A Hierarchical Deep Convolutional Neural Network for Fast

以下将分为3个部分介绍: 效果解決的問題How to solve it？ 1.效果: 先来看一下效果

Datacamp 笔记代码 Unsupervised Learning in Python 第二章 Visualization with hierarchical clustering t-SNE

更多原始数据文档和JupyterNotebook Github: https://github.com/JinnyR/Datacamp_DataScienceTrack_Python Datacamp track: Data Scientist with Python - Course 23 (2) Exercise Hierarchical clustering of the grain

A Bayesian Hierarchical Model for Learning Natural Scene Categories

Mathematics 伯努利分布（Bernoulli Distribution）：0-1分布（或两点分布）。 Reference: http://maider.blog.sohu.com/306392863.html 多项式分布（Multinomial Distribution）：二项式分布的推广。 γ分布（Gamma Distribution）：与β分布的联系。

立体匹配论文阅读（2）-- Stereo Matching with Color-Weighted Correlation, Hierarchical Belief Propagation...

《 Stereo Matching with Color-Weighted Correlation, Hierarchical Belief Propagation, and Occlusion Handling》题目翻译：使用颜色加权的相关性和遮挡区处理的结构性置信度传播的立体匹配算法其提出的算法主要流程为以下三个步骤，文章中也分别给出了相对应的框图： 1.初始视差的得到 2.像

Oracle 层级查询（Hierarchical Queries）

如果一张表中的数据存在分级（即数据间存在父子关系），利用普通SQL语句显示数据间的层级关系非常复杂，可能需要多次连接才能完整的展示出完成的层级关系，更困难的是你可能不知道数据到底有多少层。而利用Oracle的层级查询，则可以很方便的显示出层级。一、语法简介层级关系定义语法如由start with和connect by两个子句构成： start with … connect by [noc

引入概念的多文本标签分类：Concept-Based Label Embedding via Dynamic Routing for Hierarchical Text Classification

Zhang, Jiong, Wei-Cheng Chang, Hsiang-Fu Yu, and Inderjit Dhillon. “Fast Multi-Resolution Transformer Fine-Tuning for Extreme Multi-Label Text Classification.” In Advances in Neural Information Proces

Swin Transformer Hierarchical Vision Transformer

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows Tags: Swin Transformer 发表日期: 2021 星级 : ★★★★★ 模型简写: Swin Transformer 简介: 多层次的Vision Transformer，提出基于窗口（移动窗口的多头自主意力机制）每次先做一次W-MSA

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows（ICCV2021）

Swin Transformer 摘要引言方法实验摘要本文提出了一种新的Vision Transformer，称为Swin Transformer，可以作为计算机视觉领域的通用主干。将Transformer从NLP应用到CV会面临一些挑战，这些挑战主要来自两个方面：一个是尺度问题，视觉领域中的目标往往尺度差异很大（比如一张街景图像，里面的行人和汽车有大有小），而NLP中的

【Paper Note】Swin Transformer: Hierarchical ViT using Shifted Windows

Swin Transformer: Hierarchical ViT using Shifted Windows 论文信息概述核心思想整体结构名词解释与vit区别模型处理过程概括Patch EmbeddingBasicLayerPatch MergingSwin Transform BlockWindow AttentionShifted Window Attention小结模型使用

Swin Transformer:Hierarchical Vision Transformer using Shifted Windows

Swin Transformer:Hierarchical Vision Transformer using Shifted Windows Abstract 本文提出了一种新的视觉转换器，称为Swin Transformer，它可以很好地作为计算机视觉的通用主干。将Transformer从语言转换为视觉的挑战来自这两个领域之间的差异，例如视觉实体的大小差异很大，图像中的像素与文本中的文字相比

[ICCV2021]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

标题：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 链接：https://arxiv.org/pdf/2103.14030 动机现在在CV中使用transformer的最大问题是运算量太大，因为图片的信息量远远大过NLP中文本的信息量，然后再做self attention会导致N平方的复杂度，这

论文阅读：CVPR2021 | Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

文章目录 1、前言2、Introduction3、Method3.1、Overall ArchitectureSwin Transformer block3.2、Shifted Window based Self-AttentionSelf-attention in non-overlapped windowsShifted window partitioning in successive

HSM-Net: Hierarchical Deep Stereo Matching on High-resolution Images

paper code Abstract 应用端到端的框架，从粗到细的层次上递增地搜索对应关系。由于高分辨率立体数据集相对较少，我们引入了一个包含高分辨率立体对的数据集，用于训练和评估。 Motivation 1.立体匹配中的误差随深度的增加呈二次曲线增加，提供更高的分辨率可以带来更好的预估。但是高分辨率带来运行时间和内存开销的增加过大。 2.对于缩小比例的图像可以得到更快的运行速度，但是预测

【论文阅读-姿态估计】Differentiable Hierarchical Graph Grouping for Multi-Person Pose Estimation

本文将介绍发表在ECCV 2020的一篇基于图模型的多人姿态估计方法，作者来自香港大学、商汤科技、南京大学和悉尼大学。论文链接： https://arxiv.org/abs/2007.11864v1 代码链接：尚未公开主要思想：现有的多人姿态估计模型一般分为一般分为两大类：top-down和bottom-up方法。Top-down的模型先对输入的图像进行目标检测，检测出图像中每个人的b

[LDGCNN：Linked Dynamic Graph CNN: Learning on Point Cloud via Linking Hierarchical Features]论文代码阅读笔记

分类任务代码结构网络结构训练feature extractor和classifier：调用的模型是"ldgcnn" 固定global feature; train函数中调用函数：save_global_feature(sess, ops, saver,layers)

DRL前沿之：Hierarchical Deep Reinforcement Learning

1 前言如果大家已经对DQN有所了解，那么大家就会知道，DeepMind测试的40多款游戏中，有那么几款游戏无论怎么训练，结果都是0的游戏，也就是DQN完全无效的游戏，有什么游戏呢？比如上图这款游戏，叫做Montezuma’s Revenge。这种游戏类似超级玛丽，难在哪里呢？需要高级的策略。比如图中要拿到钥匙，然后去开门。这对我们而言是通过先验知识得到的。但是很难想象计算机如何仅仅通

Sparse Reward的思考——Hierarchical RL

背景现在就出现了另外一个场景，就是我们的目标是多个步骤的。可能在中间的某个步骤，很难获得最好的收益。举个例子，小孩子在学习和玩耍的过程看成一个强化的过程。比如，下一步如果选择玩耍，下一步可以得到1分，但是最终是-100分。对于学习步骤，下一步可能是-1分，但是最终是100分。但是我们的机器在选择适合，可能会选择玩耍，因为最终的reward是多步的，比较难以学习。在这种情况下，就需要用到spar

交通流量预测HSTGCNT：Hierarchical Spatio–Temporal Graph Convolutional

Hierarchical Spatio–Temporal Graph Convolutional Networks and Transformer Network for Traffic Flow Forecasting 交通流预测的层次时空图卷积网络和Transformer网络 Abstract 图卷积网络（GCN）具有图形化描述道路网络不规则拓扑结构的能力，已被应用于交通流预测任务中

word2vec详解（CBOW、SG、hierarchical softmax、negative sampling）

word2vec用来干什么的解释，参见这篇博客一开始也是纯照论文《word2vec Parameter Learning Explained》推公式，到后来理解深了一点，所以后面和前面的公式间有点乱。 python代码：理解不深刻。链接 import argparseimport mathimport structimport sysimport timeimp

(reading)A Hierarchical Approach for Generating Descriptive Image Paragraphs

作者：Jonathan Krause, Justin Johnson, Ranjay Krishna, Li Fei-Fei (发表于CVPR2017) （Jonathan Krause, Justin Johnson, Ranjay Krishna都是Li Fei-Fei的博士生，Jonathan Krause已经毕业，就职于Google Brain）这篇文章提出了一种结构化模型去

【论文阅读】Perceiving Stroke-Semantic Context: Hierarchical Contrastive Learning for Robust Scene Text Re

Perceiving Stroke-Semantic Context: Hierarchical Contrastive Learning for Robust Scene Text Recognition 作者：Hao Liu1†, Bin Wang1, Zhimin Bao1, Mobai Xue1,2‡, Sheng Kang1,2‡, Deqiang Jiang1, Yinsong Li

Hierarchical Morphology-Guided Tooth Instance Segmentation from CBCT Images

这篇论文是之前那篇Naure牙齿分割论文的前身吧，那篇论文中用到的方法有在这里提到。目录摘要1 介绍2 方法2.1 牙齿质心和骨骼提取网络2.2 牙齿分割的多任务学习2.3实现细节 3 实验结果3.1 数据集和评估指标3.2 评价与比较3.3 与最先进方法的比较 4 结论摘要从CBCT图像中自动准确地分割单个牙齿，即牙齿实例分割，是计算机辅助牙科的重要步骤。以往的研究通常

分层强化学习 Data-Efficient Hierarchical Reinforcement Learning（HIRO）（NeurIPS 2018）

\quad 分层的思想在今年已经延伸到机器学习的各个领域中去，包括NLP 以及很多representataion learning。 \quad 近些年，分层强化学习被看作更加复杂环境下的强化学习算法，其主要思想就是将一个大的问题进行分解，思路是依靠一个上层的policy去将整个任务进行分解，然后利用下层的policy去逐步执行。 Code: https://github.com/te

Hierarchical combinatorial deep learning architecture for pancreas segmentation-笔记

Network architecture 网络结构来源于RCF network。RCF基于Holistically-nested Edge Detection (HED) network，是一个边缘检测结构，目的是提取自然图片的显著的边缘和物体的边界。网络结构如图：虽然这个图画的不太常规，好像很厉害，但是有类似的结构。4个pooling，5个stages，13个卷积。每个stage后