neural专题
论文《Tree Decomposed Graph Neural Network》笔记
【TDGNN】本文提出了一种树分解方法来解决不同层邻域之间的特征平滑问题，增加了网络层配置的灵活性。通过图扩散过程表征了多跳依赖性（multi-hop dependency），构建了TDGNN模型，该模型可以灵活地结合大感受场的信息，并利用多跳依赖性进行信息聚合。 本文发表在2021年CIKM会议上，作者学校：Vanderbilt University，引用量：59。 CIKM会议简介：全称C
ResNeXt - Aggregated Residual Transformations for Deep Neural Networks
《Aggregated Residual Transformations for Deep Neural Networks》是Saining Xie等人于2016年公开在arXiv上： https://arxiv.org/pdf/1611.05431.pdf 创新点 1.在传统Resnet基础上采用group convolution，在不增加参数量的前提下，获得更强的representat
Glancing Transformer for Non-Autoregressive Neural Machine Translation翻译
公众号 系统之神与我同在 图1：机器翻译方法的概率模型。(b)普通的神经机器翻译(NAT)采用条件输入凹痕LM。©掩蔽-预测神经网络翻译(NAT)使用掩蔽LM(MLM)和RE需要多次解码。(d)我们提出的Glancing语言模型(GLM)利用解码器的预测来决定Glancing在训练期间进行采样策略，并且在推理期间只需要一次解码。 摘要 最近关于非自回归神经网络翻译(NAT)的研究旨在，
Age and gender estimation based on Convolutional Neural Network and TensorFlow
训练数据处理 imdb数据提取 gender: 0 for female and 1 for male, NaN if unknown age: 年龄分为101类,分别为从0到100岁. 将训练数据转换为tfrecords格式,命令为, python convert_to_records_multiCPU.py --imdb --nworks 8 --imdb_db /home/rese
图神经网络模型 The Graph Neural Network Model
图神经网络模型 摘要引言图神经网络模型符号模型状态值的计算学习算法变换和输出函数实现Linear GNNNonlinear GNN 实验结果The Mutagenesis Problem 计算复杂性 The Graph Neural Network Model 摘要 数据包含许多潜在关系可以表示为图，这些数据存在于科学和工程的众多领域，比如计算机视觉、分子化学、分子生物、模
Time-Delay Neural Network(TDNN)-下
前言 本篇博客对TDNN网络结构的特性进行梳理，使读者了解设计所考虑的问题，关于其结构请参考博客Time-Delay Neural Network(TDNN)-上。博客基于对论文 Phoneme Recognition Using Time-Delay Neural Network 的阅读和理解，如有谬误，还望指出，不胜感激。 正文 语音识别的小伙伴都知道，语音识别通常要把一段不等场的语音切
Time-Delay Neural Network(TDNN)-上
前言 本篇博客仅对TDNN的网络结构进行简单梳理，使读者对TDNN的网络结构有一个清晰直观的印象。博客基于对论文 Phoneme Recognition Using Time-Delay Neural Network 的阅读和理解，如有谬误，还望指出，不胜感激。 正文 TDNN与1989年就已提出(在我出生之前)， 用于音素识别。以下部分将以论文中的结构做简单说明，网络结构如下图： 这是一
001 NN（Neural Network）起源
广义上说，NN(Neural Network)确实可以认为包含了CNN，RNN这些具体的变种形式。在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包含卷积层或是LSTM单元。 从起源理解NN： 20世纪五六十年代，叫做感知机（perceptron），拥有输入层，输出层和一个隐含层。输入的特征向量通过隐含层变换到达输出层，在输出层得到分类结果。但是会引发一些很严重问题，对
17.2.20 Sparsifying Neural Network Connections for Face Recognition 小感
首先作为自己的第一篇博客，不为别的。在大致读了 > 《Sparsifying Neural Network Connections for Face Recognition》 本文主要是提出了一种稀疏神经元连接的方法。主要是根据神经元之间的相关性正负和大小，只保留对模型影响较大的神经元间的连接，将影响不大的舍去。 本文并不是第一个考虑到减少神经元连接的方法。GoogLeNet在ImageNe
Denoising Prior Driven Deep Neural Network for Image Restoration
之所以能够检索到这篇论文是想看看该论文是如何利用多尺度相似性解决图像去噪问题，除了摘要和结论，论文中两次提到这个术语。next section是指section 4。然后整个section 4，根本没有提多尺度的事儿，更别说解决了。又看了一下The architecture of the plugged DCNN-based denoiser，这不就是一个UNet嘛，哪里和现有方法不同了。这是挂羊
论文阅读笔记：Instance-Aware Dynamic Neural Network Quantization
论文阅读笔记：Instance-Aware Dynamic Neural Network Quantization 1 背景2 创新点3 方法4 模块4.1 网络量化4.2 动态量化4.3 用于动态量化的位控制器4.4 优化 5 效果 论文：https://openaccess.thecvf.com/content/CVPR2022/papers/Liu_Instance-Awar
辐射神经场（NeRF, Neural Radiance Fields）
辐射神经场（NeRF, Neural Radiance Fields） 辐射神经场（NeRF, Neural Radiance Fields）是一种基于神经网络的方法，用于从二维图像合成高质量的三维场景。这一方法由Ben Mildenhall等人在2020年提出，利用多视角二维图像进行三维重建，生成的场景具有逼真的细节和光照效果。 NeRF的基本原理 NeRF的核心思想是通过神经网络表示场景
【QNN】——Binarized Neural Networks论文
转载自:https://blog.csdn.net/liujianlin01/article/details/80917646 使用micronet 论文:https://arxiv.org/pdf/1602.02830.pdf 亮点:NIPS2016 [NIPS ‘16]论文地址：https://arxiv.org/pdf/1602.02830.pdf 代码地址：https://gith
【博士每天一篇文献-算法】Progressive Neural Networks
阅读时间：2023-12-12 1 介绍 年份：2016 作者：Andrei A. Rusu,Neil Rabinowitz,Guillaume Desjardins,DeepMind 研究科学家,也都是EWC(Overcoming catastrophic forgetting in neural networks)算法的共同作者。 期刊： 未录用，发表于arXiv 引用量：2791 代码：
Fake news detection: A survey of graph neural network methods
abstract 各种社交网络的出现产生了大量的数据。捕获、区分和过滤真假新闻的有效方法变得越来越重要，特别是在 COVID-19 大流行爆发之后。本研究对假新闻检测系统的图神经网络 (GNN) 的现状和挑战进行了多方面、系统的回顾，并概述了使用 GNN 实现假新闻检测系统的综合方法。此外，还从多个角度讨论了用于实现实用假新闻检测系统的基于 GNN 的先进技术。首先，我们介绍假新闻、假新闻
[deeplearning-008] convertional neural networks卷积神经网络
1.卷积神经网络的主要参考文献 1.1 https://mp.weixin.qq.com/s?__biz=MzI0ODcxODk5OA==&mid=2247486731&idx=1&sn=f91e2361e62b0c73e34385143ad35e6a&scene=21#wechat_redirect 1.2 nature上的cnn描述 LeCun,
Understanding the difficulty of training deep feedforward neural networks (Xavier)
转自：http://blog.csdn.net/shuzfan/article/details/51338178 “Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文 《Understanding the difficulty of training deep feedforward neural networks》 可惜直到近两年，这个方法才逐渐得
Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman Coding
本次介绍的方法为“深度压缩”，文章来自2016ICLR最佳论文 《Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman Coding 转自:http://blog.csdn.net/shuzfan/article/details/51383809 (内含多
风格迁移学习笔记(1):Multimodal Transfer: A Hierarchical Deep Convolutional Neural Network for Fast
以下将分为3个部分介绍: 效果解決的問題How to solve it？ 1.效果: 先来看一下效果
3D点云论阅读：ShellNet:Efficient Point Cloud Convolutional Neural Networks using Concentric Shells Statics
论文：http://openaccess.thecvf.com/content_ICCV_2019/papers/Zhang_ShellNet_Efficient_Point_Cloud_Convolutional_Neural_Networks_Using_Concentric_Shells_ICCV_2019_paper.pdf 源码：https://github.com/hkust-vgd
【论文速读】LM的文本生成方法，Top-p，温度，《The Curious Case of Neural Text Degeneration》
论文链接：https://arxiv.org/abs/1904.09751 https://ar5iv.labs.arxiv.org/html/1904.09751 这篇文章，描述的是语言模型的文本生成的核采样的方法，就是现在熟知的top-p 大概看看，还有几个地方比较有趣，值得记录一下。 摘要 尽管神经语言建模取得了相当大的进步，但从语言模型生成文本（例如生成故事）的最佳解码策略是什么仍然
Neural Network and deep learning(二)
Neural Network and deep learning(二) （1）权重的矩阵表示。该文章中的权重表示是反过来的，即 Wij W_{ij}中i表示下一层的神经元，j表示前一层的神经元。这样在计算向下一层传递时直接可以使用 wx wx。 （2）反向传播的理解。 z2a2z3a3=w1x+b1=σ(z2)=w2a2+b2=σ(z3) \begin{align*}z^
Neural Networks and Deep Learning(一)
Neural Networks and Deep Learning学习（一） 之间学习CNN核卷积，ufldl教程看了大部分，现在系统的过一遍深度学习，加强自己对深度学习和神经网络的理解。 这只是学习笔记，不是教程，只是本人学习此文档的理解和一些见解 第一章理解 1） 权重之间的连线可以看成一种“因素”，其权重则可以表示该“因素”的可能性。如下图所示，b由一系类的a决定的，a与b之间的连线
《neural network and deep learning》题解——ch03 如何选择神经网络的超参数
http://blog.csdn.net/u011239443/article/details/77748116 问题一 上一节有问题也是调参，我们在这里讲解： 更改上面的代码来实现 L1 规范化,使用 L1 规范化使用 30 个隐藏元的神经网络对 MNIST数字进行分类。你能够找到一个规范化参数使得比无规范化效果更好么? 如何修改代码可参阅上节：http://blog.csdn.n
《neural network and deep learning》题解——ch03 再看手写识别问题题解与源码分析
http://blog.csdn.net/u011239443/article/details/77649026 完整代码：https://github.com/xiaoyesoso/neural-networks-and-deep-learning/blob/master/src/network2.py 我们之前根据《neural network and deep learning》题解——
论文阅读：《Neural Machine Translation by Jointly Learning to Align and Translate》
重磅专栏推荐： 《大模型AIGC》 《课程大纲》 《知识星球》 本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在帮助读者更好地理解和应用这些领域的最新进展 https://blog.csdn.