Tensorflow - Tutorial (5) : 降噪自动编码器(Denoising Autoencoder)

本文主要是介绍Tensorflow - Tutorial (5) : 降噪自动编码器(Denoising Autoencoder),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. Denoising Autoencoder

在神经网络模型训练阶段开始前,通过Autoencoder对模型进行预训练可确定编码器 W 的初始参数值。然而,受模型复杂度、训练集数据量以及数据噪音等问题的影响,通过Autoencoder得到的初始模型往往存在过拟合的风险。关于Autoencoder的介绍请参考:自动编码器(Autoencoder)。

在介绍Denoising Autoencoder(降噪自动编码器)之前,我们先来回顾一下机器学习中的过拟合的问题,如下图所示,其展示了训练数据量和噪音数量对模型过拟合问题的影响。图中红色区域表示模型过拟合,蓝色区域表示欠拟合,绿色区域是我们希望得到的模型。从图中可以看出,当训练数据越少,数据噪音越多时,模型越容易过拟合。


图片名称

在模型的复杂度和数据量都已经确定的前提下,防止过拟合的一种办法是减少数据中的噪音数量,即对训练集数据做清洗操作。然而,如果我们无法检测并删除掉数据中的噪音。另一种防止过拟合的办法就是给数据中增加噪音,这看似与之前的结论矛盾,但却是增强模型鲁棒性的一种有效方式,我们以手写数字识别为例,Autoencoder所做的操作是首先对输入图片编码,经过隐含层后解码重构原始图片中的数字信息。假如现在我们输入的是一副含有一定噪音的图片,例如图片中有污点,图片中的数字倾斜等,并且我们仍然希望解码后的图片是一副干净正确的图片,这就需要编码器不仅有编码功能,还得有去噪音的作用,通过这种方式训练出的模型具有更强的鲁棒性。

Denoising Autoencoder(降噪自动编码器)就是在Autoencoder的基础之上,为了防止过拟合问题而对输入的数据(网络的输入层)加入噪音,使学习得到的编码器W具有较强的鲁棒性,从而增强模型的泛化能力。Denoising Autoencoder是Bengio在08年提出的,具体内容可参考其论文:

  • Extracting and composing robust features with denoising autoencoders.

论文中关于Denoising Autoencoder的示意图如下,其中 x 是原始的输入数据,Denoising Autoencoder以一定概率把输入层节点的值置为0,从而得到含有噪音的模型输入xˆ。这和dropout很类似,不同的是dropout是隐含层中的神经元置为0。

这里写图片描述

Bengio对Denoising Autoencoder作出了以下直观的解释:

  1. Denoising Autoencoder与人的感知机理类似,比如人眼看物体时,如果物体某一小部分被遮住了,人依然能够将其识别出来。
  2. 人在接收到多模态信息时(比如声音,图像等),少了其中某些模态的信息有时也不会造成太大影响。
  3. Autoencoder的本质是学习一个相等函数,即网络的输入和重构后的输出相等,这种相等函数的表示有个缺点就是当测试样本和训练样本不符合同一分布,即相差较大时,效果不好,而Denoising Autoencoder在这方面的处理有所进步。

实验代码

MNIST数据集的格式与数据预处理代码input_data.py的讲解请参考 :Tutorial (2)

实验代码如下:

import tensorflow as tf
import numpy as np
import input_datamnist_width = 28
n_visible = mnist_width * mnist_width
n_hidden = 500
corruption_level = 0.3# 输入的一张图片用28x28=784的向量表示.
X = tf.placeholder("float", [None, n_visible], name='X')# 用于将部分输入数据置为0
mask = tf.placeholder("float", [None, n_visible], name='mask')# create nodes for hidden variables
W_init_max = 4 * np.sqrt(6. / (n_visible + n_hidden))
W_init = tf.random_uniform(shape=[n_visible, n_hidden],minval=-W_init_max,maxval=W_init_max)
# 编码器
W = tf.Variable(W_init, name='W')#shape:784x500
b = tf.Variable(tf.zeros([n_hidden]), name='b')#隐含层的偏置
#解码器
W_prime = tf.transpose(W)  
b_prime = tf.Variable(tf.zeros([n_visible]), name='b_prime')def model(X, mask, W, b, W_prime, b_prime):tilde_X = mask * X  # corrupted XY = tf.nn.sigmoid(tf.matmul(tilde_X, W) + b)  # hidden stateZ = tf.nn.sigmoid(tf.matmul(Y, W_prime) + b_prime)  # reconstructed inputreturn Z# build model graph
Z = model(X, mask, W, b, W_prime, b_prime)# create cost function
cost = tf.reduce_sum(tf.pow(X - Z, 2))  # minimize squared error
train_op = tf.train.GradientDescentOptimizer(0.02).minimize(cost)  # construct an optimizer# load MNIST data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
trX, trY, teX, teY = mnist.train.images, mnist.train.labels, mnist.test.images, mnist.test.labels# Launch the graph in a session
with tf.Session() as sess:# you need to initialize all variablestf.initialize_all_variables().run()for i in range(100):for start, end in zip(range(0, len(trX), 128), range(128, len(trX)+1, 128)):input_ = trX[start:end]mask_np = np.random.binomial(1, 1 - corruption_level, input_.shape)sess.run(train_op, feed_dict={X: input_, mask: mask_np})mask_np = np.random.binomial(1, 1 - corruption_level, teX.shape)print(i, sess.run(cost, feed_dict={X: teX, mask: mask_np}))

这篇关于Tensorflow - Tutorial (5) : 降噪自动编码器(Denoising Autoencoder)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/962140

相关文章

基于51单片机的自动转向修复系统的设计与实现

文章目录 前言资料获取设计介绍功能介绍设计清单具体实现截图参考文献设计获取 前言 💗博主介绍:✌全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师,一名热衷于单片机技术探索与分享的博主、专注于 精通51/STM32/MSP430/AVR等单片机设计 主要对象是咱们电子相关专业的大学生,希望您们都共创辉煌!✌💗 👇🏻 精彩专栏 推荐订阅👇🏻 单片机

Python3 BeautifulSoup爬虫 POJ自动提交

POJ 提交代码采用Base64加密方式 import http.cookiejarimport loggingimport urllib.parseimport urllib.requestimport base64from bs4 import BeautifulSoupfrom submitcode import SubmitCodeclass SubmitPoj():de

Shell脚本实现自动登录服务器

1.登录脚本 login_server.sh #!/bin/bash# ReferenceLink:https://yq.aliyun.com/articles/516347#show all host infos of serverList.txtif [[ -f ./serverList.txt ]]thenhostNum=`cat ./serverList.txt | wc -l`e

Jenkins 通过 Version Number Plugin 自动生成和管理构建的版本号

步骤 1:安装 Version Number Plugin 登录 Jenkins 的管理界面。进入 “Manage Jenkins” -> “Manage Plugins”。在 “Available” 选项卡中搜索 “Version Number Plugin”。选中并安装插件,完成后可能需要重启 Jenkins。 步骤 2:配置版本号生成 打开项目配置页面。在下方找到 “Build Env

以后写代码都是AI自动写了,Cursor+Claude-3.5-Sonnet,Karpathy 点赞的 AI 代码神器。如何使用详细教程

Cursor 情况简介 AI 大神 Andrej Karpathy 都被震惊了!他最近在试用 VS Code Cursor +Claude Sonnet 3.5,结果发现这玩意儿比 GitHub Copilot 还好用! Cursor 在短短时间内迅速成为程序员群体的顶流神器,其背后的原因在于其默认使用 OpenAI 投资的 Claude-3.5-Sonnet 模型,这一举动不仅改变了代码生成

在 Qt Creator 中,输入 /** 并按下Enter可以自动生成 Doxygen 风格的注释

在 Qt Creator 中,当你输入 /** 时,确实会自动补全标准的 Doxygen 风格注释。这是因为 Qt Creator 支持 Doxygen 以及类似的文档注释风格,并且提供了代码自动补全功能。 以下是如何在 Qt Creator 中使用和显示这些注释标记的步骤: 1. 自动补全 Doxygen 风格注释 在 Qt Creator 中,你可以这样操作: 在你的代码中,将光标放在

Jenkins自动构建部署项目

1. 楔子 在实际开发中,经常需要编译、静态代码检查、自动化测试、打包、部署、启动等一连串重复机械的动作,浪费时间、而且容易出错,而Jenkins就是专门Continuous integration(CI)/ Continuous Deploy(CD)开源工具,本文简单介绍Jenkins的使用。 在线无安装免费试用Jenkins:http://www.jenkins.org.cn/test

论文精读-Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes

论文精读-Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes 优势 1、构建了一个用于监督原始视频去噪的基准数据集。为了多次捕捉瞬间,我们手动为对象s创建运动。在高ISO模式下捕获每一时刻的噪声帧,并通过对多个噪声帧进行平均得到相应的干净帧。 2、有效的原始视频去噪网络(RViDeNet),通过探

win10不用anaconda安装tensorflow-cpu并导入pycharm

记录一下防止忘了 一、前提:已经安装了python3.6.4,想用tensorflow的包 二、在pycharm中File-Settings-Project Interpreter点“+”号导入很慢,所以直接在cmd中使用 pip install -i https://mirrors.aliyun.com/pypi/simple tensorflow-cpu下载好,默认下载的tensorflow

【Spring Boot】 SpringBoot自动装配-Condition

目录 一、前言二、 定义2.1 @Conditional2.2 Condition2.2.1 ConditionContext 三、 使用说明3.1 创建项目3.1.1 导入依赖3.1.2 添加配置信息3.1.3 创建User类3.1.4 创建条件实现类3.1.5 修改启动类 3.2 测试3.2.1 当user.enable=false3.2.2 当user.enable=true 3.3