Broad Learning System (BLS) 宽度学习系统

2024-05-16 03:44

本文主要是介绍Broad Learning System (BLS) 宽度学习系统,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

        宽度学习(Broad Learning System, BLS)是一种有效的神经网络学习框架,旨在通过扩展网络的宽度而不是深度来提高学习能力和效率。与传统的深度学习相比,宽度学习通过堆叠多层特征节点和增强节点来构建网络,从而避免了深度学习中常见的梯度消失和复杂的训练过程。

BLS结构以及增量算法 

        宽度学习系统在 RVFLNN 基础上做出了改进。首先,宽度学习可以利用别的模型提取到的特征来训练,即可以和别的机器学习算法灵活地结合。其次,宽度学习中加入了增量学习算法,它允许在网络结构中加入新的结点时,以很小的计算开销来更新网络权重。这一特性使 BLS 在面对大规模的数据时,相对于深度结构具有巨大的优势。

通过 (a) 图基于 Pytorch 简单实现的 BLS 模型 :

class BLS(nn.Module):def __init__(self, input_dim, num_feature_nodes, num_enhancement_nodes, output_dim):super(BLS, self).__init__()# Step 1: Define feature mapping layersself.feature_layers = nn.ModuleList([nn.Sequential(nn.Linear(input_dim, num_feature_nodes),nn.ReLU()) for _ in range(num_feature_nodes)])# Step 2: Define enhancement nodesself.enhancement_layers = nn.ModuleList([nn.Sequential(nn.Linear(num_feature_nodes * num_feature_nodes, num_enhancement_nodes),  # 100,400nn.ReLU()) for _ in range(1)])# Step 3: Output layerself.output_layer = nn.Linear(num_feature_nodes * num_feature_nodes + num_enhancement_nodes, output_dim)def forward(self, x):print(x.shape) # torch.Size([32, 224])# Generate feature nodes Z^nZ = torch.cat([layer(x) for layer in self.feature_layers], dim = 1)print(Z.shape) # torch.Size([32, 100])# Generate enhancement nodes H^mH = torch.cat([layer(Z) for layer in self.enhancement_layers], dim = 1)print(H.shape) # torch.Size([32, 25])# Concatenate and predictcombined = torch.cat((Z, H), dim = 1)print(combined.shape) # torch.Size([32, 125])output = self.output_layer(combined)print(output.shape) # torch.Size([32, 1])return output

通过 (b) 图基于 Pytorch 简单实现的 BLS 模型 :

class BLSv2(nn.Module):def __init__(self, input_dim, num_feature_nodes, num_enhancement_nodes, output_dim):super(BLSv2, self).__init__()# Step 1: Define feature mapping layersself.feature_layers = nn.ModuleList([nn.Sequential(nn.Linear(input_dim, num_feature_nodes),nn.ReLU()) for _ in range(num_feature_nodes)])# Step 2: Define enhancement nodesself.enhancement_layers = nn.ModuleList([nn.Sequential(nn.Linear(num_feature_nodes * num_feature_nodes, num_enhancement_nodes), # 100,20nn.ReLU()) for _ in range(num_enhancement_nodes)])# Step 3: Output layerself.output_layer = nn.Linear(num_feature_nodes * num_feature_nodes + num_enhancement_nodes * num_enhancement_nodes, output_dim)def forward(self, x):print(x.shape) # torch.Size([32, 224])# Generate feature nodes Z^nZ = torch.cat([layer(x) for layer in self.feature_layers], dim = 1)print(Z.shape) # torch.Size([32, 100])# Generate enhancement nodes H^mH = torch.cat([layer(Z) for layer in self.enhancement_layers], dim = 1)print(H.shape) # torch.Size([32, 25])# Concatenate and predictcombined = torch.cat((Z, H), dim = 1)print(combined.shape) # torch.Size([32, 125])output = self.output_layer(combined)print(output.shape) # torch.Size([32, 1])return output

更多资料: 

宽度学习系统(BLS)的原理、变体形式及当前应用(随时更新……)「建议收藏」-腾讯云开发者社区-腾讯云 (tencent.com)

DeepLearning | Broad Learning System 宽度学习系统 : 高效增量式浅层神经网络-CSDN博客

这篇关于Broad Learning System (BLS) 宽度学习系统的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/993778

相关文章

在C#中获取端口号与系统信息的高效实践

《在C#中获取端口号与系统信息的高效实践》在现代软件开发中,尤其是系统管理、运维、监控和性能优化等场景中,了解计算机硬件和网络的状态至关重要,C#作为一种广泛应用的编程语言,提供了丰富的API来帮助开... 目录引言1. 获取端口号信息1.1 获取活动的 TCP 和 UDP 连接说明:应用场景:2. 获取硬

JAVA系统中Spring Boot应用程序的配置文件application.yml使用详解

《JAVA系统中SpringBoot应用程序的配置文件application.yml使用详解》:本文主要介绍JAVA系统中SpringBoot应用程序的配置文件application.yml的... 目录文件路径文件内容解释1. Server 配置2. Spring 配置3. Logging 配置4. Ma

2.1/5.1和7.1声道系统有什么区别? 音频声道的专业知识科普

《2.1/5.1和7.1声道系统有什么区别?音频声道的专业知识科普》当设置环绕声系统时,会遇到2.1、5.1、7.1、7.1.2、9.1等数字,当一遍又一遍地看到它们时,可能想知道它们是什... 想要把智能电视自带的音响升级成专业级的家庭影院系统吗?那么你将面临一个重要的选择——使用 2.1、5.1 还是

高效管理你的Linux系统: Debian操作系统常用命令指南

《高效管理你的Linux系统:Debian操作系统常用命令指南》在Debian操作系统中,了解和掌握常用命令对于提高工作效率和系统管理至关重要,本文将详细介绍Debian的常用命令,帮助读者更好地使... Debian是一个流行的linux发行版,它以其稳定性、强大的软件包管理和丰富的社区资源而闻名。在使用

Ubuntu系统怎么安装Warp? 新一代AI 终端神器安装使用方法

《Ubuntu系统怎么安装Warp?新一代AI终端神器安装使用方法》Warp是一款使用Rust开发的现代化AI终端工具,该怎么再Ubuntu系统中安装使用呢?下面我们就来看看详细教程... Warp Terminal 是一款使用 Rust 开发的现代化「AI 终端」工具。最初它只支持 MACOS,但在 20

windows系统下shutdown重启关机命令超详细教程

《windows系统下shutdown重启关机命令超详细教程》shutdown命令是一个强大的工具,允许你通过命令行快速完成关机、重启或注销操作,本文将为你详细解析shutdown命令的使用方法,并提... 目录一、shutdown 命令简介二、shutdown 命令的基本用法三、远程关机与重启四、实际应用

Debian如何查看系统版本? 7种轻松查看Debian版本信息的实用方法

《Debian如何查看系统版本?7种轻松查看Debian版本信息的实用方法》Debian是一个广泛使用的Linux发行版,用户有时需要查看其版本信息以进行系统管理、故障排除或兼容性检查,在Debia... 作为最受欢迎的 linux 发行版之一,Debian 的版本信息在日常使用和系统维护中起着至关重要的作

什么是cron? Linux系统下Cron定时任务使用指南

《什么是cron?Linux系统下Cron定时任务使用指南》在日常的Linux系统管理和维护中,定时执行任务是非常常见的需求,你可能需要每天执行备份任务、清理系统日志或运行特定的脚本,而不想每天... 在管理 linux 服务器的过程中,总有一些任务需要我们定期或重复执行。就比如备份任务,通常会选在服务器资

TP-LINK/水星和hasivo交换机怎么选? 三款网管交换机系统功能对比

《TP-LINK/水星和hasivo交换机怎么选?三款网管交换机系统功能对比》今天选了三款都是”8+1″的2.5G网管交换机,分别是TP-LINK水星和hasivo交换机,该怎么选呢?这些交换机功... TP-LINK、水星和hasivo这三台交换机都是”8+1″的2.5G网管交换机,我手里的China编程has

基于Qt实现系统主题感知功能

《基于Qt实现系统主题感知功能》在现代桌面应用程序开发中,系统主题感知是一项重要的功能,它使得应用程序能够根据用户的系统主题设置(如深色模式或浅色模式)自动调整其外观,Qt作为一个跨平台的C++图形用... 目录【正文开始】一、使用效果二、系统主题感知助手类(SystemThemeHelper)三、实现细节