【学术前沿】基于非易失性存储器硬件特性的存算一体神经网络设计方法

本文主要是介绍【学术前沿】基于非易失性存储器硬件特性的存算一体神经网络设计方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【学术前沿】基于非易失性存储器硬件特性的存算一体神经网络设计方法

Lixia HAN, Peng HUANG, Yijiao WANG, Zheng ZHOU, Haozhang YANG, Yiyang CHEN, Xiaoyan LIU & Jinfeng KANG, Mitigating Methodology of Hardware Non-ideal Characteristics for Non-volatile Memory Based Neural Networks, doi: 10.1007/s11432-023-4021-y

image

研究简介

神经网络能够从复杂的非结构化数据中提取深层次的特征和信息,为数据处理提供了高效的解决方案。面向神经网络算法,传统基于冯诺依曼架构的信息处理系统面临着数据搬运造成的功耗和延迟瓶颈,极大地限制了能量效率和算力的提升。基于非易失性存储器的模拟型存算一体范式,可以在存储单元原位地高并行地执行向量矩阵乘法运算,消除了大量数据搬运,具有低功耗和低延迟的特点,在神经网络推理加速系统中显示出巨大的应用潜力。然而,来自器件、阵列和混合信号电路的非理想特性会引发计算误差,从而影响神经网络在存算一体芯片上的推理精度,成为基于非易失性存储器的模拟存算一体加速器向实际应用转化的关键障碍。

图片

图1:基于非易失性存储器的模拟型存算一体范式面临的非理想因素分类

图片

图2:提高基于非易失性存储器的存算一体神经网络硬件推理精度的方法流程图

来自北京大学和北京航空航天大学的研究人员开展了基于非易失性存储器硬件特性的存算一体神经网络设计方法研究。具体的创新点和意义包括:

  1. 本研究分析了基于非易失性存储器的存算一体神经网络面临的来自器件,阵列和电路的非理想因素,针对不同非理性因素的物理特性,建立了行为级描述模型,并根据其数学表达形式,将其分为量化误差波动误差固定缺陷误差非线性误差互连线电压降误差

  2. 针对上述非理想因素模型的求解复杂度不同的特点,本研究分别提出了硬件感知训练权重映射修正方法来提高存算一体神经网络推理精度

    1. 硬件感知训练通过在算法训练过程中整合复杂度低的非理想因素来增强算法拟合能力;
    2. 权重映射修正通过在权重编程前补偿复杂度高的互连线电压降误差来提升存算一体神经网络推理精度。
  3. 对于CNN识别ImageNet数据集以及Transformer执行WMT中英翻译任务,上述存算一体神经网络设计方法可以有效实现95%以上的算法精度;在基于Flash存算一体芯片的MNIST数据集的实验验证中,存算一体神经网络推理精度达到了99.6%的算法精度。

相关设计方法已作为存算一体软硬件协同设计工具的子模块嵌入开源工具CoMN(https://github.com/booniebears/CoMN/​)中。

图片

图3:CNN识别ImageNet数据集以及Transformer执行WMT中英翻译任务的硬件推理精度

图片

图4:基于Flash的模拟型存算一体芯片的MNIST数据集的实验验证(以数字“5”为例)

CoMN

CoMN平台由黄鹏教授的研究小组(北京大学)开发。该平台可供设计人员快速验证和进一步优化基于非易失性存储器的神经网络加速器的设计。模型的版权由开发人员维护,模型根据MIT许可证的条款进行分发。

image

CoMN 包括三个主要部分: 算法适配器,旨在通过考虑 NVM 设备的非理想性来提高神经网络的推理精度; mapper,开发通过优化管道、权重转换、分区和放置来自动将 CNN 模型映射到 CIM 芯片; 以及硬件优化器,开发用于在早期设计阶段搜索硬件微架构和电路设计空间。

相关材料

  1. 原文链接:Mitigating Methodology of Hardware Non-ideal Characteristics for Non-volatile Memory Based Neural Networks (sciengine.com)
  2. CoMN:GitHub - booniebears/CoMN

这篇关于【学术前沿】基于非易失性存储器硬件特性的存算一体神经网络设计方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1096923

相关文章

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

mysql出现ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决方法

《mysql出现ERROR2003(HY000):Can‘tconnecttoMySQLserveron‘localhost‘(10061)的解决方法》本文主要介绍了mysql出现... 目录前言:第一步:第二步:第三步:总结:前言:当你想通过命令窗口想打开mysql时候发现提http://www.cpp

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

MySQL INSERT语句实现当记录不存在时插入的几种方法

《MySQLINSERT语句实现当记录不存在时插入的几种方法》MySQL的INSERT语句是用于向数据库表中插入新记录的关键命令,下面:本文主要介绍MySQLINSERT语句实现当记录不存在时... 目录使用 INSERT IGNORE使用 ON DUPLICATE KEY UPDATE使用 REPLACE

新特性抢先看! Ubuntu 25.04 Beta 发布:Linux 6.14 内核

《新特性抢先看!Ubuntu25.04Beta发布:Linux6.14内核》Canonical公司近日发布了Ubuntu25.04Beta版,这一版本被赋予了一个活泼的代号——“Plu... Canonical 昨日(3 月 27 日)放出了 Beta 版 Ubuntu 25.04 系统镜像,代号“Pluc

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域

mss32.dll文件丢失怎么办? 电脑提示mss32.dll丢失的多种修复方法

《mss32.dll文件丢失怎么办?电脑提示mss32.dll丢失的多种修复方法》最近,很多电脑用户可能遇到了mss32.dll文件丢失的问题,导致一些应用程序无法正常启动,那么,如何修复这个问题呢... 在电脑常年累月的使用过程中,偶尔会遇到一些问题令人头疼。像是某个程序尝试运行时,系统突然弹出一个错误提

电脑提示找不到openal32.dll文件怎么办? openal32.dll丢失完美修复方法

《电脑提示找不到openal32.dll文件怎么办?openal32.dll丢失完美修复方法》openal32.dll是一种重要的系统文件,当它丢失时,会给我们的电脑带来很大的困扰,很多人都曾经遇到... 在使用电脑过程中,我们常常会遇到一些.dll文件丢失的问题,而openal32.dll的丢失是其中比较

python中字符串拼接的几种方法及优缺点对比详解

《python中字符串拼接的几种方法及优缺点对比详解》在Python中,字符串拼接是常见的操作,Python提供了多种方法来拼接字符串,每种方法有其优缺点和适用场景,以下是几种常见的字符串拼接方法,需... 目录1. 使用 + 运算符示例:优缺点:2. 使用&nbsjsp;join() 方法示例:优缺点:3