【学术前沿】基于非易失性存储器硬件特性的存算一体神经网络设计方法

本文主要是介绍【学术前沿】基于非易失性存储器硬件特性的存算一体神经网络设计方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【学术前沿】基于非易失性存储器硬件特性的存算一体神经网络设计方法

Lixia HAN, Peng HUANG, Yijiao WANG, Zheng ZHOU, Haozhang YANG, Yiyang CHEN, Xiaoyan LIU & Jinfeng KANG, Mitigating Methodology of Hardware Non-ideal Characteristics for Non-volatile Memory Based Neural Networks, doi: 10.1007/s11432-023-4021-y

image

研究简介

神经网络能够从复杂的非结构化数据中提取深层次的特征和信息,为数据处理提供了高效的解决方案。面向神经网络算法,传统基于冯诺依曼架构的信息处理系统面临着数据搬运造成的功耗和延迟瓶颈,极大地限制了能量效率和算力的提升。基于非易失性存储器的模拟型存算一体范式,可以在存储单元原位地高并行地执行向量矩阵乘法运算,消除了大量数据搬运,具有低功耗和低延迟的特点,在神经网络推理加速系统中显示出巨大的应用潜力。然而,来自器件、阵列和混合信号电路的非理想特性会引发计算误差,从而影响神经网络在存算一体芯片上的推理精度,成为基于非易失性存储器的模拟存算一体加速器向实际应用转化的关键障碍。

图片

图1:基于非易失性存储器的模拟型存算一体范式面临的非理想因素分类

图片

图2:提高基于非易失性存储器的存算一体神经网络硬件推理精度的方法流程图

来自北京大学和北京航空航天大学的研究人员开展了基于非易失性存储器硬件特性的存算一体神经网络设计方法研究。具体的创新点和意义包括:

  1. 本研究分析了基于非易失性存储器的存算一体神经网络面临的来自器件,阵列和电路的非理想因素,针对不同非理性因素的物理特性,建立了行为级描述模型,并根据其数学表达形式,将其分为量化误差波动误差固定缺陷误差非线性误差互连线电压降误差

  2. 针对上述非理想因素模型的求解复杂度不同的特点,本研究分别提出了硬件感知训练权重映射修正方法来提高存算一体神经网络推理精度

    1. 硬件感知训练通过在算法训练过程中整合复杂度低的非理想因素来增强算法拟合能力;
    2. 权重映射修正通过在权重编程前补偿复杂度高的互连线电压降误差来提升存算一体神经网络推理精度。
  3. 对于CNN识别ImageNet数据集以及Transformer执行WMT中英翻译任务,上述存算一体神经网络设计方法可以有效实现95%以上的算法精度;在基于Flash存算一体芯片的MNIST数据集的实验验证中,存算一体神经网络推理精度达到了99.6%的算法精度。

相关设计方法已作为存算一体软硬件协同设计工具的子模块嵌入开源工具CoMN(https://github.com/booniebears/CoMN/​)中。

图片

图3:CNN识别ImageNet数据集以及Transformer执行WMT中英翻译任务的硬件推理精度

图片

图4:基于Flash的模拟型存算一体芯片的MNIST数据集的实验验证(以数字“5”为例)

CoMN

CoMN平台由黄鹏教授的研究小组(北京大学)开发。该平台可供设计人员快速验证和进一步优化基于非易失性存储器的神经网络加速器的设计。模型的版权由开发人员维护,模型根据MIT许可证的条款进行分发。

image

CoMN 包括三个主要部分: 算法适配器,旨在通过考虑 NVM 设备的非理想性来提高神经网络的推理精度; mapper,开发通过优化管道、权重转换、分区和放置来自动将 CNN 模型映射到 CIM 芯片; 以及硬件优化器,开发用于在早期设计阶段搜索硬件微架构和电路设计空间。

相关材料

  1. 原文链接:Mitigating Methodology of Hardware Non-ideal Characteristics for Non-volatile Memory Based Neural Networks (sciengine.com)
  2. CoMN:GitHub - booniebears/CoMN

这篇关于【学术前沿】基于非易失性存储器硬件特性的存算一体神经网络设计方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1096923

相关文章

Spring Security方法级安全控制@PreAuthorize注解的灵活运用小结

《SpringSecurity方法级安全控制@PreAuthorize注解的灵活运用小结》本文将带着大家讲解@PreAuthorize注解的核心原理、SpEL表达式机制,并通过的示例代码演示如... 目录1. 前言2. @PreAuthorize 注解简介3. @PreAuthorize 核心原理解析拦截与

一文详解JavaScript中的fetch方法

《一文详解JavaScript中的fetch方法》fetch函数是一个用于在JavaScript中执行HTTP请求的现代API,它提供了一种更简洁、更强大的方式来处理网络请求,:本文主要介绍Jav... 目录前言什么是 fetch 方法基本语法简单的 GET 请求示例代码解释发送 POST 请求示例代码解释

Feign Client超时时间设置不生效的解决方法

《FeignClient超时时间设置不生效的解决方法》这篇文章主要为大家详细介绍了FeignClient超时时间设置不生效的原因与解决方法,具有一定的的参考价值,希望对大家有一定的帮助... 在使用Feign Client时,可以通过两种方式来设置超时时间:1.针对整个Feign Client设置超时时间

C/C++错误信息处理的常见方法及函数

《C/C++错误信息处理的常见方法及函数》C/C++是两种广泛使用的编程语言,特别是在系统编程、嵌入式开发以及高性能计算领域,:本文主要介绍C/C++错误信息处理的常见方法及函数,文中通过代码介绍... 目录前言1. errno 和 perror()示例:2. strerror()示例:3. perror(

CSS去除a标签的下划线的几种方法

《CSS去除a标签的下划线的几种方法》本文给大家分享在CSS中,去除a标签(超链接)的下划线的几种方法,本文给大家介绍的非常详细,感兴趣的朋友一起看看吧... 在 css 中,去除a标签(超链接)的下划线主要有以下几种方法:使用text-decoration属性通用选择器设置:使用a标签选择器,将tex

C++变换迭代器使用方法小结

《C++变换迭代器使用方法小结》本文主要介绍了C++变换迭代器使用方法小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1、源码2、代码解析代码解析:transform_iterator1. transform_iterat

C++中std::distance使用方法示例

《C++中std::distance使用方法示例》std::distance是C++标准库中的一个函数,用于计算两个迭代器之间的距离,本文主要介绍了C++中std::distance使用方法示例,具... 目录语法使用方式解释示例输出:其他说明:总结std::distance&n编程bsp;是 C++ 标准

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

Java中的String.valueOf()和toString()方法区别小结

《Java中的String.valueOf()和toString()方法区别小结》字符串操作是开发者日常编程任务中不可或缺的一部分,转换为字符串是一种常见需求,其中最常见的就是String.value... 目录String.valueOf()方法方法定义方法实现使用示例使用场景toString()方法方法