模拟人类大脑每秒计算数量级及参数容量的估计

2024-05-08 02:48

本文主要是介绍模拟人类大脑每秒计算数量级及参数容量的估计,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

      因为海马区两类中间神经元峰值放电频率为310±33.17Hz(类型Ⅰ)和410±47.61Hz(类型Ⅱ)[1]。可以推断出人类神经元的最大计算频率在450Hz左右。可以在最大值410+47.61Hz上保守估计为500Hz。

      根据维基百科List of animals by number of neurons人类神经元数量为860亿,突触数量为10^14–10^15,也就是人类每个神经元平均拥有1163~11628个神经突触,下面我们取最大值 11628 作为基准以方便论述。所以大脑每秒最高计算量为860亿乘以500为:43万亿(这里认为突触只参与数据传输)。

      根据现有的神经元计算模型,如下(来源于ufldl.stanford)

      其中平均每个神经元计算1次需要的计算为:

                                                        

      其中n=11628。f 为Sigmoid函数或者其他激活函数。f 函数中的浮点计算次数为:23254次。f 函数的浮点计算次数为4次左右,所以整个h浮点计算次数为:23258次(这里忽略I/O的效能、内存的架构、快取内存一致性等,下同)。

      假设以大脑的神经元数量(860亿)为需要模拟的神经元数量,以前面大脑处理频率(500Hz)作为计算频率,那么计算机每秒最高需要的总浮点计算次数为:79亿亿次。

      可见现在神经元的计算模型严重依赖于突触的数量,其计算量是最高需要大脑的18327倍! (现在的深度网络已经废弃Sigmoid而以Relu作为激活函数,其中的计算会遇到大量的0值,但是以现在的算法和计算机模型,0值依然要计算,而大脑却不是,大脑的计算方式是惰性计算,即有电流(值)传到神经元才计算,没有就不计算,所以这也是大脑高效的一个原因) 。 因为我们的大脑不会在同一时间其所有的神经元同时激活,所以这里我们在估算大脑的计算数量级的时候,忽略了大脑神经元的平均激活数量和最大激活数量,而仅仅以总的数量作为计算激活数量。如果以最大激活数量作为我们计算法基准,那么整个计算的数量级可能下降很多,此时计算机需要模拟的每秒最高计算次数:如果最多同时激活50%神经元时为,39.5亿亿次;同时激活10%时为,7.9亿亿次。

      天河二号的峰值计算速度每秒5.49亿亿次,因为上面计算量取的最多突触连接和最大大脑处理频率时的,所以天河二号有高可能性能够模拟人类大脑。

      最近(2016年3月)看了AlphaGo与李世石的比赛时的硬件数据,根据估计其运算速度大概为500万亿次浮点每秒,假设在此时AlphaGo与李世石的用脑量相同,那么模拟人脑所需要的计算量应该比上面估计的还要小。

     可以说当PC计算速度超过1亿亿次浮点每秒的时候,计算(机器)智能将迎来了一个新的纪元,人类也将迎来一个新的纪元。

    附:如果按照现代神经网络的架构,和人脑相同的参数,那么人脑参数量为:100~1000万亿参数量,参数以float类型表示,即占用4 byte,那么计算机所需要的硬盘空间大概为400TB~4000TB【突触数量x4/10^12】。

参考

  1. 海马CA1区ripple节律相关高频放电中间神经元

这篇关于模拟人类大脑每秒计算数量级及参数容量的估计的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/969090

相关文章

SpringBoot接收JSON类型的参数方式

《SpringBoot接收JSON类型的参数方式》:本文主要介绍SpringBoot接收JSON类型的参数方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、jsON二、代码准备三、Apifox操作总结一、JSON在学习前端技术时,我们有讲到过JSON,而在

JAVA虚拟机中 -D, -X, -XX ,-server参数使用

《JAVA虚拟机中-D,-X,-XX,-server参数使用》本文主要介绍了JAVA虚拟机中-D,-X,-XX,-server参数使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录一、-D参数二、-X参数三、-XX参数总结:在Java开发过程中,对Java虚拟机(JVM)的启动参数进

CSS模拟 html 的 title 属性(鼠标悬浮显示提示文字效果)

《CSS模拟html的title属性(鼠标悬浮显示提示文字效果)》:本文主要介绍了如何使用CSS模拟HTML的title属性,通过鼠标悬浮显示提示文字效果,通过设置`.tipBox`和`.tipBox.tipContent`的样式,实现了提示内容的隐藏和显示,详细内容请阅读本文,希望能对你有所帮助... 效

解读docker运行时-itd参数是什么意思

《解读docker运行时-itd参数是什么意思》在Docker中,-itd参数组合用于在后台运行一个交互式容器,同时保持标准输入和分配伪终端,这种方式适合需要在后台运行容器并保持交互能力的场景... 目录docker运行时-itd参数是什么意思1. -i(或 --interactive)2. -t(或 --

Python如何计算两个不同类型列表的相似度

《Python如何计算两个不同类型列表的相似度》在编程中,经常需要比较两个列表的相似度,尤其是当这两个列表包含不同类型的元素时,下面小编就来讲讲如何使用Python计算两个不同类型列表的相似度吧... 目录摘要引言数字类型相似度欧几里得距离曼哈顿距离字符串类型相似度Levenshtein距离Jaccard相

Java通过反射获取方法参数名的方式小结

《Java通过反射获取方法参数名的方式小结》这篇文章主要为大家详细介绍了Java如何通过反射获取方法参数名的方式,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1、前言2、解决方式方式2.1: 添加编译参数配置 -parameters方式2.2: 使用Spring的内部工具类 -

Python调用另一个py文件并传递参数常见的方法及其应用场景

《Python调用另一个py文件并传递参数常见的方法及其应用场景》:本文主要介绍在Python中调用另一个py文件并传递参数的几种常见方法,包括使用import语句、exec函数、subproce... 目录前言1. 使用import语句1.1 基本用法1.2 导入特定函数1.3 处理文件路径2. 使用ex

MySQL中时区参数time_zone解读

《MySQL中时区参数time_zone解读》MySQL时区参数time_zone用于控制系统函数和字段的DEFAULTCURRENT_TIMESTAMP属性,修改时区可能会影响timestamp类型... 目录前言1.时区参数影响2.如何设置3.字段类型选择总结前言mysql 时区参数 time_zon

Python如何使用seleniumwire接管Chrome查看控制台中参数

《Python如何使用seleniumwire接管Chrome查看控制台中参数》文章介绍了如何使用Python的seleniumwire库来接管Chrome浏览器,并通过控制台查看接口参数,本文给大家... 1、cmd打开控制台,启动谷歌并制定端口号,找不到文件的加环境变量chrome.exe --rem

使用C#代码计算数学表达式实例

《使用C#代码计算数学表达式实例》这段文字主要讲述了如何使用C#语言来计算数学表达式,该程序通过使用Dictionary保存变量,定义了运算符优先级,并实现了EvaluateExpression方法来... 目录C#代码计算数学表达式该方法很长,因此我将分段描述下面的代码片段显示了下一步以下代码显示该方法如