KAN2.0来了:符号+连接双驱动下的AI4S

2024-08-22 14:20
文章标签 连接 驱动 符号 ai4s kan2.0

本文主要是介绍KAN2.0来了:符号+连接双驱动下的AI4S,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

看吧~在经历了今年4月末KAN发布之初带给业界的惊艳,再到学术与产业间的各种争鸣甚至最后演变成了某种学术诚信上的“诋毁”,“KAN”团队仍保持初心,终迎来了KAN 2.0。

b5f42cb898894cf78911362496b74749.jpg

记得当初自己在某号/某乎/某薯上也发表或记录或解答了关于KAN的一些观点、想法和问题,并与一作小帅哥也产生了些许互动和碰撞,但着实也遇到一些不是很纯粹的“comment”..呃.我呢也都该怼怼过..但有的怼有收获,有的怼就是一种无意义的消耗和浪费了~喜欢看热闹的伙伴也可以访问之前历史笔记或文章,也许会有意外发现哈哈~

2e4dd56671ef41e684736e004c8b2854.jpg

在粗读了这篇KAN 2.0之后,整体感觉相比1.0在所谓的符号化层面的“精雕”上更近了一步,在将符号化与神经网络的链接上也更多元和巧妙~

6548e059470c47dfbcd29d73aab5780b.jpg

包括在“AI4S”上以「好奇心驱动的科学」的洞察视角上尝试将符号化本身进一步的拆解、表征甚至是“符号化”(读起来有点绕..),然后再与KAN网络优雅的集成起来。如文中作者探讨了三种将领域知识整合到KAN中的归纳偏置,从最粗略(最简单/相关性)到最精细(最困难/因果关系):重要特征、模块化结构和符号公式。

同时,本篇论文KAN 2.0在原始KAN 1.0网络的基础上,引入了一种称为MultKAN的新模型,其核心改进是引入额外的乘法层进行增强,侧面的将Kolmogorov-Arnold表示定理提出的“任何连续高维函数都可以分解为单变量连续函数和加法的有限组合“扩展到了在科学和日常生活中的普遍存在的“乘法”上,更清楚地揭示了数据中的乘法结构,以期增强可解释性和表达能力。(当然这背后一定包含了更进一步的理论证明)

除此之外,文中除了进行原理层面的说明,论文还讲解了多个AI4S具体案例,如何将KAN融入到现实的科学研究中,比如发现新的物理概念和定律。包括:守恒量、拉格朗日量、隐藏对称性和本构方程等…

ac8062a2088d4383b6753ad3bdfdde28.jpg

鉴于这篇文章包含的信息量和数学理论背景较复杂,且仅通过一篇笔记和记录就草草了事也是不能够的,后续将分几篇来分别给大家带来分析和观点分享,望大家持续关注~

最后再说一下回归第一性原理的自总结:KAN采用了一种巧妙而优雅的方法将抽象的符号化表征思想带入到神经网络中,从而实现了符号主义与连接主义的某种平衡~ 

不同于以往MLP的简单粗暴,甚至与火极一时并在AIGC大行其道的《The bitter lesson》或「scaling law」在思想上大相径庭。

 

这篇关于KAN2.0来了:符号+连接双驱动下的AI4S的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1096517

相关文章

Nginx设置连接超时并进行测试的方法步骤

《Nginx设置连接超时并进行测试的方法步骤》在高并发场景下,如果客户端与服务器的连接长时间未响应,会占用大量的系统资源,影响其他正常请求的处理效率,为了解决这个问题,可以通过设置Nginx的连接... 目录设置连接超时目的操作步骤测试连接超时测试方法:总结:设置连接超时目的设置客户端与服务器之间的连接

SQL 中多表查询的常见连接方式详解

《SQL中多表查询的常见连接方式详解》本文介绍SQL中多表查询的常见连接方式,包括内连接(INNERJOIN)、左连接(LEFTJOIN)、右连接(RIGHTJOIN)、全外连接(FULLOUTER... 目录一、连接类型图表(ASCII 形式)二、前置代码(创建示例表)三、连接方式代码示例1. 内连接(I

java如何通过Kerberos认证方式连接hive

《java如何通过Kerberos认证方式连接hive》该文主要介绍了如何在数据源管理功能中适配不同数据源(如MySQL、PostgreSQL和Hive),特别是如何在SpringBoot3框架下通过... 目录Java实现Kerberos认证主要方法依赖示例续期连接hive遇到的问题分析解决方式扩展思考总

Python中连接不同数据库的方法总结

《Python中连接不同数据库的方法总结》在数据驱动的现代应用开发中,Python凭借其丰富的库和强大的生态系统,成为连接各种数据库的理想编程语言,下面我们就来看看如何使用Python实现连接常用的几... 目录一、连接mysql数据库二、连接PostgreSQL数据库三、连接SQLite数据库四、连接Mo

oracle如何连接登陆SYS账号

《oracle如何连接登陆SYS账号》在Navicat12中连接Oracle11g的SYS用户时,如果设置了新密码但连接失败,可能是因为需要以SYSDBA或SYSOPER角色连接,解决方法是确保在连接... 目录oracle连接登陆NmOtMSYS账号工具问题解决SYS用户总结oracle连接登陆SYS账号

VScode连接远程Linux服务器环境配置图文教程

《VScode连接远程Linux服务器环境配置图文教程》:本文主要介绍如何安装和配置VSCode,包括安装步骤、环境配置(如汉化包、远程SSH连接)、语言包安装(如C/C++插件)等,文中给出了详... 目录一、安装vscode二、环境配置1.中文汉化包2.安装remote-ssh,用于远程连接2.1安装2

关于rpc长连接与短连接的思考记录

《关于rpc长连接与短连接的思考记录》文章总结了RPC项目中长连接和短连接的处理方式,包括RPC和HTTP的长连接与短连接的区别、TCP的保活机制、客户端与服务器的连接模式及其利弊分析,文章强调了在实... 目录rpc项目中的长连接与短连接的思考什么是rpc项目中的长连接和短连接与tcp和http的长连接短

Xshell远程连接失败以及解决方案

《Xshell远程连接失败以及解决方案》本文介绍了在Windows11家庭版和CentOS系统中解决Xshell无法连接远程服务器问题的步骤,在Windows11家庭版中,需要通过设置添加SSH功能并... 目录一.问题描述二.原因分析及解决办法2.1添加ssh功能2.2 在Windows中开启ssh服务2

Redis连接失败:客户端IP不在白名单中的问题分析与解决方案

《Redis连接失败:客户端IP不在白名单中的问题分析与解决方案》在现代分布式系统中,Redis作为一种高性能的内存数据库,被广泛应用于缓存、消息队列、会话存储等场景,然而,在实际使用过程中,我们可能... 目录一、问题背景二、错误分析1. 错误信息解读2. 根本原因三、解决方案1. 将客户端IP添加到Re

Mysql 中的多表连接和连接类型详解

《Mysql中的多表连接和连接类型详解》这篇文章详细介绍了MySQL中的多表连接及其各种类型,包括内连接、左连接、右连接、全外连接、自连接和交叉连接,通过这些连接方式,可以将分散在不同表中的相关数据... 目录什么是多表连接?1. 内连接(INNER JOIN)2. 左连接(LEFT JOIN 或 LEFT