《KAN》的四个问题（转自b站耿直哥）

已于 2024-05-20 16:03:08 修改
阅读量922 收藏 15
点赞数 18
分类专栏： CV论文笔记 NLP论文笔记 文章标签： 人工智能 机器学习
于 2024-05-20 15:58:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zssss12/article/details/139062689
版权

视频链接

【KAN网络】非线性空间美学的崛起，傅里叶级数转世泰勒展开重生_哔哩哔哩_bilibili

1、KAN和MLP的本质区别

MLP：输入的线性组合外套一层激活函数，从而实现非线性变换 写成矩阵形式更为简洁

对于深度神经网络就是线性组合 激活函数 再组合 再激活 如此反复

把线性空间不断变换扭曲成非线性的空间 这使得原来非线性不可分的数据在新的空间中反倒线性可分了

MLP的优点：结构简洁高效

MLP的缺点：

1、激活函数固定而脆弱，一旦导数为0或者太大，就会产生梯度消失/爆炸，导致反向传播失效

2、线性组合过于简单，想学到有用的信息需要庞大的参数量，效率的低下，处理高维数据或者长期依赖能力有限

  • KAN：针对MLP的缺点做了改进，对于输入直接激活非线性变换然后再组合，在这个两层结构中,相当于把激活函数放到了连接上

以样条函数（作为激活函数）为例，当多个样条函数组合起来就能模拟任意函数

写成公式如上图所示，数学上叫Kolmogorov-Arnold表示定理，这也是KAN网络名字的来源了。

2、KAN的核心原理和主要思想

单丝不成线，独木难成林，单独的KAN结构其实用处不大，KAN的牛逼之处在于扩展了深度网络，写成矩阵形式不再是MLP线性组合与激活的嵌套，而是激活 激活 再激活 

比如选择样条函数进行参数化学习，虽然学起来比线性模型更难，但是非线性表征能力大大提升，能用很少的节点实现更高的准确度，一个两层宽度为10的KAN网络求解偏微分方程比一个四层宽度为100的MLP效果还要好，KAN是这个MLP参数量的1%

3.为什么它有很好的准确性和可解释性

除了上述提到的结构上的优势还必须有好的训练算法，MLP通过增加网络宽度和深度提升性能，需要独立训练不同大小的模型，

而KAN提出了网格扩展技术，先粗后精，递进精调，无需重训就能实现模型精度的提升，

除此之外他还提出了新的网络结构自适应算法：在初始网络上通过稀疏化，剪枝，设定特定的激活函数，训练放射参数，符号化等步骤进行优化，大大提升了网络的可解释性让神经网络这个黑河训练的老大难问题得到了极大的缓解

例：求解f(x,y)=xy网络的结构如下图所示

x和y经过直线求和再二次函数对应x加y的平方，而二者直接二次函数激活对应x方和y方，过反斜杠直线相当于求差，简直就是所见即所得，这带来了两大好处，正着用算法可以实现数据内在模式的探索和发现，反着用能把世界模型和学科知识嵌入网络结构，让Sora这样的模型长上翅膀，实现对物理世界的真实模拟

4、当前的缺点和对AI领域的深远影响

官方的代码目前还非常的幼稚。跑起来比较慢，工程化尚且不足，此外数学层面上核心的K-A表示定理能否扩展到深层网络还有待论证，但瑕不掩瑜KAN的出现如同哥伦布发现了新大陆，对AI尤其是深度学习提供了更广阔的空间

对于3中的技术细节详见下一篇《KAN》论文笔记

KAN Convolutions （KAN卷积）的Pytorch实现
05-22
KAN是当前网络结构的主要潮流 这里是基于Pytorch实现的KAN卷积网络的结构 ...该项目将 Kolmogorov-Arnold 网络 （KAN） 创新架构的理念扩展到卷积层，将卷积的经典线性变换更改为每个像素中可学习的非线性激活。
一文通透想取代MLP的KAN：通俗理解Kolmogorov-Arnold定理和KAN的方方面面
热门推荐
结构之法 算法之道
05-20 2万+
24年5.19，我司七月的「LLM论文100课」里的一学员在课程q群内提到，“最近总是看到KAN，KAN这个概念重要吗？需要了解学习吗？”，我当时回复道：KAN值得学习和了解，咱们课程上 也要讲一下如此，本文也就出来了。
KAN和MLP
qq_52806062的博客
06-18 891
固定的。
2024年有哪些人工智能书籍推荐？
人邮异步社区
01-10 2722
本书深入阐述了大语言模型的基本概念和算法、研究前沿以及应用，涵盖大语言模型的广泛主题，从基础到前沿，从方法到应用，涉及从方法论到应用场景方方面面的内容。最后，讨论了语言模型对环境的影响。本书从技术角度深度解析大模型的原理，从大模型的基础概念及领域发展现状入手，概述大模型的理论基础，介绍OpenAI GPT、清华大学GLM、Meta Llama等主流大模型的技术原理，并从大模型参数高效微调、大模型指令微调、大模型训练优化和大模型推理优化等多角度解析大模型背后的技术，带领读者全方位掌握大模型的原理和实践方法。
数学遇上人工智能，深度学习架构迎来最强挑战者 KAN，MLP 的时代结束了？
AI科技大本营
05-03 7709
多层感知器（MLP, Multilayer Perceptron）作为人工神经网络的一个基本架构，一直在历史上扮演着至关重要的角色。MLP 可以被视为深度学习领域的“基石”或“基础构件”，它的意义在于：基础模型：MLP 作为最早被广泛研究和应用的神经网络模型之一，是许多复杂深度学习架构的起点和基础。它奠定了神经网络能够解决非线性问题的基础，是理解更高级神经...
全新神经网络架构KAN——本文用于学习与探索
xiao_ling_yun的博客
05-11 1万+
24年新神经网络结构KAN论文学习 + 解析，KAN有望作为MLP的更优平替
数学遇上人工智能，深度学习架构迎来最强挑战者 KAN，MLP 的时代结束了
人工智能学家
05-04 575
来源：《新程序员》编辑部文：王启隆多层感知器（MLP, Multilayer Perceptron）作为人工神经网络的一个基本架构，一直在历史上扮演着至关重要的角色。MLP 可以被视为深度学习领域的“基石”或“基础构件”，它的意义在于：基础模型：MLP 作为最早被广泛研究和应用的神经网络模型之一，是许多复杂深度学习架构的起点和基础。它奠定了神经网络能够解决非线性问题的基础，是理解更高级神经网络结构...
全新神经网络架构KAN一夜爆火
weixin_45871964的博客
05-23 1840
MLP 在节点（“神经元”）上具有固定的激活函数，而 KAN 在边（“权重”）上具有可学习的激活函数。在数据拟合和 PDE 求解中，较小的 KAN 可以比较大的 MLP 获得更好的准确性。KAN的架构设计来自一个数学问题：对一个由输入输出对 {xi, yi} 组成的有监督学习任务，寻找函数f 使得所有数据点的 yi≈ f (xi)。相对MLP，KAN也具备更好的可解释性，适合作为数学和物理研究中的辅助模型，帮助发现和寻找更基础的数值规律。3）可以使用非线性核函数来替代MLP“边”（Edge）上的线性函数；
KAN+LSTM时间序列预测（Python完整源码和数据）
10-09
KAN作为这两年最新提出的机制，目前很少人用，很适合作为时间序列预测的创新点，可以结合常规的网络加上个优化方法做创新。适合功率预测，负荷预测，流量预测，浓度预测，机械领域预测等等各种时间序列预测。 KAN...
kan_java_易安卓_kan7874_
10-01
在本项目中，"kan_java_易安卓_kan7874_" 提供的是一个基于安卓平台的连连看游戏源码。这个源码涵盖了多种不同主题的连连看游戏，如水果连连看、蔬菜连连看和动物连连看，旨在提供一个从易到难的游戏体验，分为初级...
人工智能KAN神经网络+python代码
11-22
在实际应用中，KAN神经网络可以帮助研究人员解决各种复杂问题，例如图像识别、自然语言处理、预测分析等。由于其优越的性能，KAN神经网络在科学研究中也扮演着重要角色，它能够加速数学和物理等领域的发现与创新。...
Kan网络pytorch的实现
05-31
这使得KAN网络能够更灵活地调整每个连接上的激活函数，从而提高模型的表示能力。 非线性核函数：KAN网络可以使用非线性核函数来替代MLP“边”上的线性函数，进一步增强了模型的非线性处理能力。 逼近精度：KAN网络...
KAN网络技术最全解析—最热KAN能否干掉MLP和Transformer？（收录于GPT-4/ChatGPT技术与产业分析）
chenweiPhD的博客
05-05 1万+
陈巍：本文详细分析了KAN的主要思想与架构，适合技术入门与相关领域投资人阅读
一文白话搞懂【KAN】网络，真有那么神奇？
全栈O-Jay的博客
05-22 1万+
良心总结，白话搞懂【KAN】网络，神奇但没有那么神奇。
KAN网络最全解析——比肩MLP和Transformer？
小嘤熊的博客
05-11 5630
如果你想要进一步了解更多的相关知识，
KAN网络解读
standwithme_ok的博客
06-23 2575
KAN只不过是样条曲线和MLP的组合，利用了各自的优点并避免了各自的缺点。样条对于低维函数来说是准确的，易于局部调整，并且能够在不同分辨率之间切换。然而，样条曲线存在严重的维数灾难(COD)问题，因为它们无法利用组合结构。另一方面，MLP受到COD的影响较小，但由于其无法优化单变量函数，因此在低维度上不如样条准确。1）作者所提出的更深层次的KAN模型，在实验上取得了一些成功，但只对其做了初步的数学分析，仍需要更多的理论支撑。2。
爆火后反转！「一夜干掉MLP」的KAN只是一个普通的MLP？
Paper weekly
05-09 392
©作者 |蛋酱、张倩来源 |机器之心KAN 作者：我想传达的信息不是「KAN 很棒」，而是「尝试批判性地思考当前的架构，并寻求从根本上不同的替代方案，这些方案可以完成有趣、有用的事情。」多层感知器（MLP），也被称为全连接前馈神经网络，是当今深度学习模型的基础构建块。MLP 的重要性无论怎样强调都不为过，因为它们是机器学习中用于逼近非线性函数的默认方法。但是最近，来自 MIT 等机构的研究者提...
耿直哥–深度学习必修课：进击算法工程师100节；无偿分享
2502_90962612的博客
03-12 279
耿直哥–深度学习必修课：进击算法工程师100节,资源链接 https://pan.quark.cn/s/0980a7cf9270。相关编程教程资源（每日更新），汇总链接：https://pan.quark.cn/s/09d7c711b997。
kan替换mlp代码
最新发布
03-16
<think>好的，用户想要用KAN（可能是指某种特定结构或算法）替代传统的MLP（多层感知机），但现有的引用内容里并没有直接提到KAN的相关信息。首先需要明确KAN具体指什么，可能用户指的是某种新型的神经网络结构，比如Kolmogorov–Arnold Networks，或者是其他缩写。假设这里KAN是指Kolmogorov–Arnold Network，这是一种基于Kolmogorov-Arnold表示定理的网络结构，理论上可以表示任何连续函数。 根据用户提供的引用内容，引用[1]提到了TuiGAN的生成器架构，引用[2]讨论了文本和图像的图表示，引用[3]关于自动驾驶的法律法规。这些似乎与KAN替换MLP无直接关联。因此，可能需要基于对KAN的一般理解来构建示例代码。 接下来需要考虑如何将KAN结构转换为代码。传统的MLP由全连接层组成，而KAN可能涉及不同的层结构，比如使用可学习的激活函数或更复杂的连接方式。假设KAN的核心思想是使用可调整的基函数组合，可以通过自定义PyTorch层来实现。 可能的实现步骤包括：定义可学习的参数作为基函数的系数，设计前向传播时的组合方式。例如，每个神经元的输出不再是简单的权重和输入的线性组合加上激活函数，而是多个基函数的线性组合，这些基函数的参数可以通过训练调整。 需要注意代码的兼容性，确保能够替换现有MLP中的全连接层。同时，需要验证实现的正确性，比如梯度计算是否正确，模型是否能正常训练。 最后，生成相关问题，帮助用户进一步理解KAN的应用和优化，比如性能比较、训练技巧和应用场景等。</think>### 使用KAN替代MLP的实现思路 目前文献中关于KAN（如指代Kolmogorov-Arnold Network）替代MLP的实现尚未形成标准范式，但可根据其数学原理构建基础框架。以下提供一个基于PyTorch的简化实现示例： ```python import torch import torch.nn as nn class KANLayer(nn.Module): def __init__(self, in_dim, out_dim, basis_funcs=5): super().__init__() # 定义可学习的基函数参数 self.coeffs = nn.Parameter(torch.randn(out_dim, in_dim, basis_funcs)) # 初始化基函数类型（示例使用多项式基） self.basis = [lambda x, i=i: x.pow(i+1) for i in range(basis_funcs)] def forward(self, x): output = [] for out_idx in range(self.coeffs.shape[0]): # 对每个输出神经元计算基函数组合 neuron_output = 0 for in_idx in range(self.coeffs.shape[1]): basis_sum = sum(c * f(x[:, in_idx]) for c, f in zip(self.coeffs[out_idx, in_idx], self.basis)) neuron_output += basis_sum output.append(neuron_output) return torch.stack(output, dim=1) # 示例网络结构 class KAN(nn.Module): def __init__(self): super().__init__() self.kan1 = KANLayer(784, 128) self.kan2 = KANLayer(128, 10) def forward(self, x): x = x.view(-1, 784) x = torch.relu(self.kan1(x)) return self.kan2(x) ``` 关键改进点： 1. 基函数选择：可替换为样条函数、径向基函数等 2. 参数初始化：需要根据基函数特性设计初始化策略 3. 正则化：添加L1/L2约束防止过拟合
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值