一个反直觉的说法
先抛结论:在数学意义上,我们身处的世界,可以被写成一堆函数的叠加。
你抬头看一片树叶落下,它的轨迹是一条函数;你听一段音乐,声波是时间的函数;你判断对面那个人是喜是怒,你的大脑在做一次从「像素」到「情绪」的映射——也是一个函数。物理学家几百年在做的事,说穿了就是一件事:找出描述世界的那个函数。
而过去十几年,人工智能做的事,是另一件事:不找函数,直接拟合函数。
这两句话之间的距离,就是这篇文章想讲的东西。

万能逼近定理:神经网络的"底气"从哪来
深度学习能干活,不是因为它「聪明」,而是因为它站在一条数学定理上:万能逼近定理(Universal Approximation Theorem)。
这条定理的结论,用一句话讲:
只要隐层神经元足够多,一个前馈神经网络可以在任意精度上逼近任意连续函数。
注意它的分量。它不是说「神经网络能算很多东西」,而是说「神经网络几乎什么函数都能逼近」。1989 年,Cybenko 证明了单隐层、S 型激活函数的情形;1991 年,Hornik 进一步证明:激活函数的具体选择不是关键,多层多神经元的架构本身才是关键。
这就解释了一个很多人困惑的现象:为什么神经网络看起来像个「黑盒」,却能那么准地预测天气、识别图片、生成文字?
因为它本质上在干一件很朴素的事——给你一堆点,找出穿得过这些点的那条曲线。
数学上,一个单隐层网络可以写成:
f(x) = Σ vᵢ · σ(wᵢ · x + bᵢ) i = 1 … N
其中 σ 是激活函数,wᵢ、bᵢ 是第 i 个神经元的权重和偏置,vᵢ 是输出层权重。每一项 σ(wᵢ·x + bᵢ) 就是一小块「基函数」,N 个叠加起来,就能拼出任意形状的曲线。
训练,就是不断微调这些 w 和 b,让拼出来的曲线离目标函数越来越近。
亲手试一下:什么叫"拟合"
下面这个演示干的就是这件事。左上是拟合过程:橙色虚线是真实规律,蓝色实线是模型当前的猜测,红色竖线是每个点的误差;把这些误差平方后取平均,就是右边的损失函数。点「重新训练」看它一步步靠近。
演示里有三个面板,值得各看一眼:
- ① 拟合函数:模型曲线在数据点之间穿行。残差平方和从 0.435 一路降到 0.025,正好压到噪声下限(σ² = 0.0256)——再往下就是背噪声了。
- ② 损失函数:每次迭代的 MSE,单调下降说明在收敛。如果它开始上下跳,就是学习率太大。
- ③ 损失地形:把直线模型
y = a·x + b的损失画成等高线,球是梯度下降的轨迹。曲面是凸的、只有一个谷底,球总能滚到全局最优——但它最低点的 MSE ≈ 0.44,是多项式模型(0.025)的 17 倍。
地形好走 ≠ 模型够用。这就是欠拟合。
但定理有两句没说的话
万能逼近定理很漂亮,可如果只看它的前半句,很容易误读。它有两句关键的话被讲得很少:
第一,它只说"存在",不说"怎么找"。 定理保证了「这样的网络存在」,但没说怎么通过训练找到它,也没说需要多少神经元、多少层。这是理论上的保证,工程上的空白——而这恰恰是深度学习这些年真正解决的问题。
第二,它只保证"在训练数据覆盖的区域内逼近",不管泛化。 网络能把训练样本完美穿起来,不代表它在没见过的数据上也能对。这正是过拟合的来源,也是为什么模型越宽越容易「背答案」。
所以「神经网络能拟合万物」这句话,是一种简化后的浪漫。真实情况是:理论上能,实践上要恰好够、又不能过头。
KAN:把函数从"边"上解放出来
2024 年 4 月,MIT 的 Ziming Liu 和 Max Tegmark 等人提出了一个新架构——Kolmogorov–Arnold Network(KAN),直接把 1957 年 Kolmogorov 与 Arnold 的老定理翻了出来。
它的想法,和传统网络正好反过来:
| MLP(传统多层感知机) | KAN(Kolmogorov–Arnold 网络) | |
|---|---|---|
| 可学习的对象 | 边上的权重(数字) | 边上的函数(曲线) |
| 节点激活函数 | 固定(ReLU、Sigmoid 等) | 无可学习节点,激活在边上 |
| 可解释性 | 黑盒 | 可视化,能「看」出规律 |
| 逼近效率 | 较宽的网络 | 更小的网络就能达到同等精度 |
KAN 的核心思想是:不要用简单的数字权重去乘,而是给每条边配一个可学习的单变量函数(用样条参数化)。 这样每一层都在做「非线性函数的叠加」,而不是「线性变换 + 固定激活」。
Kolmogorov–Arnold 定理早就说了:任何多变量连续函数,都能拆成一堆单变量函数加起来的和:
f(x) = Σ_{q=0}^{2n} Φ_q ( Σ_{p=1}^{n} φ_{q,p}(x_p) )
这就是 KAN 的理论源头。
过去 35 年,这条定理被认为"不实用"——因为定理拆出来的单变量函数可能不光滑(带尖角),没法训。MIT 的 Poggio 在 1989 年甚至明确写过它「在学习的语境下无关紧要」。直到 2024 年这一改,把「函数放在边上」这件事做通了。
换一种看法:把函数画成一片枫叶
上面讲的都是「逼近」,下面换个角度——看一个函数长什么样。
数学里有个老套路:给一个函数 r(θ),让 θ 从 0° 扫到 360°,把每个角度上的函数值当成半径描点,连起来就得到一个封闭图形。图形什么形状,函数就是什么脾气。
下面这个函数,扫一圈之后长出来的是一片五角枫叶:
它的全部秘密就三行:
r(θ) = base + A · T(θ)^p + 叶柄(θ)
T(θ) = 1 − |2·frac( 5(θ−90°)/360° + 0.5 ) − 1|
base = 0.46 A = 0.94 p = 0.50
T(θ) 是一个周期为 72° 的三角波——波峰处 r 变大(裂片),波谷处 r 变小(凹口)。乘 5 个周期,就得到 5 个裂片、5 个凹口。指数 p 控制裂片的胖瘦:p 小,裂片宽而钝;p 大,裂片细而尖。最后在 θ = 270° 处加一个窄尖峰,就是叶柄。
拖动演示里的「采样点 N」滑块,能看到点从稀疏到稠密、轮廓从折线变光滑的过程——这就是"函数值连成图形"的字面意思。 拖「裂片高 A」和「叶柄」,形状会实时重算。
为什么这件事重要:从"黑盒"到"看得见规律"
KAN 最吸引人的地方,不是跑分,而是可解释。
传统网络学到的是一堆数字,你没法知道它「在想什么」。KAN 因为每条边就是一个单变量函数,你可以把它画出来——画出来的图,长得往往很像某条物理公式。
在数学和物理的例子里,KAN 能帮科学家重新发现已有的物理定律——比如把网络画出来,发现那条曲线恰好对应某个已知方程。这正是 Quanta Magazine 那篇报道反复强调的:KAN 的价值在于"从数据里提取科学规律",而不只是预测得准。
换句话说:MLP 擅长回答「下一个数是多少」,KAN 试图回答「世界的规则长什么样」。

再往外一步:世界模型与"函数"之争
把视角拉远,还有一个更大的命题。
图灵奖得主 Yann LeCun 这些年一直在讲世界模型(World Model)。他的核心主张是:智能的本质不是预测下一个 token,而是在内部建立起一个"世界如何演化"的模型——给定当前状态和某个动作,预测未来状态。
他用的工具叫能量模型(Energy-Based Model),来自统计物理:用「能量高低」衡量变量之间是否相容。这本质上还是在用函数刻画世界——只不过这个函数不再是「从输入到输出」,而是「从状态到代价」。
于是我们回到开头的那个说法:
- 物理学家想找出世界的那个函数;
- 神经网络不找出它,直接逼近它;
- 世界模型想让机器自己长出那个函数;
- KAN 想让那个函数变得看得见。
四条路,指向同一个地方。
但要说句实话
定理只管存在,不管找得到;能拟合,不等于能理解。
KAN 现在的短板也很清楚:训练比 MLP 贵、在大规模任务上还没证明优势、可解释性在复杂任务里会迅速退化。它是一把好用的「科学发现手术刀」,不是通用大模型的替代品。世界模型路线同样卡在长程规划、因果泛化、持续学习上。这些在 Quanta 和 LeCun 的路线上都被明确承认。
所以「“世界即函数"是不是真理」——在数学上,它是被证明的(Kolmogorov 1957);在工程上,它是被逼近的;在智能上,它只是一个正在被验证的假设。
能确认的是这一点:从万物到一条曲线,人类找了三百年;从一条曲线回到万物,我们才刚起步。
文中两个演示都是纯前端实现,无外部依赖,可离线运行。
如果觉得有帮助,欢迎来公众号「三木的知识花园」聊聊 👇
