从涌现现象看大语言模型与复杂系统

limboy's HQ at 
从涌现现象看大语言模型与复杂系统的配图
此文有不少领域专有名词,我也没有太看明白,但可以借此一瞥复杂系统和动力学,将这两个学科与神经网络结合起来分析的视角还是挺有意思的。在复杂系统中,「涌现」是一个经常会被提到的名词,简单解释就是:系统定量上的变化导致系统行为上的定性变化,使得整体上展现出了构成它的个体所不具备的新特性。比如单个蚂蚁毫无智力可言,但当一大群蚂蚁聚集在一起时,就会呈现出智能。这篇文章以涌现现象为切入点,从复杂系统的视角结合动力学来分析 AI 大模型。动力系统最简单理解就是油门和刹车,跑得快了踩一脚刹车,跑得慢了踩一脚油门,这两个工具的配合就能达到调配动力的效果。神经网络里也有类似的机制,比如前馈过程(数据从 input……