两篇研究论文，不同角度却指向同一个问题——什么是concept？

想象语言存在于二维坐标系。X轴是时间维度，词汇随着时间流动被组织成句子。Y轴是意义维度，我们之所以选择某个词而不是另一个，背后是意义的驱动。

最近SAEs系列的研究成果很有意思，它揭示了神经网络模型在Y轴上是如何运作的——模型学会了提取和表达具有明确语义的概念特征。换句话说，模型的计算过程中存在某些"节点"，它们对应的不是随意的神经激活，而是有具体含义的概念表达。这意味着意义在深度学习模型内部是可以被分解、可以被观察的。