Foundation model要是行,干一行行一行,一行行行行行。 Foundation model要是不行,干一行不行一行,一行不行行行不行。

Foundation model($m$)即口语俗称的常识,或者更准确说是每个人($i$)的常识($c_i$)的并集。

$$ m\approx \bigcup_i c_i $$

存在性

Foundation model是存在的,因为人类自己就是存在性的证明。换言之,人类普遍能理解的世界($w$)被叫做常识,而且常识显然是存在的。

$$ m =m(w) $$

唯一性

Foundation model是唯一的(up to isomorphism[4]),因为被理解的世界(地球、数学、物理、科学、经济、基础历史、基础人性、基础道德、基础价值观……)是唯一的 [1][2][3],换言之——常识是唯一的。所以无论AGI训练的过程如何,最终都会收敛到唯一的极限$w$上。

$$ \forall a,b \\\lim_{t \rightarrow \infty } m_a(w,t) \cong \lim_{t \rightarrow \infty } m_b(w,t) \cong w $$

(assume AGI technology monotonically increases with time $t$)

所以如果AGI比人类更好(假设不把AGI视作人类的工具),肯定是因为AGI有比人类更好的sensor(红外线、紫外线、超声波、次声波,等)从而可以感知更广阔的世界。

Citation

[1]W. Gurnee and M. Tegmark, “Language Models Represent Space and Time.” 2023. [Online]. Available: https://doi.org/10.48550/arXiv.2310.02207

[2]Allegory of the Cave, Plato, c. 375 BC

[3] arxiv.org/abs/2405.07987

[4] https://en.wikipedia.org/wiki/Isomorphism_of_categories