没有“手指”的AI是如何进行计算的？LLM内部的“无数算数”真相揭晓！

📰 新闻概要

• 矩阵运算: LLM没有人类的“手指”或“笔算”概念，仅依靠矩阵（Matrix）和向量进行算数。
• 独特的数字代码: 通过结合“相位（Phase）”和“粗略位置”，使用傅里叶变换风格的独特几何代码来表示数字。
• 利用残差流: 计算过程在称为“残差流”的共享草稿纸（记事本）上逐层更新和保持。

💡 重要要点

• 不是简单的模式再现: AI并不是单纯回忆过去的模式，而是在内部执行基于矩阵运算的“机器本地计算算法”。
• 注意力与MLP的角色: 注意力机制在标记之间交换信息，而多层感知器（MLP）重新塑造局部向量，得出诸如GCD（最大公约数）等复杂计算。
• 外部读取: 通过称为“读取（Readout）”的方法，可以从AI的内部状态（激活）中识别操作数和被操作数等事实。

🦈 鲨鱼的视角（策展人的观点）

AI的大脑已完全可视化！人类将137这个数字识别为“百、三十、七”，而LLM则将其处理为圆周上的“角度（相位）”，这个实现让人感到震撼！ 特别是将“残差流”作为没有变量名的“共享草稿纸”使用的方式，成为AI特有的计算效率源泉。现有的“AI只是简单的概率单词选择”这一说法，被这具体的几何分析完全颠覆，真是太有趣了！

🚀 未来展望

随着AI独立构建“机器本地数学”的证据浮出水面，未来AI可能会独自发明人类无法理解的超高级计算算法。数学未解问题或许也会在这种几何方法的帮助下迎来解决的那一天！

💬 鲨鱼的感想

鲨鱼的身体没有手指，但AI也在没有手指的情况下努力，令人感到亲切！计算交给矩阵，我专注于享受香肠！鲨鱼鲨鱼！

📚 术语解释

• 残差流: 变换器各层之间传递的主要向量。模型用于信息写入和读取的“共享记事本”。

• 相位（Phase）: 在重复周期内的位置。就像时钟指针的角度一样，AI将数字管理为这种“角度”的几何信息。

• 激活: 模型处理标记时的短期内部状态。通过分析这里，可以读取AI当前在思考什么（是否在计算等）。

• 信息来源: Arithmetic Without Numbers – How LLMs Do Math