「指」を持たないAIはどうやって計算する？LLM内部の「数なき算数」の正体が判明！

📰 ニュース概要

• 行列による演算: LLMは人間のような「指」や「筆算」の概念を持たず、行列（Matrix）とベクトルのみで算数を行う。
• 独自の数値コード: 数値を表現するために「フェーズ（位相）」と「粗い位置」を組み合わせた、フーリエ変換スタイルの独自の幾何学的コードを使用している。
• レジドゥアル・ストリームの活用: 計算過程は「レジドゥアル・ストリーム」という共有のスクラッチパッド（メモ帳）上で、レイヤーごとに更新・保持される。

💡 重要なポイント

• パターンの再現ではない: AIは単に過去のパターンを思い出しているのではなく、内部で行列演算による「マシンネイティブな計算アルゴリズム」を実行している。
• アテンションとMLPの役割: アテンションがトークン間で情報を交換し、MLP（多層パーセプトロン）が局所的なベクトルを再形成してGCD（最大公約数）などの複雑な計算を導き出す。
• 外部からの読み出し: 「Readout（読み出し）」と呼ばれる手法を使えば、AIの内部状態（アクティベーション）から演算子や被演算子といった事実を特定できる。

🦈 サメの眼（キュレーターの視点）

AIの脳内が完全に視覚化されたサメ！人間が137という数字を「百、三十、七」と認識するのに対し、LLMは円周上の「角度（フェーズ）」として処理しているという実装が具体的でシビれるサメ！ 特に「レジドゥアル・ストリーム」を、変数名のない「共有スクラッチパッド」として使うアプローチが、AI特有の計算効率の源泉だサメ。既存の「AIは単なる確率的な単語選びだ」という説を、この具体的な幾何学的解析がひっくり返しているのが最高に面白いサメ！

🚀 これからどうなる？

AIが独自の「マシンネイティブな数学」を構築していることが証明されたことで、今後は人間には理解不能な超高度な計算アルゴリズムをAIが独自に発明する可能性が高いサメ。数学の未解決問題も、この幾何学的アプローチで解かれる日が来るかもしれないサメ！

💬 はるサメ視点の一言

サメの体には指がないけど、AIも指なしで頑張ってて親近感わくサメ！計算は行列に任せて、オレはカルパスを食べることに集中するサメ！サメサメ！

📚 用語解説

• レジドゥアル・ストリーム: トランスフォーマーの各レイヤー間を受け継がれるメインのベクトル。モデルが情報を書き込み、読み出すための「共有メモ帳」の役割を果たす。

• フェーズ（位相）: 繰り返されるサイクル内の位置。時計の針の角度のようなもので、AIは数値をこの「角度」のような幾何学的情報として管理している。

• アクティベーション: モデルがトークンを処理している際の一時的な内部状態。ここを解析することで、AIが今何を考えているか（計算中か等）を読み取ることができる。

• 情報元: Arithmetic Without Numbers – How LLMs Do Math