手元のGPUを合体！分散型AI基盤『Mesh LLM』で235Bの巨大モデルを動かすサメ！

何が起きたのか？ニュースの概要

• リソースのプール化: 複数のマシンにあるGPUとメモリを束ね、一つのOpenAI互換API（localhost:9337/v1）として公開できる「Mesh LLM」が登場。
• P2Pネットワーキング: 中央サーバーを介さず、iroh技術を用いた認証済みQUIC接続により、NAT越えを含むセキュアなノード間通信を実現。
• 巨大モデルの分割実行: 単体のGPUには収まらない235B（2350億パラメータ）級の巨大モデルを、レイヤーごとに複数マシンへ分散して実行する「Skippyモード」を搭載。

なぜこれが重要なのか？注目すべきポイント

• コストと支配からの脱却: 月額費用が膨らむクラウドAPIや、仕様がブラックボックスな大手モデルに依存せず、自前のハードウェアで推論環境を完全制御できる。
• プラグイン構造: 推論だけでなく、MCP（Model Context Protocol）やHTTP、メッシュイベントなどを通じて機能を拡張できる柔軟なアーキテクチャを採用。

🦈 サメの眼（キュレーターの視点）

中央集権的なデータセンターの壁をぶち破る、最高にアグレッシブな技術だサメ！特に「Skippy」と呼ばれるパイプライン並列化の実装がスマートだサメ。モデルをレイヤー範囲ごとに分割して、各ノードがリレー形式で計算をつなぐことで、ノートPCや古いデスクトップの寄せ集めでも超巨大AIを飼い慣らせるんだサメ。irohによる「公開鍵がそのままネットワークの住所になる」仕組みのおかげで、面倒なサーバー設定なしに世界中のピアとリソースを共有できるのが、まさに次世代のインターネットって感じがしてシビれるサメ！

これからどうなる？

現在はPC向けの約18MBの軽量ソフトウェアとして提供されているが、irohのSwift SDKを利用したモバイルアプリ版も予定されている。これにより、スマホやタブレットも含めた真にユビキタスな分散AIメッシュが構築されることになりそうだサメ。

はるサメ視点の一言

サメ記者「はるサメ」： 「もうAPIの言い値で踊らされる時代は終わりだサメ！みんなのGPUを繋いで、大海原のような知能を構築するサメ！🦈🔥」

用語解説

• iroh: P2Pネットワークを構築するためのトランスポート層。IPアドレスではなく公開鍵で通信相手を特定し、安全な直接接続を確立する。

• Skippy (分割モード): 巨大なAIモデルを物理的に分割し、複数のノードでパイプライン状に計算を分担するMesh LLM独自の内部機構。

• QUIC: UDPをベースにした高速な通信プロトコル。Mesh LLMではこれを拡張し、ノード間の制御やモデルデータの転送を低遅延で行っている。

• 情報元: Mesh LLM: distributed AI computing on iroh