※この記事はアフィリエイト広告を含みます
将手头的GPU合并！通过分布式AI基础架构『Mesh LLM』运行235B的巨型模型！
发生了什么？新闻概述
- 资源池化: 新推出的“Mesh LLM”可以将多个机器上的GPU和内存整合，公开为一个OpenAI兼容API（localhost:9337/v1）。
- P2P网络: 采用iroh技术，通过认证的QUIC连接实现无中央服务器的安全节点间通信，包括穿越NAT。
- 巨型模型的分割执行: 配备“Skippy模式”，可以将235B（2350亿参数）级别的巨型模型分层分布到多个机器上执行，超过单个GPU的限制。
为什么这很重要？值得关注的要点
- 摆脱成本和控制: 不再依赖于月费高昂的云API或规范不透明的大型模型，用户可以完全控制自己的硬件推理环境。
- 插件结构: 采用灵活的架构，不仅支持推理，还可以通过MCP（Model Context Protocol）、HTTP和网状事件等扩展功能。
🦈 鲨鱼的视角（策展人的观点）
这是一项打破中心化数据中心壁垒的超级激进技术！尤其是被称为“Skippy”的管道并行化实现相当聪明。通过将模型按层划分，每个节点以接力形式进行计算，使得即使是旧笔记本电脑或桌面电脑的组合也能驯服超巨型AI。得益于iroh的“公钥直接作为网络地址”的机制，用户可以在没有繁琐服务器配置的情况下与全球的对等方和资源共享，简直像是未来互联网的感觉，令人振奋！
接下来会发生什么？
当前作为约18MB的轻量级软件提供给PC用户，但利用iroh的Swift SDK，移动应用版本也在计划中。这将构建一个真正无处不在的分布式AI网格，包括智能手机和平板电脑。
鲨鱼记者的一句话
“鲨鱼记者‘春鲨’：‘再也不是被API任意定价的时代了！让大家的GPU连接起来，构建如海洋般广阔的智能！🦈🔥’”
术语解说
-
iroh: 用于构建P2P网络的传输层。通过公钥而非IP地址识别通信对象，并建立安全的直接连接。
-
Skippy（分割模式）: Mesh LLM独有的内部机制，通过物理分割巨型AI模型，并在多个节点之间以管道形式分配计算。
-
QUIC: 基于UDP的高速通信协议。Mesh LLM扩展了这一协议，使节点间的控制和模型数据传输延迟更低。