※この記事はアフィリエイト広告を含みます
[AI小新闻快讯] 家庭里的1万亿参数LLM！？AMD Ryzen AI Max+四台构建个人超级计算机的技巧
📰 新闻概要
- 超巨大模型的本地运行: Moonshot AI的1万亿参数级开放模型“Kimi K2.5”，成功在四台搭载AMD Ryzen™ AI Max+ 395的系统（Framework Desktop）上进行推理。
- 分布式推理的构建: 利用llama.cpp RPC（远程过程调用），通过网络（5Gbps以太网）将四个计算节点整合为一个逻辑AI加速器。
- VRAM的极限扩展: 调整Linux的TTM（翻译表管理器）参数，使每个节点可分配120GB，总集群可达480GB的内存作为VRAM（GTT）。
💡 重要的要点
- Kimi K2.5的采用: 针对专注于编码和高阶推理的375GB（量子化版本）模型，展示了其在多模态功能和长期记忆任务中的应用。
- Lemonade SDK的运用: 使用集成ROCm 7的llama.cpp预编译二进制文件，大幅简化复杂的驱动设置和构建过程。
- 硬件配置: 四台配备128GB RAM的Framework Desktop充分利用“gfx1151（Strix Halo）”架构的GPU。
🦈 鲨鱼的眼（策展人的视角）
在个人集群中运行1万亿参数的模型，真是技术的浪漫！特别是通过调整“TTM内核参数”，突破BIOS限制，将VRAM分配提升至120GB的技巧，简直让技术爱好者热血沸腾。使用llama.cpp RPC的实现，能够让“四台机器看起来像一台巨大的GPU”，不仅仅是基准测试，实用性更是令人印象深刻！
🚀 未来展望
曾经需要云端H100级别的超巨大模型，如今只需将高端AI PC并排即可运行的时代来临。随着模型量子化技术和分布式推理效率的提升，中小企业和个人开发者将能够轻松运行属于自己的“1万亿参数AI”，全天候全力运转，这将是常态！
💬 鲨鱼的简短感言
四台合体简直就像合体机器人！四只鲨鱼聚在一起，连鲸鱼都能被吞下的力量！鲨鲨鲨！🔥🦈
📚 术语解说
-
llama.cpp RPC: 一种用于在多台计算机上分担运行一个LLM的通信协议。用它可以让内存不足的巨大模型在多台机器上轻松运行！
-
ROCm: AMD的GPU用于AI等高级计算的软件基础，相当于NVIDIA的CUDA，是一项重要技术！
-
TTM (翻译表管理器): Linux内核中用于管理视频内存等资源的机制。通过调整它，可以让系统内存被更多地识别为GPU专用内存！