[AI小新闻] 用CPU运行100B模型！？微软的1位LLM推理框架「bitnet.cpp」太革命性了！

📰 新闻概要

• 专用1位LLM框架：微软发布了优化为1.58位LLM的官方推理框架「bitnet.cpp」，如BitNet b1.58等。
• 惊人的高速和省电：在x86 CPU上实现了最大6.17倍的速度提升，ARM CPU上实现最大5.07倍速度提升，同时成功将能耗减少了82.2%。
• 巨型模型的本地执行：可以在单个CPU上运行100B（1000亿）参数的BitNet模型，以人类阅读速度（每秒5-7个标记）进行操作。

💡 重要的要点

• 无损推理：通过优化的自定义内核群，实现了在不降低1.58位模型性能的情况下进行高速推理。
• 广泛的硬件支持：目前支持CPU（x86/ARM），未来计划支持GPU和NPU。
• 最新的并行技术：在2026年1月的更新中，引入了并行内核实现和嵌入量化，进一步实现了1.15倍至2.1倍的速度提升。

🦈 鲨鱼的视角（策展人的观点）

1位LLM的推理效率能达到这样的水平，简直是革命性的！尤其是“100B模型可以在单个CPU上运行”这一事实，展现了无需昂贵的GPU服务器也能本地处理巨型智能的可能性。基于现有的llama.cpp，同时引入了T-MAC的查找表方法的独特内核实现，实用性极高，令人印象深刻！

🚀 接下来会发生什么？

本地设备（手机和普通PC）上运行的AI性能将大幅提升，迎来在保护隐私的同时充分利用巨型LLM的“1位AI时代”。如果未来支持GPU和NPU，期待更进一步的实时性！

💬 鲨鱼的简评

在普通CPU上运行1000亿参数，简直让鲨鱼的下巴都要掉下来了！打破本地AI极限的这一势头，千万别错过哦！鲨鱼鲨鱼！🦈🔥

📚 术语解说

• 1位LLM (BitNet)：将权重量子化为1位（或1.58位），显著降低计算成本和内存使用的大型语言模型。

• 推理框架：用于在实际设备上运行训练好的AI模型的执行基础软件。

• 量子化：在尽可能保持模型精度的情况下，减少数据位数以实现轻量化和高速化的技术。

• 信息来源: BitNet: Inference framework for 1-bit LLMs