100万Token学习的革命性加速！全球首个开源『Flash-MSA』现已开放给Hopper/Blackwell！

发生了什么？新闻概述

• 全球首个高性能开源学习内核：MiniMax Sparse Attention（MSA）内核被命名为“Flash-MSA”，旨在高效地在Hopper（H100）和Blackwell（B200）GPU上进行训练。
• 基于块的稀疏性：利用代理分数的最大值，按128个Token为单位选择KV。这大幅提升了内存缓存特性。
• 采用GQA（Grouped-Query Attention）：通过使用GQA而非MLA（Multi-head Latent Attention），确保与许多最新模型的兼容性，实现了学习的加速。

为什么这很重要？值得关注的要点

• 计算量的显著减少：除了代理前向计算外，整个学习步骤在上下文长度上是线性或稀疏计算的。
• Hopper/Blackwell优化：使用CuTeDSL编写，旨在最大限度地利用最新GPU的寄存器和共享内存。
• 融合反向传播（Fused Backward）：通过将代理和主注意力的反向传播融合，能够高效获取训练信号所需的信息。这使得以前困难的稀疏注意力的高效学习成为可能。

🦈 鲨鱼的视角（策展人的观点）

终于迎来了100万Token时代的“学习”革命！之前一直在讨论推理的加速（MSA和DSA），但像这样高效进行学习的开源内核是前所未有的。特别是，选择以GQA为基础，而非MLA，真是个聪明的选择！这使得许多现有的前沿模型能够直接受益。通过CuTeDSL发掘Blackwell的潜力，将反向计算量削减到线性，实在令人佩服。这无疑将加速大型上下文模型的民主化，成为“锐利的牙齿”！

接下来会怎样？

随着这个内核的推出，过去需要庞大计算资源的“超长文本上下文模型”的进一步学习和微调，将能够在更小规模的计算资源下实现。未来，将会有越来越多采用MSA的新开源模型相继推出，100万Token学习将在2026年成为标准配置。

鲨鱼的一个小观点

只要有Flash-MSA，100万Token的汹涌波涛也能轻松游过！这种不断进化的速度感，真是令人兴奋！🦈🔥

术语解说

• MSA (MiniMax Sparse Attention)：通过按块选择重要的KV（Key-Value），在减少计算量的同时处理长文本的稀疏注意力技术。

• CuTeDSL：为NVIDIA的Hopper/Blackwell架构专门设计的描述语言，能够高度优化张量操作和内存层次控制。

• GQA (Grouped-Query Attention)：通过多个查询共享KV，节省内存带宽同时保持精度的注意力方法。

• 信息来源: Flash-MSA: Accelerating Million-Token Training with Sparse Attention Kernels