两个月后,MiniMax H3 的势头依然 🔥。
更多内容即将到来👀
[引用 @MachgenAI] 我们刚刚开源了面向 NVIDIA Blackwell 的 VC Attention 变体:对于 @MiniMax_AI Minimax H3 这类模型,在 B200 上速度约为 BF16 FlashAttention 的 2 倍。
在此过程中,我们在原论文之外做了若干改进,将性能进一步提升了 20% 以上——如今已接近我们在生产环境中运行的稠密注意力内核的 30% 以内,同时所需的校准显著更少,且无需微调。
推理优化归根结底是两件事:内核和配方。出色的内核让硬件更接近其极限。出色的配方将这种速度转化为真实系统。当强大的内核开源时,原本可能是一家公司的护城河,就能成为所有人的基础。
我们在 MachGen 构建的许多东西,都建立在由我们或许永远不会谋面的人所分享的多年开放研究之上。开源这个,是我们延续这一循环的小小方式——也是给下一位构建者一个更高的起点。
博客:https://t.co/lrX6tCa8Vk
代码:https://t.co/cnO2fQhIth
更多内容即将到来。