TL;DR
- •Muse Glimmer 30B 在 11 月 30 日前可免费进行监督微调（SFT）训练，由此启动我们的 Free Weights Club。
- •微调后的 Muse Glimmer 在未见话题上的预测准确率比 Jev 高出 11.2 个百分点，达到 58.3%，而 Jev 为 47.1%。在历史回测中，它还将假设的1,000 美元变成了 1,071 美元（已计入模拟交易费用），而 Jev 和 base Glimmer 均出现亏损。
- •Fireworks 优化的 System One 服务栈在另一项合成基准测试中，中位服务器处理速度比标准 BF16 聊天补全快 2-3 倍。两者使用相同的适配器和单块 B200 GPU；精度和运行时有所不同。
- •用Kalshi cookbook试试我们的实验。对于你自己的项目，Managed Training可根据你的示例运行 SFT 任务，而Serverless Training API让你掌控训练循环。
欢迎加入Fireworks Free Weights Club。限时期间，我们将为你带来新的后训练研究、可在此基础上构建的配方，以及针对一款精选模型的免费训练，让你能运行自己的实验。
首先登场：Muse Glimmer 30B，SFT 训练免费至 11 月 30 日。它是多模态的，在该成本下性能强劲，是个人智能体的绝佳起点。
在我们的第一个实验中，我们想知道在历史 Kalshi 市场上训练 Muse Glimmer 能否让它在预测结果时占据优势。我们在未纳入训练集的市场中，将其预测与 Jev 和原始模型进行了对比评估。
我们将训练出的版本称为tuned Glimmer，原始模型称为base Glimmer。Tuned Glimmer 在预测准确率上超过了两个对比模型。在历史回测中，它把假设的1,000 美元变成了 1,071 美元（已计入模拟费用），而两个对比模型均出现亏损。
以下是我们训练了什么、如何测试，以及你如何自己尝试。
构建数据集
Jev 给了我们一个要击败的模型；Kalshi 给了我们记分的方式。
已结算的市场自带答案：以“纽约最高气温会超过 80°F 吗？”为例。市场一旦结算，就有了可用于核对预测的结果。挑战在于学到能迁移到下一个问题的东西。
每个示例包含市场标题、描述、规则和日期，并以已结算的结果作为标签。模型没有看到市场价格或新闻。
我们将训练、校准和评估分开进行：
- •训练：来自 6,461 个事件的 20,051 个问题，这些事件在 2026 年 1 月 4 日之前结算。
- •校准：来自 2,000 个事件的 6,232 个问题，这些事件在 2026 年 1 月 11 日或之后开放，并在 2026 年 4 月 1 日之前结算。
- •评估：来自 8,765 个事件的 33,712 个问题，这些事件在 2026 年 4 月 8 日或之后开放。
在评估集中，有 3,567 个问题来自 113 个主题家族，这些主题家族被排除在训练和校准之外。我们报告完整测试集和这个未见主题子集上的结果，以考察 Glimmer 对后续事件和不熟悉主题的处理效果。
我们移除了近似重复的输入、市场开放后所做的规则修改，以及可能泄露结果的后来添加的获胜选项。每个测试事件只评估一次。
一次训练，更好的预测
这些问题已经有一组可能的答案。我们使用Fireworks Training API 和 K 路交叉熵损失来训练 Glimmer，使其为正确结果分配更高的概率。该损失只考虑该问题的答案选项，而不是模型的完整词表。
我们使用 SFT 训练了一个 LoRA 适配器，对训练数据进行了一次遍历。
在完整测试集上，微调后的 Glimmer 达到了64.8% 的准确率，相比之下56.4%是基础版 Glimmer 的准确率，45.9%是 Jev 的准确率。
在未见主题上，微调后的 Glimmer 达到了58.3%，领先于基础版 Glimmer 的53.2%和 Jev 的47.1%。这使它在训练期间未曾遇到的主题家族上领先 Jev 11.2 个百分点。
常见答案参考基准对是/否问题总是选择“否”，对多选题则选择最常见的正确选项位置。它使用评估答案来建立该参考，因此它提供的是背景参照，而非代表一个训练过的预测器。
一点点置信度就能带来很大帮助
51% 的预测和 90% 的预测可能都落在“是”上，但我们希望区别对待这些判断。在使用微调后 Glimmer 的概率来选择下注并确定下注规模之前，我们根据观察到的结果校准了它的置信度。
我们拟合了一个单独的每种题型对应的校准温度使用留出的校准集。这会在不重新训练权重的情况下，对微调后 Glimmer 的概率进行重新缩放。目标是：被赋予 80% 概率的预测，应当在十次中大约有八次成真。
只有微调后的 Glimmer 接受了这一校准步骤，基础版 Glimmer 既没有接受任务特定训练，也没有接受校准。我们直接使用 Jev 的 API 返回的概率，没有额外校准，这与其预期的开箱即用方式一致。
图表展示的是评估数据上的准确率减去置信度。越接近零越好；负值表示过度自信，正值表示信心不足。
微调后 Glimmer 的置信度并非只是虚张声势。当它给一个答案赋予至少 80% 的概率时，它是对的86.8% 的情况下，无论是在完整测试集上，还是在未见主题子集内都是如此。
它同样具有选择性：完整测试集中有 14.4% 的问题、未见主题问题中有 6.1%达到了这一阈值。按置信度筛选让我们得到的预测更少，但命中率高得多。