Mirendil 发布了 Fern，这是它的首个 AI 模型。Mirendil Fern 是一个从零构建的编码模型，上下文窗口最高可达 1000 万 token。Mirendil 解释说，这大约相当于 23 MB 的代码，也就是约 50 万行。这是一个达到 Megatron-LM 规模的代码库，可以一次性全部放入上下文。Fern 0.1 是第一个版本，在 Mirendil-Base 基础上经过一轮简短的后训练构建而成。对开发者来说，就像一次性加载整个仓库、完整的训练日志或数天的智能体轨迹。
TL;DR
规模：0.1 至 0.5T 参数（具体数量和激活参数未披露）；上下文最高 1000 万 token。
运行方式：仅提供托管早期访问；未宣布开源权重或量化版本。
性能：长上下文检索能力强，智能体编码能力在开源权重模型中处于中游，明显落后于前沿模型。
最佳表现：在 32K 至 1000 万 token 的各个长度上，RULER 单针检索均达到 100%（基础模型）。
最差表现：Terminal Bench 4.0 上为 6.1%，而在 Mirendil 自己的表格中 Claude Opus 5.5 为 66.4%。
什么是 Mirendil Fern？
Fern 是 Mirendil 推出的一款语言模型，Mirendil 是一家 AI 研发实验室。
Fern 面向 AI 研发工作，而非通用聊天。Mirendil 列出了 6 个目标用途：
在更大的代码库中工作
运行命令直到测试通过的智能体编码
研究代码：训练循环、数据管线和评估
从长日志和堆栈跟踪中调试训练运行
端到端阅读完整的智能体或训练轨迹
审计预训练分片中的重复、污染和垃圾数据
Fern 是如何构建的？
Fern 基于 Mirendil-Base，Mirendil 称一位研究员用 3.5 个月完成了预训练。总计算成本低于 1000 万美元，包括实验、智能体 token 开销和数据处理。超过 99% 的代码由 AI 智能体编写。这位研究员决定尝试什么以及何时介入。
训练数据仅来自公开来源：GitHub、公开代码、网页和公开数据集。Mirendil 表示未使用蒸馏、未使用合成数据，也未使用授权数据。代码基于 PyTorch 和 JAX 从零编写。
Fern 是计划中 3 个模型里最小的一个。Mirendil-Base-Large（0.5 至 2T 参数）的预训练已完成超过 80%。Mirendil-Base-XL（2 至 10T）已完成超过 20%。
更长的上下文真的有用吗？
Mirendil 在自己的代码仓库上测试了下一 token 预测，这些仓库被拼接成一个 42.9 MB 的流。它以每字节比特数衡量交叉熵，越低越好。这里的窗口大小以字节为单位，而非 token。
Fern 的损失从 32K 字节窗口下的 0.246 降至 16M 和 23M 字节下的 0.155。其他模型的评分上限约为 100 万 token，即其宣称的极限。在 1M 字节窗口下，Kimi-K3 得分为 0.140，Fern 为 0.165。因此，在相同上下文下，Fern 并非最佳预测器。它的优势在于，曲线在其他模型停止的地方仍在继续延伸。
Fern 在 RULER 上表现如何？
RULER 是一个标准的长上下文基准测试。Mirendil 在 Mirendil-Base（训练前模型）上运行了 5 项 RULER 任务。它使用贪心解码、关闭思考模式，并采用精确字符串匹配。
RULER 任务32K1M4M10M单针100100100100多键检索100989890多键，全部针100100100100变量追踪1009575100多跳问答（HotpotQA）65656045
检索能力保持良好。多跳推理在 10M 时降至 45%。每个 10M 单元格仅使用 20 个示例，而其他位置为 100 个。Mirendil 表示更广泛的长上下文结果即将公布。
Fern 0.1 在智能体基准测试上表现如何？
Mirendil 将 Fern 0.1 与开源权重模型和前沿模型进行了比较。其他模型的分数来自模型卡、排行榜或 Mirendil 自己的运行结果。
基准测试（通过率 %）Fern 0.1Kimi-K3GLM-5.3Claude Opus 5.5DeepSWE v1.144.267.366.974.2Terminal Bench 4.06.112.641.966.4SWE Atlas QnA53.266.159.466.4SWE-Pro v2 Hard76.588.284.3100.0SWE-Bench Verified73.493.495.498.2
Fern 0.1 在 5 项测试中的 4 项上击败了 Inkling 和 Nemotron 3 Ultra。它在 SWE-Pro v2 Hard 上与 Beam 以 76.5 打平。它在 SWE-Bench Verified 上落后于 Beam，73.4 对 81.6。表中每个前沿模型和大型开源模型都领先于它。
Fern 与同类模型相比如何？
FeatureFern 0.1Kimi-K3GLM-5.3DeveloperMirendilMoonshot AIZ.aiTotal params0.1 to 0.5T2.8T753BActive paramsNot disclosed104B~40BContextUp to 10M tokens1,048,576 tokens1,048,576 tokensInputText, codeText, image, videoTextLicenseNot disclosedKimi K3 LicenseGLM-5.3 LicenseWeightsNot releasedOpenOpenAccessEarly access requestOpen weights, APIsOpen weights, APIsSWE-Bench Verified*73.493.495.4Bits per byte at 1M bytes*0.1650.1400.170
*数据来自 Mirendil 的公告图表。
要点
Fern 0.1 支持最多 1000 万 token，约 23 MB 代码。
在 2300 万字节的窗口下，每字节比特数持续下降至 0.155。
RULER 单针测试在 32K 到 1000 万 token 范围内保持 100%。
智能体编程能力落后：在 Terminal Bench 4.0 上为 6.1%。
基础模型由 1 名研究员加智能体构建，成本低于 1000 万美元。
查看 Fern 公告、Mirendil-Base 预训练文章，并申请早期访问。另外，欢迎在 Twitter 上关注我们，别忘了加入我们 15 万+ 的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等？联系我们
文章 Mirendil Launches Fern 0.1, Its First Model, With 10M-Token Context 首次出现在 MarkTechPost 上。