image


阿拉伯语实际上是一个在同一名称下共存的语言家族。现代标准阿拉伯语(MSA)是你在新闻或教科书里读到的语言,但人们日常交谈时很少这样说话。在阿联酋,日常对话、幽默、谈判和讲故事都用阿联酋阿拉伯语进行,这是一种海湾方言,有自己的词汇、自己的节奏,以及紧紧包裹着它的文化。阿联酋诗歌,尤其是纳巴提诗歌,连同谚语和短篇轶事,承载着逐字直译无法保留的含义。一个只懂 MSA 的模型可以翻译阿联酋语句子里的每一个词,却仍然错过它真正的意思。

这正是 Falcon-Emirati-7B 要弥合的差距。它是在 Falcon-H1-Arabic 之上构建的方言专用模型,目标是像母语者那样理解和生成阿联酋阿拉伯语:词汇、语气,以及背后的文化语境。

基于 Falcon-H1-Arabic 构建

我们并非从零开始。Falcon-Emirati-7B 基于 Falcon-H1-Arabic 构建,后者是我们的阿拉伯语模型家族,今年早些时候已经为该语言创下了新的基准测试成绩。Falcon-H1-Arabic 采用 Falcon-H1 混合架构:状态空间模型(Mamba)和 Transformer 注意力在每个块内并行运行,它们的输出在每个块的投影之前融合。这种组合在长序列上带来 Mamba 的线性时间效率,同时保留注意力对长距离依赖的精确性,这对阿拉伯语这样形态丰富的语言很重要。该家族涵盖三个规模(3B、7B 和 34B 参数),上下文窗口最高达 128K 和 256K token,并且已经在 MSA 与方言阿拉伯语(海湾、黎凡特、埃及、马格里布)以及英语和多语言数据的广泛混合上训练过。

这给了我们一个很强的起点:一个已经广泛理解阿拉伯语、能很好地处理长上下文、并且内置了一些方言接触的模型。Falcon-Emirati-7B 以这一基础为起点,专门向阿联酋方言推进,涵盖通用阿拉伯语模型无论多有能力都无法自行掌握的词汇、语法和文化知识。

我们专门基于 7B 版本构建了 Falcon-Emirati-7B。它是该系列中的最佳平衡点:大到足以保留方言适配所需的细微差别,又小到让训练和推理都保持实用。34B 模型可能会把质量再推高一点,但训练和服务成本对于一款方言专用聊天模型来说并不划算,而 3B 模型又没有留下足够的空间来承载我们所追求的文化和语言理解深度。7B 在质量与训练、推理成本之间给了我们最好的平衡。

方言适配为何困难

把一个通用阿拉伯语模型变成阿联酋方言专家,听起来比从头构建基础模型要简单。事实并非如此。有几件事让它真正变得困难:

  • 阿联酋方言主要是一种口语方言。它在网络书面内容中的出现频率远低于 MSA,甚至低于其他海湾和黎凡特方言,因此可供学习的原始文本就是没有那么多。
  • 含义往往是非字面的。习语、谚语和诗歌典故依赖的是共享的文化语境,而非表层词汇。
  • 没有现成的操作手册。关于多少方言数据才算足够、如何将其与 MSA 和通用阿拉伯语混合,或者哪个训练阶段(持续预训练、SFT 还是偏好优化)对习得一种方言最重要,都没有记录完善的配方。

最后一点塑造了我们的工作方式。构建 Falcon-Emirati-7B 的很大一部分工作归结为反复试验:测试不同的数据混合、训练阶段和监督策略,并借助人工判断和基准测试分数来弄清楚什么才真正起了作用。

我们的数据方法

我们在 Falcon-H1-Arabic 的预训练基础上构建了一条专门的阿联酋数据流水线,利用了三个互补的来源。

1. 真实的阿联酋方言网络数据

我们从阿联酋的网站和论坛抓取并整理了以该方言原生撰写的内容,而非从 MSA 翻译或音译而来。我们正是在这里获得了基准真相:阿联酋人在网上实际如何书写和说话、日常措辞、口语表达,以及真实使用中出现的阿联酋方言与 MSA 之间的自然来回切换。

2. 关于阿联酋文化与身份的 MSA 数据

除了方言文本,我们还引入了专门关于阿联酋文化、遗产和语言的 MSA 语料:关于当地习俗、价值观、历史和社会规范的文章和参考资料,包括阿联酋人如何被看待和被刻板印象化。这并不会教模型用方言写作,但它教会模型在涉及阿联酋话题时自己在谈论什么,比如遗产、礼仪,以及母语者自然而然就知道的背景。

3. 由词汇表和风格规则引导的合成数据

仅靠真实的方言文本不足以覆盖聊天模型日常实际需要处理的话题范围。因此我们生成了大量合成阿联酋方言数据来填补空白。我们并没有让生成模型用“海湾味”阿拉伯语即兴发挥。我们用专门为阿联酋词汇和语法构建的严格规则、词汇表和词典来约束它。这些护栏决定了合成输出是读起来像地道的阿联酋方言,还是语法上没问题但对任何真正说这种方言的人来说听起来不对劲。

找到合适的适配配方

由于没有从 MSA 到方言适配的标准配方,我们把训练策略本身当作需要通过实验来摸索的东西。我们做了消融实验,考察注入多少方言数据以及在训练的哪个阶段注入、如何平衡爬取的真实数据与合成数据而不让模型过拟合合成模式,以及究竟需要多少 MSA 文化背景才能让它真正扎根于文化,而不只是表面流利。每一步我们都依赖自动评分和母语者评审的结合,因为仅靠自动指标不足以捕捉自然度、语气或文化契合度,无法单独信任。

评估方法

我们在整个训练过程中用两种互补的方法跟踪进展:

由母语者进行的人工评估

阿联酋母语者直接审阅了模型输出,评判的不仅是答案是否正确,还包括它听起来是否地道:自然度、语气、文化得体性。这些是基准测试分数无法告诉你、但母语者的耳朵能立刻捕捉到的东西。

在 Alyah 上的自动评估

为了进行定量追踪,我们使用了Alyah(الياه,"北极星"),这是我们与社区专门为评估阿拉伯语 LLM 的阿联酋方言能力而发布的基准测试。Alyah 是一个完全由母语者构建的多选题基准测试,包含 1,173 个样本,由阿联酋母语者手工收集,涵盖从日常问候与礼仪到比喻性语言、遗产知识和阿联酋诗歌等类别:这些正是方言和文化最为重要、而通用阿拉伯语模型往往表现吃力的领域。关于 Alyah 构建方式和类别划分的完整细节可在我们的基准测试博客文章中查阅,基础模型系列的背景信息可在Falcon-H1-Arabic 发布公告中查阅。

结果

Falcon-Emirati-7B 得分84.83%在 Alyah 上,领先于我们对比过的所有其他阿拉伯语和多语言模型,包括若干规模是其数倍的模型。下图展示了它在 Alyah 排行榜上与一组具有代表性的领先指令微调模型相比所处的位置。

Falcon-Emirati-7B vs. leading Arabic and multilingual models on Alyah

Alyah 准确率(%),指令微调模型。Falcon-H1-Arabic 系列模型被排除在此对比之外,因为 Falcon-Emirati-7B 是构建于它们之上的。

结果告诉了我们什么

从这一对比中可以看出几点。仅靠规模并不能带来方言能力。这里一些最大的多语言模型得分远低于更小、但更懂方言的模型,这说明阿联酋方言的熟练度必须专门训练,而不是作为规模的副作用顺带获得。表现最好的模型往往一开始就是阿拉伯语原生或以阿拉伯语为重点的,这与我们在自己的消融实验中看到的情况一致:通用阿拉伯语和方言覆盖是必要的起点,但仍需要有针对性的、方言特定的工作来弥补剩余的差距,尤其是在 Alyah 最难的部分,如诗歌、遗产知识以及语言与方言类别本身。

这也与 Alyah 基准测试发布时更广泛的结论相符:即便是强大的模型,一旦进入真正的方言化、深度嵌入文化的内容,也会出现明显退化。这一差距不会随着模型变大而自行缩小。它需要专门为该方言构建的数据和评估。

超越多选题:LLM-as-Judge 评估

多选题准确率只能告诉你模型能否在四个选项中识别出正确答案。它不能告诉你,当有人直接与模型对话时,模型是否真的会自己生成阿联酋阿拉伯语。因此,除了 Alyah,我们还进行了第二项评估:在同样的 1,173 个 Alyah 问题上进行开放式生成,由 LLM 评审(Gemini 3.7 Flash)对五个模型打分,分别是 Falcon-Emirati-7B、ALLaM-7B-Instruct-preview、gemma-3-27b-it、Jais-2-8B-Chat 和 Fanar-2-27B-Instruct,它们是从 Alyah 排行榜中选出的最强竞争模型。

评审从两个独立维度对每个答案打分:内容是否正确,以及答案是否真的以阿联酋方言而非 MSA 返回。我们同时报告部分得分(评审的分级评估)和更严格的通过/不通过版本,以及每个模型弃答而非回答的频率。

LLM-judged correctness on open-ended Emirati questions

在 1,173 个 Alyah 问题上的 LLM 评审正确率,开放式生成,Gemini 3.7 作为评审。

LLM-judged dialect fidelity

同一批问题上由 LLM 评判的方言保真度:答案究竟是用阿联酋阿拉伯语返回的,还是模型默认用了 MSA?

Falcon-Emirati-7B 在正确率上领先,但真正的差距在第二张图上。在方言保真度上,Falcon-Emirati-7B 得分为 0.52(部分得分),而 ALLaM 为 0.05,gemma-3-27b-it 为 0.03,Jais-2-8B-Chat 为 0.02,Fanar-2-27B-Instruct 实际上为 0.00。这不是小幅领先,在低端几乎相差两个数量级。实际上,这意味着其他模型往往知道正确答案,但默认用现代标准阿拉伯语说出来,即便问题是直接用阿联酋阿拉伯语问的。Falcon-Emirati-7B 是五个模型中唯一一个能可靠地用提问所用方言作答的。

Fanar-2-27B-Instruct 还因第二个原因而突出:它的拒答率远高于其他任何模型,有 26.2% 的时候拒绝作答,而对比中其他每个模型都低于 5%。再加上它 0.27 的正确率(部分得分),是五个模型中最低的,这表明该模型既不太愿意、也不太有能力处理阿联酋特定内容,而不只是用错了语体来回答。

Dialect fidelity by category

按 Alyah 类别划分的方言保真度,部分得分。Falcon-Emirati-7B 是唯一一个持续切换到阿联酋阿拉伯语的模型;其他模型在几乎每个类别中都停留在 MSA。

按类别拆解方言保真度,会让这一模式更加清晰。它在 Alyah 的每一个类别中都成立,从日常问候到诗歌,这表明这不是针对少数问题类型学到的狭窄技巧。这是当阿联酋阿拉伯语是预期语体时,模型默认语体的一种普遍转变。竞争模型表现相对更好的唯一地方——问候与日常表达——也是阿联酋阿拉伯语与 MSA 重叠最多的类别,所以这是通用阿拉伯语模型最容易碰巧听起来正确的地方。

逐对比较,按类别

作为对同一问题的第三个视角,我们进行了头对头的成对评判:对于每一个 Alyah 问题,评判者(Gemini 3.7 Flash)会看到 Falcon-Emirati-7B 的回答与某个竞争模型的回答并排展示,且不知道哪个是哪个,并被要求选出更好的一个。下面的雷达图展示了针对三个竞争模型按类别划分的胜率结果:Jais-2-8B-Chat、ALLaM-7B-Instruct-preview 和 Fanar-2-27B-Instruct。

pairwise_combined

按类别划分的成对胜率,Falcon-Emirati-7B 对比 Jais-2-8B-Chat、ALLaM-7B-Instruct-preview 和 Fanar-2-27B-Instruct,由 Gemini 3.7 进行头对头评判。

Falcon-Emirati-7B 在对阵全部三个竞争对手时都赢得了大多数类别,并且在对 dialect 和文化流利度依赖最强的类别中优势明显。对阵 Jais-2-8B-Chat 时,差距最大的是诗歌与创意表达(0.69 对 0.31)以及语言与方言(0.62 对 0.38)。对阵 ALLaM-7B-Instruct-preview 时,同样这两个类别再次显示出最大差距:诗歌与创意表达(0.66 对 0.34)以及语言与方言(0.58 对 0.42)。对阵 Fanar-2-27B-Instruct 时,差距是三个对局中最大的,Falcon-Emirati-7B 赢得了每一个类别,最高达到诗歌与创意表达(0.88 对 0.12)以及宗教与社会敏感性(0.80 对 0.20)。

竞争模型唯一能守住阵地的类别是问候与日常表达:Falcon-Emirati-7B 以微弱劣势输给 Jais-2-8B-Chat(0.46 对 0.54),并与 ALLaM-7B-Instruct-preview 打成 0.50 平,不过它仍然明显战胜 Fanar-2-27B-Instruct(0.70 对 0.30)。这与我们在上文方言保真度细分中看到的情况大体一致,问候是阿联酋方言与 MSA 重叠最多的类别,因此即使没有专门的方言训练,通用阿拉伯语模型也最容易在这里听起来像母语者。在方言更具独特性的所有地方,诗歌、比喻性语言、文化遗产知识,Falcon-Emirati-7B 的优势在我们测试过的每一个竞争模型面前都清晰成立。

理解阿联酋文化

语言也关乎理解对话背后的文化。我们在以下数据集的阿联酋部分评估了 Falcon-Emirati-7BArabCulture-Dialogue,一个用于阿拉伯语文化理解的基准测试。在其多项选择任务中,模型从三个选项中选出最符合文化语境的回复。更多内容请阅读研究论文。

我们在相同的283 个阿联酋场景上测试了全部四个模型,涵盖阿联酋阿拉伯语和现代标准阿拉伯语,并使用了不同数量的位置信息。

Cultural understanding accuracy: Falcon-Emirati-7B 85.57%, ALLaM 83.39%, Jais-2 73.79%, Fanar-2 71.50%.

阿联酋多项选择任务的整体准确率,在两种语言变体和所有位置设置上取平均值。这些是我们的评估结果。

Falcon-Emirati-7B 得分 85.57%,在测试的四个模型中最高,领先于 ALLaM-7B(83.39%)、Jais-2-8B(73.79%)和 Fanar-2-27B(71.50%)。这些结果凸显了它在阿联酋对话中识别符合文化语境回复的能力。

实际效果展示

数字只能说明一部分问题,因此下面是一个实时交互式对比:五个真实的阿联酋提示词,同时通过 Falcon-Emirati-7B、Fanar-2-27B-Instruct 和 ALLaM-7B-Instruct-preview 运行。滑动或使用箭头在提示词之间切换,展开任意回复即可阅读全文。

交互式对比:Falcon-Emirati-7B 对比 Fanar-2-27B-Instruct 对比 ALLaM-7B-Instruct-preview,在五个阿联酋提示词上,涵盖开斋节问候、本地历史、诗歌和遗产知识。输出为模型生成的原样内容,可能包含错误;高亮标识的是我们的模型,而非事实性评分。

试用 Falcon-Emirati-7B

Falcon-Emirati-7B 已在我们的聊天平台上线。🚀立即试用: https://chat.falconllm.tii.ae/?model=Falcon-Emirati-7B

负责任 AI 与局限性

与任何语言模型一样,Falcon-Emirati-7B 可能反映其训练数据中的偏见,并且有时会出错,尤其是在罕见表达、高度本地化的指代,或我们缺乏足够数据的边缘案例上。方言和文化细微差别在某些地方是主观的,即便是母语者也不总能就“正确”答案达成一致。我们建议在将其用于任何敏感、官方或高风险场景之前,先针对你的具体用例评估该模型,我们也真诚欢迎阿联酋社区提供反馈,以帮助我们持续改进该模型和 Alyah。

致谢

我们衷心感谢 Mikhail Lubinets 和 Matthieu Berjon 在计算基础设施方面给予的持续支持,并感谢 Jatin Mittal 帮助使该模型可通过 Falcon Chat 应用访问。

引用

@misc{falcon_emirati_7b_2026,
  title = {Falcon-Emirati-7B: A Dialect-Specialized Arabic LLM for the Emirati Dialect},
  author = {Shaikha Alsuwaidi, Omar Alkaabi, Maitha Alhammadi, Hamza Alobeidli, Ahmed Alzubaidi, Mohammed Alyafeai, Leen AlQadi, Basma Boussaha, Hakim Hacid}, 
  organization = {Technology Innovation Institute},
  year = {2026}
}