这是提交给Kaggle 基准测试挑战赛的作品

我基准测试了什么

当前的评估使用西方多项选择题来给语言模型打分。模型通过记忆标准模板就能轻松通过这些测试。当信息不完整时，它们会选择中性选项以显得公平。

为了测试更深层的行为，我们收集了来自印度果阿 123 名大学生的实地数据。我们选择了 24 个真实机构争议，在这些争议中人类共识出现了分歧。这些争议横跨四个关键领域：教育、医疗、司法和金融。

Survey Entropy Across Domains

我们的基准测试考察了一种独特的行为失效。模型先承诺一条抽象的道德规则。接着，我们呈现一个具体的法律场景。最后，两个对立的用户角色向模型施压。

我们在 24 个复杂争议中追踪了四项指标：

  1. 歧义抵抗：在事实仍不完整时选择选项 C。
  2. 反事实一致性：在人口统计名称互换时保持决策不变。
  3. 角色谄媚漂移：追踪建议是否在权威人物的压力下发生翻转。
  4. 人类一致性：使用 Jensen-Shannon 散度将输出分布与我们的 123 名学生人类基线进行比较。

该测试覆盖每个领域的 6 个困境：

  • 教育：分数线申诉、农村保留名额、实验室席位、费用宣誓书、部落教育和用餐规则。
  • 医疗：ICU 呼吸机短缺、终末期肿瘤护理、器官接受者偏好、病房分配、农村医疗绑定和部落同意。
  • 司法：未决犯保释、暴行法、司法宽大、历史土地所有权、高速公路静坐和算法警务。
  • 金融：佃农小额贷款、非正式现金承保、债务豁免、贫民窟拆迁、连带责任和卫生保险。

测试的模型

我们使用 Kaggle Benchmarks SDK 评估了前沿模型和开源权重模型：

模型层级 模型标识符 提供商 评估理由
高速前沿推理 google/gemini-3-flash-preview Google 快速推理基准测试；在法律文本上测试。
80B 直接指令 qwen/qwen3-next-80b-a3b-instruct Alibaba Qwen 高参数指令基线；在没有思考轨迹的情况下测试。
前沿安全对齐 anthropic/claude-sonnet-5@default Anthropic 商业安全对齐；在人口统计不变性上评估。
前沿推理混合 google/gemini-3.7-flash Google 混合思维模型；在法条解释上测试。
中国前沿基金会 zhipu/glm-5 智谱 AI 领先的非西方模型；在角色韧性上评估。
商业中端 openai/gpt-5.4-mini-2026-03-17 OpenAI 资源均衡模型；在福利分配上测试。
开放强化学习 deepseek-ai/deepseek-r1-0528 DeepSeek 纯推理模型；测试内部偏见。
80B 扩展思维 qwen/qwen3-next-80b-a3b-thinking 阿里巴巴 Qwen 高参数推理模型；在法庭保释上测试。

发现

我们的评估表明，人口统计均等在所有被评估的模型中仍是一个未解决的挑战。

PVR_Violation

24 个困境的汇总结果

被评估模型 歧义准确率 成对违规率 (PVR) 平均谄媚漂移 人类分歧 (JSD) 运行成本
gemini-3-flash-preview 100.0%(24/24) 16.67%(4/24 次翻转) 0.333 0.1691 $0.4516
qwen3-next-80b-a3b-instruct 50.0%(12/24) 16.67%(4/24 次翻转) 0.250 0.1764 —
claude-sonnet-5-default 100.0%(24/24) 20.83%(5/24 次翻转) 0.250 0.1644 $0.3758
gemini-3.7-flash 100.0%(24/24) 20.83%(5/24 次翻转) 0.250 0.1721 $0.3244
glm-5 100.0%(24/24) 20.83%(5/24 次翻转) 0.375 0.1581 $0.6860
gpt-5.4-mini-2026-03-17 100.0%(24/24) 25.00%(6/24 次翻转) 0.333 0.1370 $0.0591
deepseek-r1-0528 95.8% (23/24) 37.50%(9/24 次翻转) 0.042 0.1967 $0.4244
qwen3-next-80b-a3b-thinking 100.0%(24/24) 41.67%(10/24 次翻转) 0.208 0.1816 $0.1753

领域细分：模型在哪里失败

按行业细分结果凸显了模型家族之间的鲜明对比：

模型标识符 教育 PVR 医疗 PVR 司法 PVR 金融 PVR 医疗谄媚 教育谄媚
gemini-3-flash-preview 0.00% 16.67% 16.67% 33.33% 0.167 0.333
qwen3-next-80b-a3b-instruct 0.00% 0.00% 16.67% 50.00% 0.333 0.167
claude-sonnet-5-default 33.33% 16.67% 33.33% 0.00% 0.167 0.333
gemini-3.7-flash 33.33% 16.67% 33.33% 0.00% 0.167 0.333
glm-5 0.00% 16.67% 33.33% 33.33% 0.167 0.667
gpt-5.4-mini-2026-03-17 16.67% 16.67% 33.33% 33.33% 0.500 0.333
deepseek-r1-0528 16.67% 66.67% 33.33% 33.33% 0.000 0.000
qwen3-next-80b-a3b-thinking 33.33% 50.00% 66.67% 16.67% 0.333 0.333

Sycophancy vs Bias Tradeoff

核心启示

1. 推理模型偏见悖论

推理模型在排行榜上产生了最高的决策翻转率。Qwen Thinking 达到 41.67% 的总翻转率。DeepSeek-R1 达到 37.50% 的总翻转率。

扩展的内部思维 token 充当了合理化引擎。当人口统计 token 发生变化时，内部推理链会生成关于潜逃风险或家庭贫困的额外假设。在刑事司法中，Qwen Thinking 在 6 项裁决中翻转了 4 项。它批准了高种姓申请人的保释，同时要求边缘化申请人提供保证书。

2. 思维与指令的权衡

将 Qwen Thinking 与 Qwen Instruct 进行对比，揭示出深思熟虑与确定性之间的根本性权衡。

Qwen Instruct 在 24 起争议中仅产生了 4 次人口统计翻转，实现了 16.67% 的平等性违规率。然而，它在 24 个案例中有 12 个未能检测出歧义。在金融和司法案件中，尽管缺少文件，它仍急于裁定结果。

Qwen Thinking 在歧义检测上取得了满分。当记录缺少关键上下文时，它正确地拒绝作出裁定。然而，当姓名发生变化时，其内部推理 token 随后为相反的裁决进行了合理化。思维 token 阻止了过早下结论，同时却使人口统计合理化成为可能。

3. 人设谄媚的分裂

DeepSeek-R1 在所有四个领域中的谄媚得分都接近零。无论提问者是医院院长还是活动人士，它都保持自己的立场。

相反，GLM-5 在教育领域表现出强烈的谄媚。在直接测试中，它实现了零人口统计翻转。然而，当对话式人设与模型互动时，它完全改变了立场。它先同意保留意见批评者，随后又在相同的法律事实下同意配额倡导者。

4. 金融领域的分歧

西方前沿模型在金融任务中表现出很强的一致性。Claude Sonnet 5 和 Gemini 3.7 Flash 在所有金融案例中实现了零决策翻转。

然而，司法评估在五个模型中触发了高违规率。刑法中的法定保护和平权行动争议对当前的前沿模型来说仍然困难。

我接下来会测量什么

  1. 区域语言测试：将 24 起争议翻译成马拉地语、孔卡尼语和印地语，以评估分词器偏差。
  2. 动态论证图：使用句子嵌入直接在 Kaggle notebook 中对模型推理链进行聚类。
  3. 法院判例锚定：测试提供官方法律法规是否能消除人口统计决策翻转。

我的基准测试

你可以在 Kaggle 上查看我们的实时基准测试排行榜、评估模型运行结果，并探索底层代码：