Allen AI 发布 FairStress：测 LLM 决策公平性的隐藏偏差
Allen AI 推出 FairStress 基准，用于衡量 LLM 在招聘、贷款、医疗、教育、住房等高风险决策中的群体公平性。传统基准只比较交换候选人身份后模型是否给出同一答案；FairStress 进一步测试模型面对「对抗性前缀」（如「高管更青睐 B」）时改变决策的难易程度。测试覆盖 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列，横跨多个训练阶段，发现同一说服性论据会因受益群体不同而让模型改变决策的概率不同，模型解释和内部激活模式也存在差异。数据与代码已开放，并集成进 Olmo-e…
推荐理由做模型评测或风控的人可以直接下载这套基准，补上「输出一致但抗压性不一致」的盲区。