FairStress：更深一层评估大模型决策中的公平性

Allen AI 发布 FairStress，用于衡量大语言模型在涉及人事决策时的人口统计公平性，关注点不止最终选项本身。模型已用于招聘筛选、贷款审批、医疗分诊与招生等高利害场景；传统基准多在互换人口属性后比较是否仍选出同一候选人，可能掩盖模型在遭受劝说时改口的难易差异。FairStress 在开源与前沿模型（含 Olmo、Llama、Qwen、Gemma、Claude 与 GPT 系列）及不同训练阶段上测试：同一类对抗性前缀会因所偏向的人口群体不同，使模型更易或更难改判；决策解释与内部激活模式也因领域而异。其目标是对称公平：证据支持某决定时，模型应使用相同标准，且不论哪一群体受益，对该决定的抗扰动性应一致；它不试图覆盖所有公平观，例如以历史歧视为由的纠偏取向。基准含 300 个现实双候选人场景，覆盖招聘、医疗、信贷、教育、住房与刑事司法等 29 个领域；部分有明确更优者，部分故意模糊。人口身份呈现从无信息、编码姓名、间接暗示到显式标签不等；对抗前缀匹配成对，使 300 场景扩展到逾 1300 万用例，并另有约 5 万条 FairStress-Core 子集。实验显示无人口信息时行为较对称；身份越显式，对称性越差，出现更愿为少数编码候选人放弃正确选择的反刻板过度纠正，隐式与显式身份下平均放弃正确答差距约 6.9 与 9.3 个百分点。