Judge 给回答打出 0.82 分。这个数可能是模型随指令输出的等级，也可能来自多个子项平均。除非经过专门验证，它不代表“答案有 82% 的概率正确”。小数位越多，不意味着判断越精确。
校准的第一步是明确分数怎样对应人工认可的结果，以及错误发生在哪里。
人工标签是对照，也不是天然真理
选择覆盖不同长度、语言、难度和风险的候选回答，由至少两名标注者独立按同一标准判断。分歧集中在“是否必须提核实条件”时，优先澄清标准，而不是用第三个人投票掩盖业务定义不清。
保留不确定标签和仲裁依据。可以报告直接一致率，并用 Cohen’s kappa 等方法考察扣除偶然一致后的情况。kappa 的基本形式是 (观察一致率-机会一致率)/(1-机会一致率)，机会一致率根据两位标注者的边际分布计算；类别极度不平衡时，它也会受影响，因此不能只留下这个单一数值。
人工已经大量分歧的任务，不适合要求模型裁判稳定给出唯一答案。应先修订评价对象与标准。
阈值改变的是两类错误的取舍
把人工认可定义为正类。Judge 放行但人工否决是 False Pass；Judge 拦截但人工认可是 False Fail。对退款说明而言，放过虚假承诺可能比多送一次人工审核代价更高。
假设阈值 0.6 时误放五条、误拦一条，阈值 0.8 时误放一条、误拦八条。若误放成本设为 20、误拦成本为 1，两者代价分别是 101 和 28。这个教学权重解释为什么准确率最高不一定是最合适的阈值；实际成本应由业务确定，而不是为了支持结论随意赋值。
# calibration 仅用于选择阈值，不能再冒充独立测试集报告泛化效果。
calibration = [(0.95, True), (0.78, True), (0.72, False), (0.40, False)]
def loss(threshold):
false_pass = sum(score >= threshold and not human for score, human in calibration)
false_fail = sum(score < threshold and human for score, human in calibration)
return 20 * false_pass + false_fail
# 平局时选择更高阈值是本示例的明确规则，不是通用最优策略。
chosen = min([0.5, 0.7, 0.8, 0.9], key=lambda t: (loss(t), -t))
print(chosen) # 0.9这里 0.8 和 0.9 在校准集上的决策相同，选哪一个并没有额外证据。小样本只能说明方法，不能产出可直接用于生产的阈值。配套代码会另用独立数据报告误放、误拦和有效样本数。
独立验证为什么不能省
在四条样本上选最好的阈值，再在同样四条上报告满分，只能说明阈值适应了这四条数据。要用未参与选择的数据检验效果，最好按任务族隔离，避免同一答案换词后跨集合出现。
如果同时优化 Judge Prompt、评分标准和阈值，三者都属于调参过程。测试集不能在每次调参后被查看并据此修改。锁定整体配置后再产生最终报告，并保留低频风险切片的结果。
阈值选择与概率校准不同
阈值选择解决“分数到多少才放行”；概率校准解决“声称 80% 的案例是否约有 80% 真正正确”。一个很擅长排序的分数也可能完全不符合概率含义。
可将预测分数分桶，比较各桶平均预测与实际通过率，绘制可靠性图；若使用 Brier Score，就计算概率预测与二元结果的平方误差平均。前提是这个输出被定义为概率预测，不能把任意一到五分直接当概率而不说明映射。
学习映射时同样需要独立数据，样本少时复杂校准器容易过拟合。并非每个业务都需要概率输出；很多场景只需要稳定的风险排序和清晰的审核门槛。
用专门实验检查偏差
Pairwise 交换 A、B 顺序，观察判断是否反转，平局和无法判断也要保留。长度偏差可通过保留相同事实、添加无用修饰来检查。风格偏差可比较不同表达方式但事实等价的答案；语言偏差需要按语言切片，而不是先翻译所有结果再宣称多语言一致。
自我偏好意味着模型可能更认可与自身生成风格接近的内容。使用不同模型家族复核有助于发现问题，但不能保证错误独立。真正的业务事实和人工对照仍然必要。
裁判升级也会改变历史结论
Judge 模型、Prompt、证据组织或任务分布改变，都可能使原阈值失效。保存候选原文后，可以用新旧裁判在同一批样本上双评，分析变化来自质量还是尺子。
上线后按风险抽样人工复核，监控误放与误拦。仅观察平均分下降无法判断是用户任务变难、模型退化，还是评分器出现故障。版本、切片和原始证据让漂移分析有依据。
继续阅读与配套材料
上一篇：LLM-as-Judge 怎样工作：把主观要求变成可复核的评分。
完整示例、运行方式和验证边界见评测实验指南下载。本系列的订单、政策、金额和实验数据均为教学示例。