用户上传一张退款凭证，金额是 299 元，系统识别成 2999 元。整页有上千个字符，只错了一个数字，字符准确率仍然很好；若这个数字进入退款工具，业务后果却很严重。
多模态评测要把输入感知、跨模态理解、证据定位和任务结果联系起来。文本评测的方法仍然有用，但不能只保留从图像或语音提取出的文字。
文档首先是有空间结构的内容
同样一组数字放在“原价”“优惠”“实付”下面，含义不同。OCR 字符都正确，表格行列关系出错，仍然可能提取错误金额。样本需要保存原文件版本、页码、区域坐标、旋转和缩放信息，才能回到原图核验。
感知层检查字符、实体、表格结构和区域检测；推理层检查是否把正确字段用于业务规则；grounding 检查答案所指页码或框是否支持结论。区域可以使用 IoU，即交集面积除以并集面积，但框重合高不代表读出的文字正确。
例如发票的总额框和税额框很接近，模型定位大致正确，却读取错行。我们应该分别保存区域匹配、金额实体和币种结果，而不是用一个视觉总分掩盖错误。
图像理解与生成是不同任务
判断商品是否破损，数据应覆盖光照、遮挡、角度和难以确定的情况。不能把所有模糊图片强制标为正常或损坏；允许“不足以判断，需补充照片”可能更符合任务。
图像生成和编辑则需要检查尺寸、格式、透明通道，以及内容遵循、目标区域变化和非目标区域保留。文件有 alpha 通道不代表背景真的透明；像素差异小也不代表编辑满足要求。客观属性用程序，感知质量用明确标准和人工或多模态裁判。
参考图有帮助，但不意味着逐像素相同才正确。调整姿态、背景或文字的位置可能符合任务；应写清允许变化和必须保持的内容。多模态 Judge 同样要做人类对照，不能假定“能看图就能准确评分”。
WER 和 CER 怎样从编辑操作得到
语音转文字常用 WER：将参考转写变成候选转写所需的替换 S、删除 D、插入 I，总和除以参考词数 N。CER 把单位换成字符。先求最短编辑距离，再除以参考长度，而不是凭直觉数几个不一样的词。
参考词序列 [refund, two, items]，候选 [refund, three, items, now]，可以用一次替换和一次插入得到，WER 为 2/3。插入很多词时 WER 可以大于 1；参考为空时需要单独定义处理，不能除以零。
中文 CER 可以避免分词器差异，但仍要固定标点、数字和大小写规范化。把“二九九”与“299”统一处理可能有意义，把不同订单号误合并则会掩盖错误。
# 演示已确认的编辑计数；完整动态规划实现见配套 metrics.py。
substitutions, deletions, insertions = 1, 0, 1
reference_words = 3
if reference_words == 0:
raise ValueError("空参考单独报告，不能计算常规 WER")
wer = (substitutions + deletions + insertions) / reference_words
print(round(wer, 3)) # 0.667除总体 WER/CER，还要看金额、订单号、否定词等关键实体正确率。把“不要退款”识别成“要退款”，字符错误很少，任务含义却相反。端到端评测应检查是否执行了不被允许的动作。
TTS 的好坏不能只由转写决定
把合成语音再转写回来，可以辅助检查内容，但不能完整评价自然度、发音、节奏和说话人一致性。人工 MOS 需要固定评分标准、播放设备与听评流程；不同条件下的平均分不能直接横向比较。
专有名词、金额和号码应单独覆盖。声音自然却把 299 元念成 2999 元，属于关键内容错误。长文本中遗漏一句限制条件，也需要通过内容覆盖核验，而不是只听一小段声音样本。
实时语音还包含时间关系
用户说到一半修正订单号，助手是否过早开始工具调用？用户打断后，声音是否停止、模型任务是否停止、后台写操作是否停止？这三个状态可能不同。
首音频延迟要说明从用户停止说话、端点检测完成，还是请求发送开始计时。端点检测本身会增加等待，也可能误判停顿。应保留用户与助手音频时间轴、工具事件和网络条件，检查抢话、漏听、重复播报与沉默超时。
网络抖动实验可以注入延迟和丢包，观察恢复后是否重复播报或重复提交工具。带工具的语音 Agent 必须让播报与实际业务状态一致，不能在后台失败后继续说“已完成”。
数据代表性与隐私边界
按口音、噪声、语速、设备、重叠说话、图片清晰度和文档版式切片。合成噪声与真实环境不完全等价，不能因为实验室样本好看就省略真实设备验证。
音视频包含身份、背景环境和生物特征，采集应有授权，存储应最小化并限制访问。保存足以复核的证据，不代表无限期保存所有原始素材。多模态评测最终仍然回到同一个问题：系统是否依据正确输入，在允许的边界内完成了用户任务。
继续阅读与配套材料
下一篇：读懂 Ragas：一个评测指标怎样变成可执行的评分过程。
完整示例、运行方式和验证边界见评测实验指南下载。本系列的订单、政策、金额和实验数据均为教学示例。