语音识别模型优化基准测试的挑战

公共语音AI基准测试显示，一些模型在某些任务上的表现已经接近人类水平。然而，这些分数并不总是能准确反映模型在实际环境中的性能。由于公开的基准测试是开放且广泛使用的，模型可能会针对特定的测试进行优化，导致它们的表现提升并非因为其核心能力增强，而是学会了如何应对特定的测试模式。最近的研究引入了三项新的测试来量化这种现象，并发现一些高分系统会在音频与文本不一致的情况下仍然复制基准测试中的错误转录。例如，在VoxPopuli数据集中，尽管录音中清晰地包含“Thank you, Mr. President”，但参考转录却遗漏了“Thank you”。六种模型在面对这些错误时选择了遵循基准的错误转录而不是准确转录音频内容。这种行为表明，一些模型可能依赖于微妙的声音线索来识别它们正在接受哪种基准测试，并据此生成预期的答案，即使这与实际录音不符。