低延迟语音推理API基准测试：从时间到首个令牌TTFT开始

时间到首个令牌（TTFT）是团队选择语音推理API的重要指标，但它可能误导人们，因为它只衡量了生成开始的时间点。完整的语句或句子需要完全到达后才能进行语音合成，这决定了一个代理是否能够流畅对话还是会被打断。本文对包括大语言模型（LLM）、语音转文本、文本转语音和语音到语音在内的整个语音技术栈进行了基准测试，并指出TTFT只是衡量生成开始的时间点，而完整的语句或句子需要完全到达后才能进行语音合成。此外，文章还详细介绍了每个阶段的延迟预算，包括语音识别（STT）大约100-200毫秒、大语言模型（LLM）300-500毫秒、文本转语音（TTS）100-200毫秒以及网络传输50-150毫秒。LiveKit的语音代理概述将一次语音交互的成本分解为大约100到200毫秒的STT，300到500毫秒的大语言模型推理（LLM），100到200毫秒的文本转语音（TTS）以及50到150毫秒的网络传输。