ElevenLabs正式推出Eleven Realtime，这是一套专为构建语音代理设计的语音转语音（Speech-to-Speech）模型系列。该系列包含两个版本，旨在降低对话式AI系统的开发门槛。
其中，Eleven Realtime v1 Mini主要面向人工智能助手、在线教师及互动角色等以自然对话交互为核心的场景；Eleven Realtime v1 Max则专注于客户支持、潜在客户筛选及涉及多步骤逻辑的工作流任务，具备更强的推理与工具调用能力。
两款模型均支持超过90种语言，并可调用ElevenLabs库中逾1.7万种声音。系统将语音识别、语音活动检测（VAD）、轮次切换及语音生成整合于单一架构中，解决了判断响应时机、处理中断及协调语音输出同步等技术难题。
“构建听起来自然的语音代理，不应要求开发者成为配置专家。”ElevenLabs在公告中表示。
基准测试：Max强于推理，Mini胜在交互
第三方机构Artificial Analysis的独立评估显示，两款模型在不同维度各有所长。
在考察问答推理能力的Big Bench Audio基准测试中，Max的正确回答率达98.8%，显著高于Mini的75.9%。在工具使用任务中，Max的任务完成率为87.1%，而Mini仅为60.3%。此外，Max的首次音频生成平均耗时0.57秒，略快于Mini的0.62秒。
然而，在评估停顿、中断、轮次转换等对话动态表现的Full-Duplex-Bench测试中，Mini得分95.8%，优于Max的94.1%。在基于人类偏好的Speech Agent Arena盲测中，Max得分为998，Mini为988。ElevenLabs建议，严重依赖工具调用和多步骤工作流的应用应优先选择Max。
兼容OpenAI接口，支持多渠道部署
为吸引已使用OpenAI Realtime API的开发者，Eleven Realtime遵循OpenAI的Realtime规范。开发者只需更改现有集成中的API端点和模型名称，即可轻松迁移至ElevenLabs。
该API通过WebSocket连接并支持OpenAI SDK。需注意，原本使用WebRTC集成的开发者需迁移至WebSocket方可使用该服务。
此外，开发者可通过ElevenLabs的代理平台ElevenAgents访问这些模型。该平台支持电话、网页、WhatsApp及呼叫中心等多种渠道部署，并提供工作流编排、知识库管理、安全护栏、测试及监控等配套工具。