精华速览

10月20日，英国AI音频公司ElevenLabs发布实时语音系列模型Eleven Realtime，含面向自然交流的v1 Mini和面向客服、多步骤任务的v1 Max，均支持90余种语言并调用超1.7万种音色。该系列将语音识别、大语言模型与语音合成统一配置，开发者选定模型后即可围绕业务设置角色、知识库和工具，无需逐项挑选底层组件。第三方评测显示，Max在Big Bench Audio语音推理中正确率98.8%，平均首次音频响应0.57秒。智东西实测其Architect搭建助手，语音修改设置较为顺畅，但中文口音明显、回复偏长、延迟较高。

要点透视

  • ElevenLabs于10月20日发布Eleven Realtime系列，包括v1 Mini和v1 Max两款模型，均支持超过90种语言，可使用声音库中超过1.7万种音色。
  • 据Artificial Analysis测试，Max在Big Bench Audio语音推理评测中正确率为98.8%，位列第三，仅次于阶跃星辰StepAudio 3 Realtime的99.7%和阿里Qwen Audio 3.0 Realtime Plus的99.2%。
  • Max和Mini在Big Bench Audio中的平均首次音频响应时间分别为0.57秒和0.62秒；作为对照，Qwen Audio 3.0 Realtime Plus同项指标为1.54秒。
  • 在Speech Agent Arena真人实时对话评测中，Max工具使用任务完成率为87.1%，Mini为60.3%；但在Full-Duplex-Bench全双工对话评测中，Mini以95.8%略高于Max的94.1%。
  • ElevenLabs今年2月完成5亿美元D轮融资，估值110亿美元；9月一笔员工股份交易使估值升至220亿美元，投资方包括红杉资本、a16z、英伟达旗下NVentures和LG Technology Ventures。
  • Realtime API兼容OpenAI Realtime规范，目前仅支持WebSocket连接；超出套餐额度后，两款模型音频连接费均为每分钟0.08美元，Mini输入/输出Token分别为每百万0.20美元和6美元，Max为1.80美元和9美元。
  • 智东西实测Architect搭建助手：英文指令修改语言设置顺畅，中文指令也能执行，但中文口音明显、回复偏长且不易打断，测试中还有响应等待和偶发卡顿。
  • ElevenLabs延续级联架构，由语音识别、大语言模型和语音合成组件协同工作；公司称该路线便于分别测试升级各环节，但语音转文字会丢失部分语调、节奏和情绪信息，需额外建模补充。

文章拆解

ElevenLabs此次发布Realtime，核心变化不在单一模型能力，而在产品形态：把过去需要开发者自行拼装的语音识别、大语言模型和语音合成打包成统一配置项。此前搭建语音Agent，开发者要分别选型、调参，还要处理接话、打断等交互细节；现在选定Mini或Max后，可直接围绕业务设置角色、知识库和工具。这降低了语音Agent的搭建门槛，也把竞争焦点从单点模型性能转向端到端体验。

从评测数据看，Max走的是“准确率与响应速度优先”路线：98.8%的语音推理正确率和0.57秒首次音频响应，在同类产品中处于前列。Mini则以低成本自然对话为卖点，推理正确率75.9%，但在停顿处理、轮次交接等全双工对话项目上综合得分略高于Max。这说明两款模型并非简单的高低配，而是针对不同任务类型做了取舍：需要多步推理和工具调用的客服场景适合Max，教学辅导、互动角色等轻量对话适合Mini。

对行业而言，实时语音赛道已聚集OpenAI GPT-Realtime、谷歌Gemini Live、阿里Qwen-Audio-Realtime等玩家，各家技术路线不同，但目标一致：让用户通过自然对话推动AI完成任务。ElevenLabs的差异化在于音频积累——从文本转语音起家，扩展到语音识别、音效、音乐和对话智能体，声音库和音色资源是其现成优势。不过，级联架构的固有短板也明确：语音转文字会丢失语调、节奏和情绪信息，公司需额外建模弥补，这会影响拟人化体验的上限。

实测暴露的问题同样值得关注。Architect助手能用语音修改Agent设置，省去菜单操作，但中文口音明显、回复偏长、打断响应不够及时，加上网络导致的等待和卡顿，说明“能听懂”和“聊得顺”之间仍有距离。需要说明的是，本次实测仅覆盖搭建助手，Mini和Max的实际对话表现因需付费购买Token而未测试，其真实交互质量尚待确认。

潜在变量有三：一是定价，Realtime API按连接时长和Token双重计费，高频长对话场景的成本压力需用户自行测算；二是生态兼容，API兼容OpenAI Realtime规范但仅支持WebSocket，接入灵活性有限；三是IPO预期，CEO此前称希望两年至两年半内具备上市条件，产品商业化进度将直接影响估值叙事。实时语音正从“能回答”走向“能办事”，但网络延迟、接话时机和工具执行任一环节掉链子，都会让体验打折。

查看原文