MistralVoxtralVoice AgentsAudio

Voxtral 3 想让语音助手把一件事做完

拆开 Voxtral 3 的听写、轮次判断、推理、工具和播报,核对实时预览状态、打断边界,以及浏览器与电话入口的工具差异。

查看接入文档
Voxtral 3 想让语音助手把一件事做完

用户对语音助手说“查一下周三还有哪些预约”,说到一半又改成“周四”。一个完整的助手要听清修改、知道何时接话、查工具,再把结果说出来。它如果只是转写得快,仍可能查错日期;如果只会自然播报,也未必真的查过。

Mistral 在 2026 年 10 月 20 日发布 Voxtral 3 系列与 Voice Agents SDK,把听、想、调工具和说话连成实时链路。本文于 11 月 11 日核对发布正文、当前 SDK 指南及轮次说明。没有部署 SDK、接通电话或测量延迟,以下案例是公开验收设计。

一次回复由不同模型和应用共同完成

Voxtral 3 是一组模型和配套软件,不是一个模型独自处理所有环节。当前典型组合包括 voxtral-mini-transcribe-realtime-3-0 实时转写、可选择的语言模型,以及 voxtral-mini-tts-3-0 语音合成。SDK 基于 LiveKit 处理实时音频传输,并连接这些阶段。

阶段要完成的事应检查的结果
听写与轮次判断识别内容,判断用户是否讲完日期修正有没有保留、停顿是否被误判
语言模型读取历史,决定回复或调工具是否使用最新意图、参数是否正确
工具查询应用或业务系统实际结果、失败和执行状态
合成与播放把答案说出来,并允许接话是否读错数字、旧语音是否停止

应用负责采集、播放与本地工具,服务端串联转写、推理和合成

发布文把批量转写、实时转写、TTS 和整条语音链放在一起介绍,各自语言覆盖与状态仍需单独看。实时转写模型页目前标为 Public Preview,不能把整场发布写成所有组件都已正式稳定。厂商的低延迟描述也不能当作自己网络、工具和播放设备上的端到端等待时间。

如果只需要上传录音后拿到文字,使用离线转写更直接,基础接口见音频 API。实时会话的轮次和打断不是给录音请求多加一个 stream 就能获得的全部能力。

用户停了一下,还不一定轮到助手

订单号、地址和日期经常带停顿。只按一小段静音就接话,会抢在用户修正之前执行。当前轮次文档区分“可能讲完”和“确认结束”:前者可提前准备能够丢弃的回复,用户继续说时撤掉;后者才是开始后续动作的依据。

文档还给出一个重要限制:Voice Agents SDK 在内部处理轮次检测,不向应用暴露 turn.eager_end 和 turn.resume 事件。 不要把底层实时转写的事件示例直接复制成 SDK 监听代码。

用户停顿后继续修正日期,预备回复可以丢弃,写操作不能提前执行

对于会修改数据的工具,应用仍要等完整意图和所需确认,再由服务端检查权限与执行条件。“大概说完了”不能成为发送消息或预约的授权。若任务改成读取公开日历,可以先验证参数和结果链路,再增加复杂动作。工具返回与权限的关系可参考MCP 工具输出的边界,其中原则不依赖语音或某个工具协议。

轮次检测与说话人区分也不能随意叠加。当前文档明确:实时转写的同一会话不能同时启用两者,否则会报错。需要多人会议记录时选说话人区分;需要一问一答时选轮次检测。若业务都要,可在有适当授权和保留安排的前提下保存录音,之后离线标注说话人。不能只因为模型介绍列出两项,就写成同一实时会话可一起开启。

打断播报,不等于撤销工具

SDK 默认允许用户在助手讲话时打断,助手会停止说话并转为听取。turn.allow_interruptions 控制这一行为。但停止播放只说明声音停下了,不能据此认定已经发出的业务动作也被撤销。

用一个只读演示先检查:工具开始查询周三,用户改口周四,旧查询迟到返回时,界面和播报是否仍沿用周四。再检查工具失败时助手有没有说明失败,而非凭旧答案说“查到了”。如果以后加入预约,必须另设计操作 ID、结果查询和重复执行保护;工作流重试与外部动作解释了同样的恢复难点。

转写修正、工具结果、语音停止和业务状态分别留下检查记录

这份试验的成功条件很具体:保留修正后的日期;调用正确的只读工具;答案对应实际工具结果;打断后不继续播放过时内容;失败时不编造成功。没有接入真实实例前,这些只能叫验收项目,不能写成已经通过。

换入口时,工具不一定跟着过去

当前工具指南区分服务端工具与应用里的 client-side handler。保存 Agent 时保存的是工具声明,执行代码仍在应用里;启动会话时要重新挂接 handler。声明存在,不代表当前运行入口具备执行能力。

电话入口尤其不同。当前指南说明 SIP 在发布阶段面向企业客户;电话会话中没有自己的应用代码运行,client-side tools 会失败,应使用适合该入口的服务端工具。网页能查到,不证明同一个 Agent 换到电话就能查到。

Mistral 发布文还介绍了私有部署,但完整本地部署需要与厂商沟通,不能由“可以自部署”推导所有组件都能直接下载、免费商用。本文没有核验一套可独立部署的完整权重与许可组合。

通过 Nbility 使用语音能力时,先按模型文档确认实际接口。通用语音转写或 TTS 可用,不证明 Mistral 的会话 SDK、SIP 和工具运行环境也已接通。配音角色本身如何设计,可读声音 Remix 与资源管理;整条语音任务则应从一个会被修正、能被打断的只读查询开始验证。

相关文章

用一句话改声线,Gemini 会另存一把声音
GeminiTTSVoice Design

用一句话改声线,Gemini 会另存一把声音

Gemini Voice remixing 用相对描述修改已有声音,生成独立 voice ID。分清长期声线与临时表演,并为试听、版本、项目范围和到期时间留下记录。

Le Chonk 开放权重,离自己部署还有多远
MistralLe Chonk开放权重

Le Chonk 开放权重,离自己部署还有多远

Mistral Large 4 开放了哪些选择?结合当前模型卡和完整许可证,理解 MoE 的部署负担、内部使用与 MaaS 的区别,以及上线前真正要验证的内容。

用 Nbility 跑通你的 Agent 工作流

获取 API Key,统一接入 OpenAI 兼容模型和开发工具。

获取 API Key