GeminiSpeech to TextVoice EditingAudio

Gemini 转写开始听懂“把上一句改掉”

Gemini 3.5 Transcribe 的 Smart 模式加入语音编辑,可以改写已有 source_text。做录音输入时要区分逐字转写、整稿替换和多轮状态,确认修改后再保存或发送。

查看接入文档
Gemini 转写开始听懂“把上一句改掉”

说完“会议明天下午两点开”,再补一句“改成三点半”,转写工具可以直接交回修改后的稿子。Google 在 2026 年 11 月 17 日为 gemini-3.5-transcribe 和 gemini-3.5-transcribe-live 加入语音编辑,支持修改词语、调整语气、整理格式,以及编辑已有文本。

这适合口述写作和表单草稿。需要逐字保留证词、采访或原始会议记录时,则要继续使用逐字转写,避免把说话里的“修改指令”执行成稿件变更。

本文于 11 月 19 日核对发布记录及语音编辑指南。没有上传录音或测量中文识别效果,以下场景与验收语句均为演示设计。

Smart 模式和普通转写有什么不同?

普通转写主要回答“刚才说了什么”,语音编辑回答“按照刚才的要求,这份文字现在应该是什么”。官方 API 默认是逐字转写;设为 mode: "smart" 后,语音编辑默认启用。

需求更合适的处理应保存什么
原样记录采访与会议逐字转写原录音与原始转写,另存整理稿
边说边改一段文字Smart 模式修改前版本、完整新稿与确认状态
用语音改已有公告Smart 模式加 source_text输入稿版本与本次新稿

逐字转写保留说话内容,Smart 编辑返回修改后的整份文本

一次把“不要修改,只记录这句话”说给 Smart 模式,是否完全按你的预期处理,仍需实测。对必须原样留存的内容,应在产品里明确选择逐字模式,而不是只靠口头约束。长会议的分段与时间戳是另一件事,可读长音频时间线还原。

怎么让它修改一份现成的稿子?

把既有文字放进 transcription_config.mode.source_text,同时把 mode 写成包含 type: "smart" 的对象。官方限制 source_text 最多 64 KiB,也就是 65,536 字节;这是字节数,不是汉字数。

下面沿用官方 Python SDK 的请求结构。先在本地配置官方 GEMINI_API_KEY,准备一段只包含公开演示指令的音频,例如“把时间改成三点半,补一句支持视频参会”。示例未执行,也不预设真实输出。

from google import genai

client = genai.Client(http_options={"api_version": "v1beta"})
audio = client.files.upload(file="edit-command.mp3")

response = client.interactions.create(
    model="gemini-3.5-transcribe",
    input=[{
        "type": "audio",
        "uri": audio.uri,
        "mime_type": audio.mime_type,
    }],
    generation_config={
        "transcription_config": {
            "mode": {
                "type": "smart",
                "source_text": "会议明天下午两点在 42 号楼举行。",
            }
        }
    },
)
print(response.output_text)

官方语言表包含普通话 cmn-Hans-CN 和粤语 yue-Hant-HK 等,但“支持语言”不等于特定口音、专名与含糊指令一定识别正确。先用同一组公开短句检查时间、数字、否定词和保留内容。

返回内容要追加,还是替换?

语音编辑返回的是完整更新稿。如果原稿是三句话,指令只改第二句,返回值仍应当作为一份候选整稿来展示。把它直接追加到原稿后面,容易出现原文与新文重复;把增量事件逐块当作完成稿,又可能覆盖成半句话。

语音与旧稿生成候选整稿,比较差异后由用户接受,再保存为新版本

更清楚的界面流程是:保留当前稿,拿到完成结果后显示新稿与差异,用户接受后再更新保存版本。这里的“接受后保存”是应用设计建议,并非模型自动提供的版本管理功能。

同样,稿件里出现“发给全体同事”,只说明文本或指令里有这句话。转写结果不应自动触发邮件、群发或提交表单;外部动作需要应用自己的明确确认。涉及工具写入的边界,可参考读取结果与写操作权限。

第二轮会记得第一轮的修改吗?

独立的 interactions.create 调用不会自动保留上一轮的 source_text。按官方指南做连续编辑时,需要把上一轮返回的 output_text 作为下一轮的来源文本。

在带人工确认的编辑器里,更稳妥的是传入“上一轮已经接受的稿子”,并记录它的版本。例如,编辑请求基于 draft-v3 发出,等待期间用户又手动改成 draft-v4,收到结果后就应提示比较或重新编辑,不能无声覆盖 v4。

官方另说明,Live API 的双向会话在 Smart 模式下会自动把每轮最终转写更新为活动来源文本;其模式值写作 SMART。这是持续会话的行为,不应套给上面的独立请求。本文未运行 Live 会话,也不把两套配置混在一个示例里。

怎样验收它确实改对了?

先写好“允许改什么、必须保留什么”,再录指令,比只听一个顺耳的结果更容易发现问题。

分别核对指定修改、未改部分、多轮版本与保存动作,避免把听清当成改对

可以用下面这组公开测试设计,不把它当成已取得的模型结果:

  1. 原稿有时间、地点、联系人,要求只改时间;核对其余字段是否保持。
  2. 要求删第二句,再问“撤回刚才的删除”;检查应用是否保留旧版本,别假设模型自带撤销历史。
  3. 第一轮把 14:00 改成 15:30,接受后再做第二轮;确认传入的是新稿而非初稿。
  4. 用户在请求期间手动改稿;确认旧请求的结果不会覆盖新版本。

只需要“录完一段短音频,转成文字供用户确认”的输入框,也可以先对照DeepSeek 短录音识别路径,不用为了基础输入就引入连续编辑状态。

通过 Nbility 接入时,先查Gemini 原生兼容说明。本文没有验证本站是否提供 Google Transcribe、Files 或 Interactions 路径;能调用普通 Gemini 对话,不能据此认定语音编辑端点可用。

相关文章

用一句话改声线,Gemini 会另存一把声音
GeminiTTSVoice Design

用一句话改声线,Gemini 会另存一把声音

Gemini Voice remixing 用相对描述修改已有声音,生成独立 voice ID。分清长期声线与临时表演,并为试听、版本、项目范围和到期时间留下记录。

Gemini 批处理结束了,先逐条对账再补跑
GeminiBatch APIWorkflow

Gemini 批处理结束了,先逐条对账再补跑

Gemini Batch API 的作业完成不等于每条请求成功。用稳定 key 保存输入与结果,区分错误、缺失和待审核项,避免创建请求重试导致整批重复执行。

Gemini 4 Neon 来了,高频复杂任务多了一个选择
GeminiGemini 4 NeonModel Selection

Gemini 4 Neon 来了,高频复杂任务多了一个选择

Gemini 4 Neon 于 11 月 18 日正式发布,定位在 Hydrogen 与 Carbon 之间。迁移时要同时检查默认思考档位、共享上下文、缓存与长输出路径,再用完整任务判断是否值得换。

用 Nbility 跑通你的 Agent 工作流

获取 API Key,统一接入 OpenAI 兼容模型和开发工具。

获取 API Key