GeminiGenie 4Interactive WorldsVideo

Genie 4 让生成的场景可以边走边看

Genie 4 已开放实时交互世界生成,支持键盘控制与同步音频;它适合短时视觉原型,不提供持久三维场景、工具调用或断线续玩。

查看接入文档
Genie 4 让生成的场景可以边走边看

Genie 4 可以一边生成画面,一边根据键盘输入改变行走方向和视角。它适合试做可探索的场景、交互叙事和短时视觉原型;如果目标是交付一条能剪辑、反复修改的商品短片,仍应选离线视频生成与编辑。

Google 在 2026 年 11 月 19 日宣布 genie-4 正式可用,入口是 Interactions API 的 v1beta。模型正式可用与 API 路径仍带 beta 可以同时成立。本文于 11 月 22 日重读更新记录、模型页和交互指南,没有启动付费会话;配图是机制说明,不是 Genie 输出样片。

Genie 4 和视频生成有什么不同?

Genie 4 的核心是持续接收控制、持续输出画面;离线视频模型的核心是按一次请求交付一段成片。

你的目标更合适的路径验收重点
走进一个场景,边走边看Genie 4 实时世界控制是否响应、空间是否连贯
修改商品短片背景或延长结尾Gemini Omni 等视频编辑主体、接缝和成片文件
让助手听麦克风、看摄像头并调工具支持这些能力的实时助手接口输入理解、工具结果与播报

Genie 4 虽然会输出声音,当前却不接收实时麦克风和摄像头,也不支持 function calling。声音与画面一起生成,不意味着它是能替你查订单的语音 Agent。Omni 连续编辑则处理另一种任务:把已经生成的结果继续改成可用短片。

实时世界不断接收控制,离线视频完成后交付文件,语音助手另有工具链

第一版交互原型应该验证什么?

先验证“向前走、松键停下、文字改变天气、主动结束”这一条小链路,比同时设计完整游戏更容易看清能力边界。

可以用自己编写的场景描述:“第一人称站在温室入口,中央是一条通道,两边各有植物架;环境里有轻微风声。”首轮只检查通道能否前进,暂不要求精确的植物数量、可读标签或复杂角色任务。

官方事件协议要求会话开始发送一次 world_setup。参考图若使用,应放在事件顶层的 reference_image,与 world_prompt 同级。下面只是三条独立事件的形状,需在已连接的会话中依次发送,本文只检查了 JSON 语法:

[
  {"event_type":"world_setup","world_prompt":{"text":"First-person view at a greenhouse entrance. A central walkway, plant shelves on either side, soft wind sounds."}},
  {"event_type":"user_action","action":"key_down","input":"key_w"},
  {"event_type":"user_action","action":"key_up","input":"key_w"}
]

不要把这个数组直接当作单个网络事件发送。key_down 的作用会持续到 key_up,因此应用还应在失去焦点等情况下处理松键,避免用户已经切走,场景仍持续前进。WASD 与方向键是原生训练过的控制;协议枚举里出现 space 或 key_e,不代表模型已经实现跳跃或开门。

连接后初始化一次世界,再发送按下和松开事件,最后主动结束会话

浏览器连接该选 WebRTC 还是 WebSocket?

浏览器直接交互优先考虑 WebRTC;服务端脚本、逐帧保存和自定义处理可考虑 WebSocket,两者交付媒体的方式不同。

WebRTC 用媒体轨传输视频和音频,浏览器可直接播放。WebSocket 则发送 step.delta:视频是逐帧 Base64 JPEG,音频是 48 kHz、16 位小端、双声道 PCM。不能把这些音频字节直接命名为 MP3,也不能把一张 JPEG 当成完整视频。字节、编码和播放容器的关系可接着读流式音频播放。

当前输出固定 1280×720、16:9、24 fps,不能通过提示词变成原生竖屏输出。WebRTC 的数据通道还有消息大小限制:官方建议起始 JPEG 压到 48 KB 以下,给 Base64 与 JSON 留出空间;需要较大种子图时再考虑 WebSocket。

正式浏览器应用应按官方指南由后端创建交互并签发会话范围的临时令牌,长期 Key 留在后端。本文没有验证令牌签发、浏览器连接或访问资格,不能把示意事件当成可直接上线的完整应用。

为什么转身回来,原来的门可能变了?

Genie 4 按滚动视觉窗口生成画面,不维护一个始终不变的三维场景图。离开视野再返回时,门、地标和物体可能移动,数字与标牌也可能变形。

官方给出的单会话上限是 120 秒,同时提醒长时间运行会损害视觉连贯性。这是产品限制与厂商描述,不能转成“前 90 秒一定稳定”或自己测得的效果保证。键盘控制与文字改场景也走不同的响应过程,不适合用同一个“延迟”数字概括。

因此更适合把首轮作品做成短时探索:看路、转弯、改变天气。门锁状态、物品背包、精确计数与得分若关系到玩法,应由应用保存和判断,不能从生成画面推断真实业务状态。需要可重复状态的游戏,应先决定哪些规则由自己的程序负责。

生成画面负责视觉体验,应用保存规则与状态,真实交互另做验收

关闭页面就结束生成了吗?

本地断开连接不能当作服务端已经结束。官方明确区分 complete()、cancel() 和 detach():前两者主动结束或取消服务端生成,后者只断开本地连接。

Genie 4 当前不支持会话恢复,因此不要把 detach() 设计成暂停按钮。退出时调用 complete(),并检查终止事件 interaction.completed;异常中断则按当前 SDK 的取消方式处理,同时保留必要状态以便核查。网页关闭时的一次回调也不能代替可靠的服务端生命周期管理。异步视频等待与取消说明了同样需要分开判断的页面状态与远端任务状态,但两类产品不能照搬接口。

通过多模型网关尝试新能力时,还要逐项确认接口覆盖。本站Gemini 兼容文档列出的 generateContent 路径,不能证明 Genie 的 interactions.connect 已接通。先验收官方小会话,再确认所选服务的实时通道,才有可靠的原型起点。

相关文章

Gemini 工具太多时,可以先找再加载
GeminiTool RetrievalFunction Calling

Gemini 工具太多时,可以先找再加载

Gemini Tool retrieval 可在 Interactions API 按需加载工具 Schema。服务端检索仍须每轮传完整 tools,无状态续接还要保留搜索步骤和签名。

Gemini 批处理结束了,先逐条对账再补跑
GeminiBatch APIWorkflow

Gemini 批处理结束了,先逐条对账再补跑

Gemini Batch API 的作业完成不等于每条请求成功。用稳定 key 保存输入与结果,区分错误、缺失和待审核项,避免创建请求重试导致整批重复执行。

Gemini 转写开始听懂“把上一句改掉”
GeminiSpeech to TextVoice Editing

Gemini 转写开始听懂“把上一句改掉”

Gemini 3.5 Transcribe 的 Smart 模式加入语音编辑,可以改写已有 source_text。做录音输入时要区分逐字转写、整稿替换和多轮状态,确认修改后再保存或发送。

用 Nbility 跑通你的 Agent 工作流

获取 API Key,统一接入 OpenAI 兼容模型和开发工具。

获取 API Key