Google Deepmind 正在将其 Gemini Omni 1.2 Flash 视频生成模型全面开放。更新后的模型可生成最长 15 秒的片段,支持对话式编辑,且成本比前代低 30%。
Google 表示 Gemini Omni 1.2 Flash 正通过以下渠道推出:Gemini API、Google AI Studio、Google Cloud Console、Flow、Google Vids、面向 Google AI Ultra 订阅者的 Gemini 应用,以及 Google Ads。每个生成的视频都带有不可感知的SynthID水印,以标明其来源。
片段时长现可在 3 至 15 秒之间,此前最长为 10 秒;720p 视频的价格下降 30%,至每秒 0.07 美元。生成的片段还可以通过持续对话进行编辑。
一个突出的功能是 Google 所称的“对话式编辑”。用户可以逐步调整生成的片段,更改背景、光照或宽高比,而无需重新生成整个片段。Google 表示该功能可在完整的 15 秒长度内生效。配合分层工作流,该功能旨在降低成本。草稿首先以 360p 或 720p 创建,个别细节通过后续编辑修正,只有最终结果才被放大至 1080p 或 4K。
Google 承诺使用参考图像可获得更一致的结果
Google 还承诺显著更好的参考遵循度。根据公告,该模型可以接受人物图像、产品照片、最长 3 秒的短运动片段以及音频提示作为输入。人脸、服装、包装字体和品牌颜色应在不同摄像机角度下保持一致。
作为示例,Google 展示了一段虚拟试穿片段。仅凭一张模特照片和三套服装的产品图,该模型便生成了一段 15 秒、包含 360 度转身的序列,同时保持模特的身份以及每件服装的剪裁和垂坠感。
整体视觉一致性据说也有所提升。Google 表示,与前代相比,在运动和镜头转场中的视觉漂移或变形更少。
除此之外,Gemini Omni 1.2 Flash 据称能生成更流畅、更自然的对话,唇形同步更清晰,并能区分多个说话者。该模型还能处理复杂、连续的镜头运动,例如 FPV 无人机飞行或戏剧性的拉远镜头,且不需要的跳切显著减少。