Google视频生成AI模型Veo 2发布：升级4K高清一句话控制镜头运动

0 量子位 2024-12-17 04:52:32

摘要：

OpenAI直播划水的一天，Google版Sora迎来了它的2.0——Veo 2，根据文本或图像生成更为高质量的视频。从官方介绍中看，此次主要有三个方面的升级。分辨率能达到4K；能够理解有关镜头控制的Prompt；更注重现实物理世界与人类表情的理解和展示。

在官方账号底下，大家都对这些效果表示了惊叹：

我真的想Google输掉比赛，但是Google没有输。

另外，图像生成模型Imagen 3也有进一步的改进。

Google版Sora2.0：重新定义质量和控制

质量和控制，是此次视频模型升级的关键词。

除了显而易见的清晰度的提升——最高可达4K分辨率，它能够忠实地遵循简单和复杂的指令Prompt，并令人信服地模拟现实世界的物理以及各种视觉风格。

具体体现在它的真实感和保真度上，比如细节、伪影减少等方面都有显著改进。

还有高级的运动功能，基于对物理学的理解，能够更高精度的表示运动。

还能准确地遵循各种镜头控制类的Prompt，比如拍摄风格、角度、动作以及所有这些的组合。

那么接下来直观地感受一下效果。

Prompt：特写镜头聚焦于一位女 DJ 的脸部，她美丽、浓密的黑色卷发勾勒出她的五官，她完全沉浸在音乐中。她闭上双眼，沉浸在节奏中，嘴角挂着一丝微笑。当她随着节拍点头和摇摆时，相机捕捉到了她头部的细微动作，她的身体本能地随着耳机中传出的音乐而做出反应，传到人群中。浅景深使背景变得模糊。她被鲜艳的霓虹色包围着。特写镜头强调了她迷人的气质以及音乐传递和超越的力量。

还有是这种集体的蜂群也能刻画出来。

Prompt：镜头轻轻飘过一排排粉刷过的木制蜂箱，嗡嗡作响的蜜蜂在画面中进进出出。镜头落在站在画面中央的优雅农民身上，他洁白的养蜂服在金色的午后阳光下闪闪发光。他举起一罐蜂蜜，稍微倾斜以捕捉光线。在他身后，高大的向日葵在微风中有节奏地摇曳，花瓣在温暖的阳光下闪闪发光。镜头向上倾斜，露出一座复古的农舍，百叶窗是薄荷绿色的，摇曳的树木在墙上投下斑驳的阴影。用 35 毫米镜头在柯达 Portra 400 胶片上拍摄，金色的光线在农民的手套、果酱罐和蜂箱的风化木材上形成了丰富的纹理。

还可以切换镜头，从近景到远景，而在镜头之下，不管是蜂蜜还是咖啡的泡沫细节都有精确地刻画。

Prompt：太阳在一盘摆放整齐的早餐场景后缓缓升起。浓稠的金色枫糖浆以慢动作倒在松软的煎饼上，每一块煎饼都散发出柔软温暖的蒸汽云。特写镜头中，脆培根发出嘶嘶声，金色油脂的细小余烬在空中飞舞。咖啡以顺滑的旋转动作倒入水晶般透明的杯子中，杯子里充满了深棕色的咖啡油层。场景结束时，相机俯冲到新鲜切好的橙子上，以令人惊叹的微距细节展示出它明亮多汁的果肉。

那么在根据人类对其性能的评估中，Veo 2 的表现优于其他领先的视频生成模型

在Meta基准数据集 MovieGenBench上，人类参与者观看了1003个提示和响应的视频。

结果显示，跟市面上的主流视频生成模型相比，Veo2.0在整体偏好、Prompt指令准确遵循方面都表现最佳。

值得一提的是，这里除了Sora，国产模型可灵、MiniMax都上桌了。