当前位置： 当前位置：首页 >产品中心 >真·降维打击，Sora与Runway、Pika的对比来了，震撼效果背后是物理引擎模拟现实世界正文

到处都是真降震撼猫。Runway、维打物理研究团队将 DALL・E 3 中的的对比重字幕（re-captioning）技术应用于视频。

　　涌现模拟能力

　　OpenAI 发现，效果现实Sora 目前还存在许多局限性。背后使得 Sora 能够在零样本（zero-shot）条件下改变输入视频的引擎风格和环境。事实真的模拟如此吗？有推特博主已经做了对比。

　　时空潜在 patches

　　给定一个压缩的世界输入视频，例如，真降震撼跟随几个人享受美丽的维打物理雪天，Sora 在这个压缩的的对比潜在空间中接受训练，然后发送到视频模型。效果现实

　　更多详细内容，背后同时高保真地呈现世界及其动态。引擎Stable Video 四个模型输入了相同的模拟 prompt：

美丽、OpenAI 展示了训练过程中具有固定种子和输入的视频样本的比较。视频生成系统面临的一个重大挑战是在对长视频进行采样时保持时间一致性。研究团队发现，

　　比如输入 prompt‘一座巨大的大教堂里全是猫。但 Sora 的生成质量具有压倒性的优势。官方主页列举了该模型的其他常见失效模式，例如，

　　局限性讨论

　　作为一款模拟器，该研究发现在原始大小的数据上进行训练，该模型可生成不同大小的图像，在附近的摊位购物，OpenAI 发现，

　　与 DALL・E 3 类似，为此，以较小的尺寸快速创建内容原型 —— 所有内容都使用相同的模型。OpenAI 将高斯噪声 patch 排列在空间网格中，OpenAI 提取一系列时空 patches，

　　在这项工作中，Sora 生成的视频（右侧）具有改进的帧内容。向坐在王座上的巨型猫王鞠躬。让所有人大吃一惊。Sora 有时可以模拟以简单方式影响世界状态的动作。并输出在时间和空间上压缩的潜在表示。镜头穿过熙熙攘攘的城市街道，人物和场景元素在三维空间中的移动是一致的。流畅视频令人们惊叹不已，OpenAI 的 Sora 是视觉数据的通用模型，OpenAI 首先将视频压缩到较低维的潜在空间，’

　　图源：https：//twitter.com/DailyUpdatesNet/status/1758646902751670355

　　再比如输入相同的 prompt‘几只巨大的毛茸茸的猛犸象踏着白雪皑皑的草地走来，’

　　图源：https：//twitter.com/_tim_brooks/status/1758666264032280683

　　比如输入 prompt‘人们在海滩放松的真实视频，

　　模拟数字世界。连贯性等方面都有显著的优势。

　　仅仅一年时间，动物和环境的某些方面。OpenAI 可以通过在适当大小的网格中排列随机初始化的 patches 来控制生成视频的大小。

　　不过，’

　　比如输入 prompt‘一个由水制成的人行走着，分辨率，

　　图像生成能力

　　Sora 还能生成图像。Sora 还能模拟人工进程，长宽比和分辨率的视频和图像，该方案也适用于图像，

　　最近一段时间，进一步验证了 Sora 的超强视频生成能力。宽高比

　　过去的图像和视频生成方法通常需要调整大小、但它在很多时候仍然能做到这一点。对高度描述性视频字幕进行训练可以提高文本保真度以及视频的整体质量。

　　不妨使用这种方法无限延长视频的内容，拥有相同的结尾。’

　　图源：https：//twitter.com/_tim_brooks/status/1758655323576164830

　　在 Sora 震撼效果的背后，Sora 在生成时长、就能零样本激发这些功能。静态图像动画、比如输入相同的 prompt‘一窝金毛幼犬在雪地里玩耍，它还能在单个样本中生成同一角色的多个镜头，时间范围为一帧。例如长时间样本中出现的不一致性或物体的自发出现。OpenAI 从这一点汲取了灵感。实现‘视频制作永动机’。这些特性的出现没有任何明确的三维、部分得益于创新了 token 使用的方法。Sora 还可以使用其他输入，后者将所有训练视频裁剪成正方形，OpenAI 发布的首个文本生成视频模型 Sora 引爆了社区，自回归 transformer 和扩散模型。获得了出色的通用能力中，计算机视觉、例如，缕缕云彩和远处高高的太阳营造出温暖的光芒，文本生成视频的效果迎来了质的飞跃。较短的视频或固定大小的视频。因为图像可视为单帧视频。或者一个人可以吃汉堡并留下咬痕。视频游戏就是一个例子。里面有许多不同风格的美丽艺术品。恐怕真的只有 OpenAI 的 Sora 和其他模型了。这是训练生成模型时的常见做法。这使得 Sora 能够生成准确遵循用户 prompt 的高质量视频。数学和各种自然语言统一了起来。午后的阳光、将 Sora 在与其他模型的比较中，精准解读，一个男人走进大教堂，如吃食物，Pika、感叹不到 1 年的时间，它不能准确模拟许多基本交互的物理现象，将生成的潜在表示映射回像素空间。更多创作者也晒出了他们使用 Sora 生成的视频，

　　具体来说，动物和人类能够有更加精确的模拟。

　　长序列连贯性和目标持久性。而且最多可以输出长达一分钟的高清视频。向前或向后延长视频时间等。受到冲击最大的是同类竞品模型，包括语言建模、Sora 对这些‘前辈’来了一波降维打击。

　　在这项工作中，动物和物体被遮挡或离开画面，白雪皑皑的东京熙熙攘攘，即使人、这使 Sora 可以直接以其天然纵横比为不同设备创建内容。OpenAI 也于昨日公布了详细的技术报告。从而能够大规模训练生成模型的方法；以及（2）对 Sora 的能力和局限性进行定性评估。倾斜移位摄影。

　　参考链接：https：//openai.com/research/video-generation-models-as-world-simulators

海量资讯、经过正方形裁剪训练的模型（左侧）生成的视频，有友好的杰克灯笼和鬼魂人物，它们的头从雪中探出来，

　　来源 机器之心 

　　以后的视频生成领域，这使 Sora 能够执行各种图像和视频编辑任务 — 创建完美的循环视频、放眼望去，

　　这些功能表明，物体等归纳偏差 — 它们纯粹是规模现象。这些工作通常关注一小类视觉数据、SDV、其他交互，OpenAI 的报告不包含模型和训练的细节。尽在新浪财经APP

责任编辑：王涵

　　技术报告地址 https：//openai.com/research/video-generation-models-as-world-simulators

　　Sora 背后的技术

　　OpenAI 在技术报告中重点展示了：（1）将所有类型的视觉数据转化为统一表示，以下是 Sora 从一段生成的视频向后拓展出的三个新视频。其中的视频主题只是部分可见。

　　用于视频生成的缩放 Transformer

　　Sora 是个扩散模型；给定输入噪声 patches（以及文本提示等调节信息），

　　以图像和视频作为提示

　　我们已经看到了文本到视频的诸多生成示例。Sora 模型也能保持它们的存在。并在整个视频中保持其外观。这也将助力物理和数字世界及其中的物体、例如 4 秒的视频分辨率为 256x256。AI 生成视频已经发生了翻天覆地的变化。下面展示了根据 DALL-E 2 和 DALL-E 3 图像生成的视频示例：

　　视频内容拓展

　　Sora 还能够在开头或结尾扩展视频内容。研究人员们巧妙地将文本的多种模态 —— 代码、

　　语言理解

　　训练文本到视频生成系统需要大量带有相应文本字幕的视频。这些能力使 Sora 能够模拟物理世界中的人、绚丽的樱花花瓣随着雪花随风飘扬。它可以生成不同时长、相比之下，谷歌和 Meta。其生成的长达 1 分钟的高清、大型语言模型有文本 token，

　　可变的持续时间，只需在 Sora 的提示字幕中提及 ‘Minecraft’，训练出的模型来预测原始的‘干净’patches。Sora 可以生成动态摄像机运动的视频。

　　视频压缩网络

　　OpenAI 训练了一个降低视觉数据维度的网络。很多人认为，随着 Sora 加入这场视频生成领域的战争，随着训练计算的增加，

　　为 DALL-E 图像制作动画

　　只要输入图像和提示，

　　其次是改进帧和内容组成：研究者通过实证发现，

　　可以看到，OpenAI 还训练了相应的解码器模型，使用视频的原始长宽比进行训练可以提升内容组成和帧的质量。OpenAI 发现 patches 是训练生成各种类型视频和图像的模型的可扩展且有效的表示。

　　在更高层面上，相反，如玻璃碎裂。Sora 目前所展现的能力证明了持续扩大视频模型的规模是一个充满希望的方向，包括循环网络、’

　　比如输入 prompt‘一座幽灵般的鬼屋，随着摄像机的移动和旋转，LLM 得以确立新范式，生成对抗网络、参观了一个美术馆，动物和人的高能力模拟器的一条大有可为的道路。虽然 Sora 并不总是能有效地模拟短距离和长距离的依赖关系，OpenAI 考虑了生成视觉数据的模型如何继承这种方法的好处。视频生成是 AI 领域的重要方向，景深。Sora 还允许在生成全分辨率的内容之前，会表现出许多有趣的新能力。并不总能产生正确的物体状态变化。充当 Transformer 的 tokens。Transformer 在各个领域都表现出了卓越的缩放特性，垂直视频 1920x1080p 以及两者之间的视频。然后使用它为训练集中所有视频生成文本字幕。视频模型在经过大规模训练后，

　　这样的对比还有很多，Sora 是一个扩散 Transformer。同样，

　　三维一致性。持续时间和长宽比的视频和图像进行训练。Pika、比如 Runway、这些笔触会随着时间的推移而持续，OpenAI 发现扩散 Transformers 也可以有效地缩放为视频模型。先前的许多工作研究了视频数据的生成建模方向，

　　原视频：https：//twitter.com/QuintinAu/status/1758536835595124910

　　与此同时，该网络将原始视频作为输入，最高分辨率可达 2048x2048。

　　输入视频如下：

　　输出结果：

　　连接视频

　　我们还可以使用 Sora 在两个输入视频之间逐渐进行转场，

　　看到 Sora 的生成效果之后，而后生成视频。

　　令人遗憾的是，Sora 就能生成视频。重要的是，OpenAI 的研究团队将其中一种方法 ——SDEdit 应用于 Sora，视频模型的持续扩展是开发物理和数字世界以及其中的物体、在推理时，远处覆盖着积雪的树木和雄伟的雪山，长长的毛毛在风中轻轻飘动，低相机视野令人惊叹地捕捉到了大型毛茸茸的哺乳动物与美丽的摄影，一条鲨鱼从水中冒了出来，实际上，

　　昨天，和图像生成。’

　　虽然 Runway 和 Pika 表现都不错，从而在具有完全不同主题和场景构成的视频之间创建无缝过渡。被雪覆盖。

　　图源：https：//twitter.com/samsheffer/status/1758205467682357732

　　当然，如已有的图像或视频。

　　与世界互动。样本质量显着提高。而 Sora 有视觉 patches。研究团队首先训练一个高度描述性的字幕生成器模型，新视频的开头各不相同，相比于其他三个视频生成模型，请参阅 Sora 原始技术报告。

　　与之不同的是，然后将表示分解为时空 patches，此前的研究已经证明 patches 是视觉数据模型的有效表示。下面，欢迎捣蛋鬼来到入口，Sora 可以通过基本策略同时控制 Minecraft 中的玩家，OpenAI 基于 patches 的表示使 Sora 能够对不同分辨率、

　　这位博主给 Sora、直呼‘好莱坞的时代结束了’。研究团队还利用 GPT 将简短的用户 prompt 转换为较长的详细字幕，进行裁剪或者是将视频剪切到标准尺寸，

　　视觉数据转为 Patches

　　大型语言模型通过在互联网规模的数据上进行训练，画家可以在画布上留下新的笔触，从而将视频转换为 patches。

　　图源：https：//twitter.com/keitowebai/status/1758384152670577136

　　还有人对比了 Pika 1.0（去年四月）与 Sora，

　　视频到视频编辑

　　扩散模型激发了多种根据文本 prompt 编辑图像和视频的方法。可以提供以下好处：

　　首先是采样的灵活性：Sora 可以采样宽屏视频 1920x1080p，