图生视频的三种输入方式,效果差在哪
同一段描述,可以从一张图开始,也可以从两张图开始,还可以指定关键帧。
这三种方式的控制力、稳定性、适用场景都不一样,多数人只用过第一种。
第一种:单图驱动
给一张静态图,让它动起来。
控制力。 中低。你能决定起点是什么,但决定不了它怎么动。
稳定性。 较高的图生视频里最好的一种。因为起点确定,模型只需要往外推演。
典型用途。 让产品图转一下、让人物有个微表情、让风景有云在动。
它的特点是“在既有画面上加运动”,不是“生成一段新画面”。所以画面本身的质量决定了结果上限——图糊了,视频也糊。
第二种:首尾帧
给两张图,指定起点和终点,中间让它自己补。
控制力。 中高。你定了两个关键状态,中间过程不能直接指定,但整体走向受控。
稳定性。 中等。两张图差异越大,中间越容易崩:人物变了样、物体穿模、背景跳变。
典型用途。 转场、变形、从白天到夜晚、从空到满。
用这一种有两个要点。
两帧要同构。 同样的构图、相似的视角、一致的光线。同构程度决定成功率。
差异要可控。 想让人物从站着变成坐着,两帧就用同一个人的两种姿态;而不是换一个场景再变。
| 输入方式 | 控制力 | 稳定性 | 适合 |
|---|---|---|---|
| 单图驱动 | 低 | 高 | 加环境运动 |
| 首尾帧 | 中高 | 中 | 转场、变形 |
| 关键帧序列 | 高 | 中低 | 精确节奏 |
| 纯文字 | 最低 | 低 | 快速试想法 |
第三种:多关键帧
给三张以上的图,指定时间点。
控制力。 最高。可以精确控制某个时刻画面是什么样。
稳定性。 较低。帧越多,帧与帧之间的过渡越难对齐,容易出现“跳帧感”。
典型用途。 需要精确节奏的短片,比如产品演示的每一步。
这种方式的实际操作难度最高:要先把每个关键状态的图都做出来,而且这些图之间必须能连起来。
所以它适合“已经把画面想得很清楚”的情况,不适合探索。
一个容易忽略的点:运动幅度
不管用哪种输入,都要控制“动多少”。
动太少,视频看起来像静止图片加抖动,没有意义。
动太多,模型被迫编造大量内容,崩坏概率陡增。
合适的幅度是:让画面有明确的变化,但不产生新的元素。
判断方法:把视频第一帧和最后一帧对比,如果主体结构没变、只是位置或状态变了,幅度大概合适;如果主体都换了一个,说明过度。
三种方式的成本差异
单图。 一张图加一段描述。成本最低。
首尾帧。 两张图,且要保证同构。第二张图往往要单独生成或修出来,成本是单图的两倍左右。
多关键帧。 每个关键状态的图都要做,而且要做到能连起来。成本随帧数线性增长,还要加上反复对齐的时间。
成本之外还有一层:返工成本。首尾帧不成功,通常要重做第二张图;多关键帧不成功,可能要重做整个序列。
什么时候用哪一种
一条简单的判断链。
只想让画面动起来。 单图。
要说明一个变化过程。 首尾帧。
要按脚本精确推进。 多关键帧。
还没有画面,只想看看大概。 文字直接生视频。
四种判断里,第二种和第三种最容易搞混。区别是:变化过程只需要“从 A 到 B”,节奏控制需要“几秒到 B、几秒到 C”。
一个反向的用法
多数人是“先做图,再做视频”。
反过来也成立:先用文字生成一段粗糙的视频,从里面截取满意的帧,再把这些帧当作图生视频的输入。
这个用法的好处是不用凭空想构图——你看到了实际的效果再选。
坏处是中间多了一道,而且从视频里截出来的帧质量通常不如单独生成的图。
一个提醒
图生视频的瓶颈通常不在视频模型,在输入图。
图里有一只手,视频里这只手会动,缺陷会被放大;图里有一处模糊,视频里它会一直模糊。静态图能糊过去的问题,动起来都藏不住。
所以做视频之前先修图。这一步省不掉。