Google研究院近日宣布了一项划时代的技术VideoPoet

2023年12月19日，Google研究院宣布了一项划时代的技术——“VideoPoet”，这是一种全新的、基于大规模语言模型（LLM）的动画生成技术，而别都大部分生成模型大多以“扩散模型(Diffusion Model)”为主流，Google这次可是玩出了新花样。

VideoPoet的厉害之处在于，它能够接收一段文字，然后变魔术似的把这段文字变成动画，还能对图片进行动画化处理，甚至可以进行视频的风格化、视频内部和外部的修补，还能将视频转换成音频。

想象一下，你给它一段描述，“在时代广场上跳舞的浣熊”，或者“穿梭在梵高《星夜》的马”，VideoPoet都能给你变出来。

具体来看VideoPoet的能力。它包括：

输入文字生成动画，可根据文字内容设置动作、风格、质量和动画的时长。

静态图片生成动画，可以让静态图片动起来。

动画再编辑，对原有的动画进行再编辑，调整动画风格等。可以根据输入的文字进行风格调整。

当然，也可以让原本画面中不动的物体动起来、或加上烟雾等。

比如，让蒙娜丽莎转动身体、打哈欠。?

当然，基本的缩放、弧线、航拍镜头都可搞定。

如果想让扩充画面、增加元素，VideoPoet也能办到。

最后放一个短片，是Google用VideoPoet制作了一个短片，讲述了一个旅行的浣熊的故事。这个短片的脚本是由Bard编写的，每个场景都有详细的分解和相关的文本提示，最终将各个视频片段拼接起来，形成了完整的故事。