一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

谷歌整出了个新“AI导演”一句话甚至能把%ignore_a_1%主角给换了

你看,青青草地上,一只小熊正在跳舞。

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

难道现在的熊都这么有艺术细胞了嘛??

No,No,No!草地上原有的其实是只猴子。

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

要从猴变熊,只用跟这个AI说一句:

一只小熊随着音乐节拍跳着舞,扭动他的整个身子。(A bear dancing and jumping to upbeat music, moving his whole body)

除了会“魔改”视频,这个名为Dreamix的AI还能把静态图片变成动画——也是一句话就搞定

比如给此AI看一张“海龟游泳照”,再告诉它:

水下拍到一只海龟在游泳,后面有只鲨鱼正在靠近。(Underwater shot of a sea turle with a shark apporching from behind)

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

好家伙,一句话不仅让海龟游起来了,还凭空加了条鲨鱼。

这效果,让不少围观网友都纷纷点赞。

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

有人甚至断言,AIGC将在接下的两年时间继续掀起热潮,甚至比千禧年间的发展更加疯狂。

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

导演视频,只用一句话

一经公开就能受到盛赞,这个AI究竟如何?不妨再看看其更多的“导演”作品来感受一下。

首先,在更换视频角色方面,这是原本的田野:

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

这是AI放火烧掉的田野:

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

这是人的手在写字:

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

这是AI生成的机器人手在写字:

同样以人写字的视频为原型,如果把提示句子换成“人的手在画圆”,还会有不同的生成效果:

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

而在静态图变动画方面,原图是雾蒙蒙的丛林:

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

而AI给这片林子加了一只奔跑的独角兽,而且镜头还按句子提示给拉远了。

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

还有这样一张河谷风景图:

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

AI不仅让溪水流动起来,还给岸边加上了来洗澡水牛,给天空加上了飞翔的小鸟。

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

看到这里,有人可能会觉得欠点火候:动画倒是做出来了,但画质也牺牲了挺多啊。

那不妨多给AI看几张图。

比如一口气给AI看7张玩具火警的照片:

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

然后再让它根据一句话生成视频,这下画质就会清楚很多。

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

至于这个”AI导演”是怎么做的,谷歌表示,关键在于“老朋友”扩散模型 (Diffusion Model) 。

扩散模型,也是火出圈的AIGC作画神器DALL·E 2的核心。

谷歌研究人员指出,其实之前已有类似的“文字生成视频”AI了,但若仅仅在输入视频上对视频扩散模型进行微调,会限制运动变化的程度。

而此AI与众不同之处在于:

团队使用了一个“混合目标”,除了对原始目标进行微调外,还会对无序帧集进行微调。

他们采用了一种深度学习中专门的注意力机制:Masked Temporal Attention,帮助模型专注于输入信息的特定部分,忽略其他无关的部分。

——这提高了模型处理序列数据的能力,生成视频中的动态更多样化,且效果也比较自然。

一句话就能魔改视频主角,谷歌新「AI导演」惊呆网友:这画质也太赞了

在扩散模型和Masked Temporal Attention的加持下,对于更换视频主角来说,输入其实已经被省略了——只需进行微调,结果的保真度也相当不错。

文章版权声明

 1 原创文章作者:psdoc,如若转载,请注明出处: https://www.52hwl.com/55169.html

 2 温馨提示:软件侵权请联系469472785#qq.com(三天内删除相关链接)资源失效请留言反馈

 3 下载提示:如遇蓝奏云无法访问,请修改lanzous(把s修改成x)

 免责声明:本站为个人博客,所有软件信息均来自网络 修改版软件,加群广告提示为修改者自留,非本站信息,注意鉴别

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年7月16日 下午3:45
下一篇 2023年7月16日 下午3:46