家人们,现在做个影视级视频,也就是一句话的事了!
例如只需简单输入“丛林(Jungle)”,大片镜头便可立刻呈现:
而且围绕着“丛林”变换几个搭配的词语,比如“河流”、“瀑布”、“黄昏”、“白天”等,这个AI也能秒懂你的意思。
还有下面这些自然美景、宇宙奇观、微观细胞等高清视频,统统只需一句话。
这就是Stable Diffusion和《瞬息全宇宙》背后技术公司Runway,出品的AI视频编辑工具Gen2。
而且就在最近,一个好消息突然袭来——Gen2可以免费试用了!
这可把网友们开心坏了,纷纷开始尝鲜了起来。
体验Gen2实录
如此好玩的技术,我们当然也要亲手体验上一番。
例如我们给Gen2投喂了一句中文:
上海外滩夜景,影视风格。
一个航拍视角的视频片段便立即被做了出来。
如果想让视频的风格变换一下,也可以上传一张图片,例如我们用的是一张赛博朋克风格的城市照片。
那么Gen2就会把你输出的提示词和照片风格做一个“合体”:
目前Runway官网可免费体验Gen2的功能是文生视频(Text to Video),但Gen1也开放了视频生视频(Video to Video)的功能。
例如一个国外小哥可能受《瞬息全宇宙》的启发,凭借Gen1也玩了一把更刺激的穿越。
他先是在家录了一段打响指的视频,然后“啪的一下”,瞬间让自己步入欧洲皇室贵族的“片场”:
然后……就连物种、性别,都可以随随便便地切换:
最后,再经历几次不同时空、人种的穿越之后,小哥一个响指又回到了自己的家里:
在看完Gen2生成的这波“大秀”之后,网友们不淡定了,直呼:
娱乐圈要被生成式AI重新定义了。
PC、手机都能玩
网页端和移动端(仅限iOS系统)现在均可正式开始体验。
点击右方的“Introducing Gen2”,我们就可以正式开玩了。
首先,输入提示词,最多320个字符,然后在左边的设置菜单里进行一些基础配置(包括种子参数、插值等),点击“Generate”。
(当然,你也可以为视频提供一张参考图像,点击右边的图像图标即可。)
不到1分钟的功夫,视频就出来了。
当然,如果你不满意,还能在下方的提示词框中继续修改。
额度用完或者你想体验去水印、提升分辨率等额外功能,就需要买会员,标准版为15美元一个月,Pro版35美元,年付更便宜一些。
如果你想要生成效果更好,可以多使用“in the style of xxx”的形式,比如:
A palm tree on a tropical beach in the style of professional cinematography, shallow depth of field, feature film.(如下图)A palm tree on a tropical beach in the style of 2D animation, cartoon, hand drawn animation.
或者直接去它的灵感库,选择一个你喜欢的视频然后点击“try it”即可查看它的提示词是怎么写的,然后在上面进行编辑或模仿就好了:
还有网友表示,使用“cinematic shot of”开头,也能让你的视频更具动感(解决了很多人试出来的视频不怎么动的问题)。
什么来头?
Gen2于今年3月20日正式发布,经历了两个多月的内测,现在终于正式上线。
它的前代Gen1只比它早了一个多月(2月发布),所以说迭代速度相当快。
作为一个基于扩散的生成模型,Gen1通过在预训练图像模型中引入时间层,并在图像和视频数据上进行联合训练,完成了潜扩散模型到视频生成领域的扩展。
其中也包括使用一种全新的引导方法完成了对生成结果时间一致性的精确控制。
其架构如图所示:
在训练阶段,先用固定编码器将输入视频x编码为z0,并扩散为zt。
然后对MiDaS获得的深度图进行编码,提取出结构表示s;再用CLIP对其中一个帧进行编码来获取内容表示c。
接着,在s的帮助下,模型学习反转潜空间中的扩散过程(其中s与c以及通过交叉注意块生成的c相连)。
在推理阶段,模型以相同的方式提供输入视频的结构s。
为了通过文本生成内容,作者还通过一个prior将CLIP文本嵌入转换为图像嵌入。
最终,Gen1可以生成细粒度可控的视频,也能对一些参考图像进行定制。
不过,一开始对公众发布的Gen1只能对已有视频进行编辑,Gen2才直接完成了文生视频的“蜕变”。
并且一口气带来了另外7大功能,包括文本+参考图像生视频、静态图片转视频、视频风格迁移等等。
这样的Gen2,也在内测阶段就被网友称赞“视频界的Midjourney”。
而根据官方的调研数据,Gen2确实更受用户欢迎:用户得分比Stable Diffusion 1.5要高73.53%,比Text2Live则高上了88.24%。
如今正式上线以后,果然迅速迎来一大波体验群众,有人表示:
上一次体会到这么激动的感觉,还是用AI生成图像的时候。
那么,不知道这波,参与开发了SD的Runway,能否再带着Gen2创造生成式AI领域的下一大热趋势——
如果答案是肯定的,还需要多久、还要解决哪些问题?
就且拭目以待。
参考链接:[1]https://runwayml.com/[2]https://research.runwayml.com/gen2[3]https://twitter.com/SteveMills/status/1666799229996785666[4]https://twitter.com/runwayml/status/1666429706932043776[5]https://www.youtube.com/watch?v=dq8GZeDEqH8
— 完 —
量子位 QbitAI · 头条号签约
用户评论
终于免费开放了!早就想试试这个软件生成图片,现在正好可以玩玩看。据说一键就生成电影海报的效果,太酷了吧!我马上下载去试试!
有15位网友表示赞同!
这也太牛逼了吧!一句话就能拍出大片的视频?是不是要让我们专业导演们失业啦?不过话说回来,这个软件真的很有创意,希望它能被更多人所用。
有10位网友表示赞同!
我一直觉得生成视频太麻烦了,需要太多技术步骤。现在Midjourney只要一句话就可以搞定,PC和手机都可体验,真让人心动!
有17位网友表示赞同!
我还以为只有文字生成图片呢!原来还可以生成视频?我现在好奇它的视频效果到底怎么样,期待看到更多作品展示。
有19位网友表示赞同!
我以前用过Midjourney生成图像的效果不错,但现在免费开放视频功能,就更吸引我了!不知道这方面会不会比图像更加复杂,我还是抱持着试试看的心态。
有15位网友表示赞同!
说实话这听起来有点太完美了,我只说一句话就能拍出大片?我忍不住怀疑是不是过度宣传,只能等实际体验才能肯定它的真面目。
有8位网友表示赞同!
这个免费开放真的太好了!之前一直想用Midjourney,但那个付费制确实让我有些退步。现在终于可以尽情试玩它的视频功能了!
有10位网友表示赞同!
如果能够一键生成高质量的电影视频片段,这的确会给影视作品的制作带来革命性的改变,节省了很多时间和成本。不过也担心会不会变成滥竽充数的情况。
有9位网友表示赞同!
我一直觉得人工智能的发展实在太快了,现在连视频都能生成?未来世界真让人捉摸不透!但我还是很期待这些新技术的应用能够带给我们更多精彩的视听体验.
有7位网友表示赞同!
对于新手来说,这个软件是不是太复杂操作了吧?毕竟是需要掌握一些技巧才能生成出好的视频效果吧?希望它可以提供一些简单易用的教程或者功能,方便初学者学习和使用。
有19位网友表示赞同!
我觉得这种一键生成大片的模式可能更多的是应用于娱乐性、创作性的领域。如果想拍出真正动人的故事片,还是需要剧本、表演、拍摄等等一系列的复杂环节才能呈现出来。
有17位网友表示赞同!
这软件会不会对视频制作行业造成冲击呢?毕竟很多人都想试试这种简单快速的制作方法。但我认为,真正的艺术创作是需要深入情感投入和细致打磨的,人工智能只是辅助工具,不能完全替代人的创意和技艺。
有9位网友表示赞同!
我担心这个软件会越来越智能化,甚至能生成出非常逼真的假视频,容易被用于造谣或者传播虚假信息。我们需要提高警惕,学会辨别真假信息,理性看待这样的新技术发展。
有11位网友表示赞同!
虽然这个功能很酷炫,但我觉得我还是更喜欢传统的拍摄方式,因为这样才能更好地体现导演的创意和演员的情感融入。
有15位网友表示赞同!
免费开放视频功能真是太惊喜了!我迫不及待想用它来制作一些短片,看看效果究竟如何!我相信它一定能为创作带来更多可能性!
有12位网友表示赞同!
我希望Midjourney能够更加完善它的视频生成算法,让生成的视频质量更高、更加具有表达力。只有这样才能真正成为一个引领未来视频创作方向的强大工具。
有9位网友表示赞同!
我更期待的是Midjourney以后能跟其他的软件比如视频剪辑软件进行协作,整合各种功能来提供更加完整的视频制作流程。 这将会为用户带来更便捷、更高效的视频制作体验!
有15位网友表示赞同!
对于一个普通人来说,这个功能或许只是作为一个趣味性的工具,但在专业的领域中它也许能够帮助我们更快更高效地完成一些任务,比如制作宣传片或者教学视频等等。
有5位网友表示赞同!