可灵 AI 视频大家都知道很火嘛,也都知道是快手家的,最近快手联合北大和北邮一起推出了一款全新的开源视频生成模型:Pyramid-Flow,想必有些小伙伴已经体验过了。
简单点来介绍就是:Pyramid-Flow 可以生成长达 10 秒,并且最高分辨率为 1280×768、帧率 24 帧每秒的高清视频。
Pyramid-Flow 在 ComfyUI 中已经支持,12G 显存就可以正常使用了。
至于效果如何,我们往下看。
好了,话不多说,我们直接开整。
这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
先来两个官方的例子看看,然后对比下我们本地跑的视频。
提示词:A boat sailing leisurely along the Seine River with the Eiffel Tower in background, black and white

提示词:Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls

可以看到从稳定性以及运动幅度上来说,都还是很不错的,虽然人物可能稍微有点崩。
但从开源的角度来讲已经是很不错了,当然和可灵这种商用的还没法比。但毕竟是消费级显卡就可以跑出来的效果,还是值得期待一下的。
我们再来看看自己本地跑出来的效果,Pyramid-Flow 也是同时支持文生视频和图生视频,我们先来看文生视频。
提示词:A campfire burning with flames and embers, gradually increasing in size and intensity before dying down towards the end, hyper quality, Ultra HD, 8K

提示词要求火势越来越旺,这个火看起来还真有点像模像样哈!要是柴火也能跟着稍微动一动,那就相当真实了。
提示词:A small boat is sailing on the peaceful river in ultra-high definition,8K

看这个水中的倒影还是相当不错的,虽然提示词中写着平静的湖面,但是这个湖面有点太平静了,好歹来点涟漪呀,不过如果多抽几次卡的话应该问题不大,听雨这里时间关系就不抽了。
我们再来看看图生视频,左边是原图,右边是生成的视频,这里没有给提示词,让模型自由发挥了。

人物的稳定性就差了一些,不知道为啥笑着笑着就变老了,人物的表现都不太理想,这个还算正常的,不正常的就不给你们看了。

好了,就先演示到这里了,接下来我们来讲讲怎么安装。
插件地址:
https://github.com/kijai/ComfyUI-PyramidFlowWrapper
插件还没有收录到 ComfyUI 管理器中,所以需要我们手动下载,第一次运行工作流的时候会自动下载模型,模型总共 27G 的样子。模型听雨也放在网盘里了,需要的小伙伴可以自取。
安装好以后我们来看文生视频的工作流,其实也都大差不差,我们简单来介绍几个需要特别注意的参数吧。

以下是模型加载节点,variant 主要是选择两个变体,分别是 384p 和 768p 分辨率。
选择 768p 的话,宽高默认1280 * 768 就可以了,如果选择 384p,那宽高也需要除以 2,也就是 640 * 384,其他分辨率也不是不能跑,只不过效果不太好。
dtype 主要用来调整模型的精度,fp8 占用更小的内存,内存不够的小伙伴可以调整这个参数。

还有一个参数也需要介绍一下:temp,设置为 16 生成 5s 视频,如果想要生成 10s 的视频,需要把值设置为 31。

图生视频的工作流需要调整的参数也差不多,就不重复讲了,工作流听雨也会放在文末的网盘里。

总体验下来,风景还行,人物容易崩坏,可以再等等后续的升级版本。
好了,今天的分享就到这里了,感兴趣的小伙伴可以去试试哦!
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
(全套教程文末领取哈)

👉AI绘画必备工具👈

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉12000+AI关键词大合集👈

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
1575

被折叠的 条评论
为什么被折叠?



