[ComfyUI]快手开源视频生成模型,低显存|768p高分辨率|10s时长

可灵 AI 视频大家都知道很火嘛,也都知道是快手家的,最近快手联合北大和北邮一起推出了一款全新的开源视频生成模型:Pyramid-Flow,想必有些小伙伴已经体验过了。

简单点来介绍就是:Pyramid-Flow 可以生成长达 10 秒,并且最高分辨率为 1280×768、帧率 24 帧每秒的高清视频。

Pyramid-Flow 在 ComfyUI 中已经支持,12G 显存就可以正常使用了。

至于效果如何,我们往下看。

好了,话不多说,我们直接开整。

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

先来两个官方的例子看看,然后对比下我们本地跑的视频。

提示词:A boat sailing leisurely along the Seine River with the Eiffel Tower in background, black and white

提示词:Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls

可以看到从稳定性以及运动幅度上来说,都还是很不错的,虽然人物可能稍微有点崩。

但从开源的角度来讲已经是很不错了,当然和可灵这种商用的还没法比。但毕竟是消费级显卡就可以跑出来的效果,还是值得期待一下的。

我们再来看看自己本地跑出来的效果,Pyramid-Flow 也是同时支持文生视频和图生视频,我们先来看文生视频。

提示词:A campfire burning with flames and embers, gradually increasing in size and intensity before dying down towards the end, hyper quality, Ultra HD, 8K

提示词要求火势越来越旺,这个火看起来还真有点像模像样哈!要是柴火也能跟着稍微动一动,那就相当真实了。

提示词:A small boat is sailing on the peaceful river in ultra-high definition,8K

看这个水中的倒影还是相当不错的,虽然提示词中写着平静的湖面,但是这个湖面有点太平静了,好歹来点涟漪呀,不过如果多抽几次卡的话应该问题不大,听雨这里时间关系就不抽了。

我们再来看看图生视频,左边是原图,右边是生成的视频,这里没有给提示词,让模型自由发挥了。

人物的稳定性就差了一些,不知道为啥笑着笑着就变老了,人物的表现都不太理想,这个还算正常的,不正常的就不给你们看了。

好了,就先演示到这里了,接下来我们来讲讲怎么安装。

插件地址:

https://github.com/kijai/ComfyUI-PyramidFlowWrapper

插件还没有收录到 ComfyUI 管理器中,所以需要我们手动下载,第一次运行工作流的时候会自动下载模型,模型总共 27G 的样子。模型听雨也放在网盘里了,需要的小伙伴可以自取。

安装好以后我们来看文生视频的工作流,其实也都大差不差,我们简单来介绍几个需要特别注意的参数吧。

以下是模型加载节点,variant 主要是选择两个变体,分别是 384p 和 768p 分辨率。

选择 768p 的话,宽高默认1280 * 768 就可以了,如果选择 384p,那宽高也需要除以 2,也就是 640 * 384,其他分辨率也不是不能跑,只不过效果不太好。

dtype 主要用来调整模型的精度,fp8 占用更小的内存,内存不够的小伙伴可以调整这个参数。

还有一个参数也需要介绍一下:temp,设置为 16 生成 5s 视频,如果想要生成 10s 的视频,需要把值设置为 31。

图生视频的工作流需要调整的参数也差不多,就不重复讲了,工作流听雨也会放在文末的网盘里。

总体验下来,风景还行,人物容易崩坏,可以再等等后续的升级版本。

好了,今天的分享就到这里了,感兴趣的小伙伴可以去试试哦!

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
>