最近,由前 Stability AI员工创立的黑森林实验室推出了开源图像生成模型Flux.1,可谓名声大噪,爆火全网。小编已经上手使用了一段时间,效果确实让我大吃一惊,真的很强,吊打Midjourney6.0,重塑AI艺术创作新格局!
小编也同步官方第一时间发布了 Stable Diffusion创始团队重磅发布AI图像生成模型-Flux.1: 实测碾压Midjourney V6.0 、Stable Diffusion 3 与 DALL·E 3 目前最强开源绘图模型!已经可以在ComfyUI中使用 文章,有兴趣的几下伙伴可以了解一下。
Flux.1 是一款免费开源的模型,性能可与Midjourney V6媲美。用户可通过Comfyui调用Flux.1。本文我将详细介绍其使用流程,即使你是新手小白,只要紧跟我的步骤,相信你也能使用上这款非常强悍的文生图模型。但是官方给的最低运行配置已经劝退了很多跃跃欲试的小伙伴,所以今天小编分享一款某大佬打包的能在低配电脑上运行的Flux.1。
目前在上面的官网链接中,一共介绍了三个版本的Flux.1,分别是FLUX.1 [pro]、FLUX.1 [dev] 和 FLUX.1 [schnell],可以简单理解为大杯、中杯和小杯。
FLUX.1 [pro] | FLUX.1 [dev] | FLUX.1 [schnell] | |
开源许可 | 闭源 | 开源非商用 | Apache2.0开源许可 |
体验平台 | Replicate、fal.ai | Replicate、fal.ai、HuggingFace | Replicate、fal.ai、HuggingFace |
体验方式 | 点我体验 | 点我体验 | 点我体验 |
这里再补充下,目前 FLUX.1 [pro] 想要体验的话必须注册一个账号获取API Key,并通过API生成图片,以 fal.ai[1] 平台为例,想要运行是必须要登录的
而像 FLUX.1 [dev] 和 FLUX.1 [schnell] 在fal.ai[2] 平台是可以直接体验的,并且目前貌似没限次数!
本地部署
1.0、ComfyUI本地电脑部署
如果你有一张16G以上显存的显卡,那么可以进行ComfyUI的本地部署,来部署Dev或者是Schnell模型。以下为使用ComfyUI本地部署的详细教程。文章中涉及到的模型和工作流,我已经全部上传到百度网盘,下载链接在“公举呺”后台留言“Flux”,大家可以下载配合本文一起使用。
1.1、Flux模型下载
如果要在本地进行部署,你需要首先下载dev或者schnell的模型权重。 HuggingFace模型下载链接为:https://huggingface.co/black-forest-labs/FLUX.1-dev
1.2、Clip模型下载
Flux系列模型使用的Clip模型是和SD3系列一模一样的 t5xxlfp16.safetensors 和 clip_l.safetensors,如果你之前已经下载了这两个模型可以直接放到以下Comfyui路径的文件夹下:ComfyUI/models/clip/。如果你没有这两个模型权重,可在HuggingFace下载。 HuggingFace下载链接为:https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
1.3、VAE模型
注意,FLUX系列模型使用的重新训练的VAE,即是上面Flux模型下载文件里面的ae.sft,下载之后将VAE模型放入ComfyUI/models/vae/路径下即可。
1.4、更新ComfyUI
打开Comfyui启动器,如果你是原版ComfyUI可以直接启动更新脚本,将内核版本升到最新版本。
1.5、导入工作流并进行测试
将基础工作流JSON文件拖入ComfyUI页面中。本次测试使用Dev版本的模型。
UNET选择加载flux1-dev.sft,weightdtype中选择fp8即可。
在Clip加载器中需要加载两个Clip模型:t5xxl和clip_l。 其中t5xxl可以选择t5xxlfp16.safetensors 和 t5xxlfp8.safetensors两种不同的精度选择其中一个即可。
在VAE中加载我们刚刚下载好的ae.sft。然后输入提示词即可。
2.0、云服务部署并体验
如果呢,你的电脑没有显卡或者显存不足,可以考虑云服务器,这里我推荐仙宫云。 仙宫云官网:仙宫云 | GPU 算力租赁 | Xiangongyun.com
注册登录之后,在搜索框中搜索“Flux文生图”即可,点击部署镜像。
接着打开“仙宫云OS”
进行“启动ComfyUI”,随即点击“ComfyUI”图标,打开ComfyUI界面
然后将工作流移动进去就行啦!这里我帮大家部署好啦,就跟往常一样修改提示词,直接启动生成图片就行啦!
请登录后查看评论内容