![4GB显存如何使用Stable Diffusion画出高分辨率AI图片?4x Ultrasharp最好用的高清算法修复插件](https://www.mohe-sc.com/wp-content/uploads/2023/10/4GB显存如何使用Stable-Diffusion画出高分辨率AI图片?4x-Ultrasharp最好用的高清算法修复插件-1024x647.jpg)
虽说大部分N家显卡都能跑得起来Stable Diffusion,但想要画尺寸更大、更清晰的图片,需要更大的显存。
以12G显存的3060为例,2048大概是单张尺寸的上限,如果画更大的尺寸,大概率会爆显存。
大多数情况下,都是画512小尺寸的图,生成效果不错的,再进行后续处理。
各AI绘画爱好者最常用的功能,是高分辨率修复(Hires. fix),这个功能选中后,会弹出多个算法的选择,哪个更好呢?
目前最好用的放大算法,是 4x-UltraSharp ,没有之一。
先简单介绍下几个常见算法的原理和区别,再做个实图对比,最后放下载链接(4x-UltraSharp不在webui的默认配置里,需要手工下载安装)。
一、常见放大算法
1、Latent:是一种基于 VAE 模型的图像增强算法,通过将原始图像编码成潜在向量,并对其进行随机采样和重构,从而增强图像的质量、对比度和清晰度。一般情况下,这个算法就能得到不错的效果,和4x-UltraSharp、R-ESRGAN等相比,显存消耗比较小,但效果不是最优。
2、Lanczos:将对称矩阵通过正交相似变换变成对称三对角矩阵的算法(鸡肋,通常不用)。
3、ESRGAN:Enhanced Super-Resolution Generative Adversarial Networks (增强超分生成对抗网络)
是对SRGAN关键部分网络结构、对抗损失、感知损失的增强。从这里开始就不是单纯的图像算法,进入人工智能的领域了。实测确实增加了很多看上去很真实的纹理,但是有时又会把一张图片弄得全是锯齿或怪异的纹理。可能对待处理的图片类型有要求。
4、4x-UltraSharp:基于ESRGAN做了优化模型,更适合常见的图片格式。真人模型最佳选择。
5、ESRGAN 4x(Real ESRGAN):完全使用纯合成数据去尽量贴近真实数据,然后去对现实生活中数据进行超分的一个方法。这个算法来自于腾讯贡献,点个赞。
6、R-ESRGAN 4x+:基于Real ESRGAN的优化模型,针对照片效果不错。
7、R-ESRGAN 4x+ Anime6B:基于Real ESRGAN的优化模型,二次元最佳,如果你的模型是动漫类的,该选项是最佳选择。
8、R-ESRGAN General 4xV3:基于Real ESRGAN的优化模型,体积小,计算快,效果差。
9、SwinIR_4x:使用Swin Transformer思想,采用一个长距离连接,将低频信息直接传输给重建模块,可以帮助深度特征提取模块专注于高频信息,稳定训练。
10、LDSR:Latent Diffusion Super Resolution(潜在扩散超分辨率模型)
Stable Diffusion最基础的算法模型,但速度比较慢。
因为webui版本的不同,可能内置了其他的放大算法,但基本都不如上述这些好用(尤其推荐4、7两个算法)。
二、实际对比
先生成一张原图。
模型:xxmix9realistic_v30.civitai
正面提示词:
best quality, (mature:1.3),perfect face, beautiful face,western, sharp focus, solo,beautiful woman,sexy,shiny skin,Navy blouse, beige shorts, soft light,cinematic lighting, sunny, dusk, outdoor,depth of field,shidudou,red_dress,
负面提示词:
monochrome, (impassive:1.4), featureless, colorless, characterless, teen, young, grotesque, 3d max, desaturated, paintings, sketches, (worst quality:1.7), (low quality:1.7), (normal quality:1.7), lowres, normal quality, skin spots, acnes, skin blemishes, age spot,close-up,badhanv4,
先对比一下细节。
1、使用Lanczos算法放大图片后,再放大到10倍的眼睛:
![图片[2]-4GB显存如何使用Stable Diffusion画出高分辨率AI图片?4x-Ultrasharp最好用的高清算法修复插件](https://pic.turnfish.top/images/2023/10/08/00.png)
2、使用4x-UltraSharp算法放大图片后,再放大到10倍的眼睛:
![图片[3]-4GB显存如何使用Stable Diffusion画出高分辨率AI图片?4x-Ultrasharp最好用的高清算法修复插件](https://pic.turnfish.top/images/2023/10/08/01.png)
3、使用R-ESRGAN 4x+ Anime6B算法放大图片后,再放大到10倍的眼睛:
![图片[4]-4GB显存如何使用Stable Diffusion画出高分辨率AI图片?4x-Ultrasharp最好用的高清算法修复插件](https://pic.turnfish.top/images/2023/10/08/02.png)
再对比一下完整的图。
1、使用Lanczos算法放大
![图片[5]-4GB显存如何使用Stable Diffusion画出高分辨率AI图片?4x-Ultrasharp最好用的高清算法修复插件](https://pic.turnfish.top/images/2023/10/08/03.png)
2、使用4x-UltraSharp算法放大
![图片[6]-4GB显存如何使用Stable Diffusion画出高分辨率AI图片?4x-Ultrasharp最好用的高清算法修复插件](https://pic.turnfish.top/images/2023/10/08/04.png)
3、使用R-ESRGAN 4x+ Anime6B算法放大
![图片[7]-4GB显存如何使用Stable Diffusion画出高分辨率AI图片?4x-Ultrasharp最好用的高清算法修复插件](https://pic.turnfish.top/images/2023/10/08/05.png)
算法文件需安装在 \models\ESRGAN
总结
1、4k-UltraSharp.pth这个插件,如果你的512512的低分辨率图片的原始细节本来就清晰的,那么放大成4倍或者6倍后,细节还是清晰的。如果你的512512的低分辨率图片的原始细节本来就模糊的,那么放大成4倍或者6倍后,细节还是模糊的。所以使用4k-UltraSharp.pth这个插件,你的512*512的低分辨率图片的原始细节需要对焦的比较清晰。
如果对焦不清晰,AI会将那些模糊的细节放大,放大后,还是模糊的。也就是说,如果你的512*512的低分辨率图片是对焦不清晰的图片,那么放大后对焦还是会不清晰的。那么问题来了,为什么AI生成的图片,有些对焦清晰,有些对焦不清晰呢?因为训练模型的时候,如果你用对焦不清晰的照片来训练,那么AI自然也会学习那些对焦不清晰的照片。
如果你发现你使用的某个模型,生成的图片对焦总是不清楚的,那么大概率是模型训练的时候,使用了大量的对焦不清晰的图片来训练AI。解决方法就是换另一个模型,或者你自己用对焦清晰的照片来训练一个新的模型。
2、4k-UltraSharp.pth并不是类似photoshop的图像锐化的功能,它具体的原理,请看该插件作者的文字介绍。
请登录后查看评论内容