![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -1 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -1](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_09pPArpBd_.jpg)
最近,AI“整活儿”的图片层出不穷。各种材质的AI艺术字体设计,技术迭代也非常快,越来越多有趣的玩法也被逐渐挖掘了出来,前有艺术二维码,后有赛博朋克机车,这几天在朋友圈和视频平台爆火的“牛逼”的AI艺术光影文字,大家都觉得很酷。成为各大视频平台UP主的流量密码,小红书等短视频平台单个视频获赞8000+以上,并且制作起来很简单,主要就是运用 Stable Diffusion 的 ControlNet 插件。
![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -2 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -2](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_092e5fa93dfc7adf6cfb5a8bb9f_.jpg)
小编大概花了一天的时间把所有的玩法研究了一遍,整理出来一套完整的制作流程,文章包含了从制作底图、选大模型、写关键词和ControlNet参数四大步骤,你只需要一步一步跟着操作,也能做出同款的AI艺术光影文字效果。
Stable Diffusion根据提示词生成图像显然太过随机,ControlNet提供的功能,恰好是一种更精确地限制图像生成范围的办法。
究其原理,本质上是给予训练扩散模型增加一个额外的输入,从而控制它生成的细节。
“额外的输入”可以是各种类型的,包括草图、边缘图像、语义分割图像、人体关键点特征、霍夫变换检测直线、深度图、人体骨骼等。
Stable Diffusion搭配ControlNet的整个过程中,第一步是预处理器生成图像,第二步让这些图像经过ControlNet模型的处理,第三步时,将图像输入到Stable Diffusion中,生成最后展现在用户面前的版本。
![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -3 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -3](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_0978bf008c8357c66e8763e3f02aa8ed1d_.jpg)
单说ControlNet的整体思路,就是先复制一遍扩散模型的权重,得到一个可训练副本(trainable copy)。
原本扩散模型经过几十亿张图片的预训练,参数处于被“锁定”的状态。但这个可训练副本,只需要在特定任务的小数据集上训练,就能学会条件控制。
而且就算数据量很少——哪怕少于5万张——模型经过训练后,条件控制生成的效果也贼拉棒。
比如diao哥和NB姐的那几张图中,它主要起到的作用,就是负责确保文字作为光影、衣服图案等,“放进”了图像中。
![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -4 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -4](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_09b4021af45774ccd8939cd2d1f7a1221d_.jpg)
教程开始
要让光影在图片甚至人物衣物上“写字”,利用的工具还是那套神奇的AI绘图组合:Stable Diffusion+ControlNet环境,不会搭建的在本站搜索搭建教程即可,本文就不介绍环境的搭建。
大概思路非常简单,分为3个重要步骤,运用这个方法,不仅可以完成人像和光影文字的融合,城市夜景什么的,也妥妥的。:
- 跑图必备的基础模型:diffusion_pytorch_model或beautifulRealistic_v60,这里的大模型并不关键,使用二次元风格的模型也可以实现不同风格的光影效果,大家可以自由尝试。
- ControlNet 的模型:今天我们用的这个Brightness模型比较特殊,他不是官方的 ControlNet 的模型。需要我们自己下载,文件已经放在下面的百度网盘里面了。
- 下载后将此模型放入
autodl-tmp/models/controlnet/
文件夹下面。
写提示词时,尽量不要用一些例如特写人像之类的提示词,不然文字或者图案就会盖在人脸上,会很难看的.
环境和模型搞定之后,下面就直接开干!
Stable Diffusion参数配置
![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -5 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -5](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_09v2-87101363f6af02b2b34932a37a7d5aa6_720w_.jpg)
![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -6 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -6](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_09v2-0f4d13af7a0da179556d8d6f41bc6882_720w1_.jpg)
Stable Diffusion 模型(ckpt)/Stable Diffusion checkpoint:diffusion_pytorch_model
采样器/Sampling method:DPM++SDE Karras采样步数/Sampling steps:一般选择 25-30 之间宽度和高度:根据自己图片宽高比自己设定,我这里是横图 832:512,竖图 512:832生成次数/Batch count:4,每次抽卡个数
Stable Diffusion提示词
今天分享 2 种不同风格的AI艺术光影文字关键词,按需使用,主要是Stable Diffusion+ControlNet的参数,关键词不重要,学会了Stable Diffusion+ControlNet的使用方法,完全可以举一反三使用。
关键词A
![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -1 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -1](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_09pPArpBd_.jpg)
正向提示词:
A melancholic autumn scene in a vast flower field,a gentle breeze rustling through the dry grass,fallen leaves scattered among the flowers, a bittersweet atmosphere, a moment of quiet contemplation,1girl,long hair,white_skirt, high-waist_shorts, outfit ,roses,(dynamic angle:1.1),vivid,Soft and warm color palette, delicate brushwork, evocative use of light and shadow, wide shot,subtle details in the wilting flowers,high contrast,color contrast
在一片广阔的花田中,一个忧郁的秋天场景。微风拂过干草,落叶散落在花丛之间,弥漫着一种苦乐交织的氛围。这是一个静谧思考的时刻。画面中有一个女孩,长发、白裙、高腰短裤和装饰着玫瑰花。(动态角度: 1.1)色彩生动而柔和温暖,精致的笔触展现出光影效果,并以宽广镜头呈现。凋零花朵中微妙的细节与高对比度、色彩对比相得益彰。
反向提示词:
(((nsfw))),EasyNegative,badhandv4,ng_deepnegative_v1_75t,(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature, watermark, username,blurry,cropped,jpeg artifacts,text,error,Lower body exposure
关键词B
这里主要换不同的提示关键词(street),例如女孩,沙滩,大海等,其他的可以不变。反向提示词:上面的直接复制ControlNet 参数配置,先用其他图片编辑器(PS,可画等)做好黑底白字垫图。
![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -7 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -7](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_098397e942e5fa93dfc7adf6cfb5a8bb9f_.jpg)
正向提示词:
masterpiece,best quality,highres,street,light,at night
反向提示词:
(((nsfw))),EasyNegative,badhandv4,ng_deepnegative_v1_75t,(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature, watermark, username,blurry,cropped,jpeg artifacts,text,error,Lower body exposure
ControlNet 参数配置
先用其他图片编辑器(PS,可画等)做好黑底白字垫图。
![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -8 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -8](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_09v2-08cd7fdd2bd61e8838c1f05947b0f0bd_720w1_.jpg)
参数详情如下:
![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -9 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -9](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_09v2-4c01aaee177b3f54c6d9da60b8ab031d_720w_.jpg)
启用:勾选,完美像素模型:勾选,允许预览:勾选,预处理:none,不用选
模型:control_v1p_sd15_brightness(刚刚从云盘下载的),接下来是最重要的两个参数,Control Weight和Ending Control Step。
Control Weight:建议0.4-0.65。我这里也调整了好多次,这里数值越大,图案就会越明显,但相对的,文字和图片的融合度也会越差。可以自己多试,比较复杂的文字为了出效果可以调高点,简单的图案可以调低点。
Ending Control Step:这个参数建议0.6-0.75,代表着 ControlNet 什么时候停止介入,数值越大后面留给模型处理融合的时间就越少,文字融合度就会变差,数值越小模型介入过早就会破坏已有的结构导致看不清文字。也得多尝试,跟你图案的复杂程度也有关系。
高清化图像
选中图片,点击>>高清化。
![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -10 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -10](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_09v2-5afb6fe111844e0ae9da330f62550a8e_720w_.jpg)
缩放比例/Resize:2倍或者4倍还是其它倍,自己设置
放大模型:R-ESRGAN 4X+
![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -11 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -11](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_09v2-50533c1a41f3dc1b1dd5c9d6fbefa744_720w_.jpg)
完成之后,下载右边高清图即可。
![3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -12 3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字,掌握AI行业流行视频流量密码 -12](https://www.mohe-sc.com/wp-content/uploads/2023/08/2023_09v2-7e4e5db900f6988c9d111beff30fcf43_720w_.jpg)
请登录后查看评论内容