3分钟利用Stable Diffusion + ControlNet控制光源制作“牛逼”的AI艺术光影文字，掌握AI行业视频流行流量密码

最近，AI“整活儿”的图片层出不穷。各种材质的AI艺术字体设计，技术迭代也非常快，越来越多有趣的玩法也被逐渐挖掘了出来，前有艺术二维码，后有赛博朋克机车，这几天在朋友圈和视频平台爆火的“牛逼”的AI艺术光影文字，大家都觉得很酷。成为各大视频平台UP主的流量密码，小红书等短视频平台单个视频获赞8000+以上，并且制作起来很简单，主要就是运用 Stable Diffusion 的 ControlNet 插件。

小编大概花了一天的时间把所有的玩法研究了一遍，整理出来一套完整的制作流程，文章包含了从制作底图、选大模型、写关键词和ControlNet参数四大步骤，你只需要一步一步跟着操作，也能做出同款的AI艺术光影文字效果。

Stable Diffusion根据提示词生成图像显然太过随机，ControlNet提供的功能，恰好是一种更精确地限制图像生成范围的办法。

究其原理，本质上是给予训练扩散模型增加一个额外的输入，从而控制它生成的细节。

“额外的输入”可以是各种类型的，包括草图、边缘图像、语义分割图像、人体关键点特征、霍夫变换检测直线、深度图、人体骨骼等。

Stable Diffusion搭配ControlNet的整个过程中，第一步是预处理器生成图像，第二步让这些图像经过ControlNet模型的处理，第三步时，将图像输入到Stable Diffusion中，生成最后展现在用户面前的版本。

单说ControlNet的整体思路，就是先复制一遍扩散模型的权重，得到一个可训练副本（trainable copy）。

原本扩散模型经过几十亿张图片的预训练，参数处于被“锁定”的状态。但这个可训练副本，只需要在特定任务的小数据集上训练，就能学会条件控制。

而且就算数据量很少——哪怕少于5万张——模型经过训练后，条件控制生成的效果也贼拉棒。

比如diao哥和NB姐的那几张图中，它主要起到的作用，就是负责确保文字作为光影、衣服图案等，“放进”了图像中。

教程开始

要让光影在图片甚至人物衣物上“写字”，利用的工具还是那套神奇的AI绘图组合：Stable Diffusion+ControlNet环境，不会搭建的在本站搜索搭建教程即可，本文就不介绍环境的搭建。

大概思路非常简单，分为3个重要步骤，运用这个方法，不仅可以完成人像和光影文字的融合，城市夜景什么的，也妥妥的。：

跑图必备的基础模型：diffusion_pytorch_model或beautifulRealistic_v60，这里的大模型并不关键，使用二次元风格的模型也可以实现不同风格的光影效果，大家可以自由尝试。
ControlNet 的模型：今天我们用的这个Brightness模型比较特殊，他不是官方的 ControlNet 的模型。需要我们自己下载，文件已经放在下面的百度网盘里面了。
下载后将此模型放入autodl-tmp/models/controlnet/文件夹下面。

写提示词时，尽量不要用一些例如特写人像之类的提示词，不然文字或者图案就会盖在人脸上，会很难看的.

环境和模型搞定之后，下面就直接开干！

Stable Diffusion参数配置

Stable Diffusion 模型(ckpt)/Stable Diffusion checkpoint：diffusion_pytorch_model

采样器/Sampling method：DPM++SDE Karras采样步数/Sampling steps：一般选择 25-30 之间宽度和高度：根据自己图片宽高比自己设定，我这里是横图 832:512，竖图 512:832生成次数/Batch count：4，每次抽卡个数

Stable Diffusion提示词

今天分享 2 种不同风格的AI艺术光影文字关键词，按需使用，主要是Stable Diffusion+ControlNet的参数，关键词不重要，学会了Stable Diffusion+ControlNet的使用方法，完全可以举一反三使用。

关键词A

正向提示词：

A melancholic autumn scene in a vast flower field,a gentle breeze rustling through the dry grass,fallen leaves scattered among the flowers, a bittersweet atmosphere, a moment of quiet contemplation,1girl,long hair,white_skirt, high-waist_shorts, outfit ,roses,(dynamic angle:1.1),vivid,Soft and warm color palette, delicate brushwork, evocative use of light and shadow, wide shot,subtle details in the wilting flowers,high contrast,color contrast

在一片广阔的花田中，一个忧郁的秋天场景。微风拂过干草，落叶散落在花丛之间，弥漫着一种苦乐交织的氛围。这是一个静谧思考的时刻。画面中有一个女孩，长发、白裙、高腰短裤和装饰着玫瑰花。(动态角度: 1.1)色彩生动而柔和温暖，精致的笔触展现出光影效果，并以宽广镜头呈现。凋零花朵中微妙的细节与高对比度、色彩对比相得益彰。

反向提示词：

(((nsfw))),EasyNegative,badhandv4,ng_deepnegative_v1_75t,(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature, watermark, username,blurry,cropped,jpeg artifacts,text,error,Lower body exposure

关键词B

这里主要换不同的提示关键词（street），例如女孩，沙滩，大海等，其他的可以不变。反向提示词：上面的直接复制ControlNet 参数配置，先用其他图片编辑器（PS，可画等）做好黑底白字垫图。

正向提示词：

masterpiece,best quality,highres,street,light,at night

反向提示词：

(((nsfw))),EasyNegative,badhandv4,ng_deepnegative_v1_75t,(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature, watermark, username,blurry,cropped,jpeg artifacts,text,error,Lower body exposure

ControlNet 参数配置

先用其他图片编辑器（PS，可画等）做好黑底白字垫图。

参数详情如下：

启用：勾选，完美像素模型：勾选，允许预览：勾选，预处理：none，不用选

模型：control_v1p_sd15_brightness（刚刚从云盘下载的），接下来是最重要的两个参数，Control Weight和Ending Control Step。

Control Weight：建议0.4-0.65。我这里也调整了好多次，这里数值越大，图案就会越明显，但相对的，文字和图片的融合度也会越差。可以自己多试，比较复杂的文字为了出效果可以调高点，简单的图案可以调低点。

Ending Control Step：这个参数建议0.6-0.75，代表着 ControlNet 什么时候停止介入，数值越大后面留给模型处理融合的时间就越少，文字融合度就会变差，数值越小模型介入过早就会破坏已有的结构导致看不清文字。也得多尝试，跟你图案的复杂程度也有关系。