ControlNet是一種強(qiáng)大的工具，允許用戶通過(guò)線稿、動(dòng)作識(shí)別、深度信息等對(duì)生成的圖像進(jìn)行細(xì)致的控制。在使用 ControlNet 之前，請(qǐng)確保其設(shè)置中的路徑與本地 Stable Diffusion 的路徑保持同步，以確保最佳性能和效果。
一、基本流程
1、啟用 ControlNet
點(diǎn)擊“Enable”以啟用 ControlNet 功能。
2、選擇預(yù)處理器
Preprocessor 指的是對(duì)輸入圖像進(jìn)行預(yù)處理的工具。如果圖像已經(jīng)符合預(yù)處理的格式，例如已經(jīng)是 OpenPose 所需的骨架圖，則可以選擇“None”。
3、調(diào)整權(quán)重
在 “Weight” 字段下，可以調(diào)整 ControlNet 在合成中的影響權(quán)重，這與在提示詞中調(diào)整的權(quán)重類似。
4、控制生成強(qiáng)度
“Guidance strength” 用于控制有多少百分比的生成步驟由 ControlNet 主導(dǎo)，這與使用 `[:]` 語(yǔ)法相似。
5、反色模式
“Invert Input Color” 表示啟動(dòng)反色模式。如果輸入的圖片是白色背景，可以啟用此選項(xiàng)。
6、色彩通道反轉(zhuǎn)
“RGB to BGR” 用于將輸入的顏色通道信息反轉(zhuǎn)，將 RGB 信息按 BGR 形式解析，這是因?yàn)?OpenCV 中使用 BGR 格式。如果輸入圖是法線貼圖，請(qǐng)啟用此選項(xiàng)。
7、低顯存優(yōu)化
“Low VRAM” 選項(xiàng)啟用低顯存優(yōu)化，需要配合啟動(dòng)參數(shù) `–lowvram` 使用。
8、無(wú)提示詞模式
“Guess Mode” 表示啟用無(wú)提示詞模式，需在設(shè)置中啟用基于 CFG 的引導(dǎo)。
9、選擇模型
在“Model”中選擇想要使用的解析模型，它應(yīng)與輸入圖像或預(yù)處理器相匹配。請(qǐng)注意，預(yù)處理器可以為空，但模型不能為空。
二、可用預(yù)處理器和模型
1、Canny：用于識(shí)別輸入圖像的邊緣信息。
2、Depth：用于識(shí)別輸入圖像的深度信息。
3、HED：用于識(shí)別輸入圖像的邊緣信息，具有更柔和的邊緣。
4、MLSD：用于識(shí)別輸入圖像的邊緣信息，一種輕量級(jí)的邊緣檢測(cè)，特別適用于生成室內(nèi)圖像。
5、Normal：用于識(shí)別輸入圖像的法線信息。
6、OpenPose：用于識(shí)別輸入圖像的動(dòng)作信息。OpenPose Editor 插件允許用戶修改姿勢(shì)，并將其導(dǎo)出到生成的圖像中。
7、OpenPose Editor 插件可以自行修改姿勢(shì)，導(dǎo)出到文生圖或圖生圖。
8、Scribble：將輸入圖像作為線稿進(jìn)行識(shí)別。如果線稿有白色背景，請(qǐng)務(wù)必勾選“Invert Input Color”。
9、Fake Scribble：識(shí)別輸入圖像的線稿，然后將其作為線稿生成新圖像。
10、Segmentation：識(shí)別輸入圖像各個(gè)區(qū)域的物品類型，并利用這些構(gòu)圖信息生成新圖像。
三、多ControlNet合成
在 ControlNet 的設(shè)置中，可以調(diào)整可用 ControlNet 的數(shù)量。在多個(gè) ControlNet 模式下，輸入的信息將被合并，以生成新的圖像。
通過(guò)以上內(nèi)容，希望能更好地理解并應(yīng)用 ControlNet 功能，以實(shí)現(xiàn)對(duì)圖像生成過(guò)程的精細(xì)控制。
