在AI繪圖領(lǐng)域，Stable Diffusion作為一種開(kāi)源的深度學(xué)習(xí)圖像生成模型，已被廣泛應(yīng)用于生成各種風(fēng)格和內(nèi)容的圖像。為了更好地控制生成結(jié)果，Stable Diffusion提供了多種類型的模型和擴(kuò)展工具，用戶可以根據(jù)需求自由選擇和使用。在這篇教程中，我們將詳細(xì)介紹如何下載、安裝和使用Stable Diffusion的不同模型，以便能夠更精確地定制生成的圖像。
一、Stable Diffusion模型下載
Stable Diffusion提供了多種不同類型的模型，這些模型能夠幫助控制生成的畫(huà)風(fēng)、內(nèi)容以及細(xì)節(jié)。常見(jiàn)的模型下載網(wǎng)站有：
1、Civitai：提供多種Stable Diffusion模型、embedding、hypernetwork等資源。
2、Hugging Face：Stable Diffusion模型的官方存儲(chǔ)庫(kù)。
3、SD WebUI資源站：提供與Stable Diffusion WebUI配套的各類模型。
4、元素法典 AI 模型收集站：提供各種AI繪圖模型的下載。
5、AI繪畫(huà)模型博物館：另一個(gè)用于收集AI繪圖模型的資源平臺(tái)。
二、Stable Diffusion模型安裝
下載模型后，需要將它們放置在指定的目錄下。不同類型的模型應(yīng)放置在不同的文件夾中。以下是常見(jiàn)的模型安裝方式：
1、大模型（Ckpt）
這是Stable Diffusion模型的核心文件，通常是”.ckpt”格式。將這些模型文件放置在 “models\Stable-diffusion” 目錄下。
2、VAE 模型
有些大模型需要配合VAE（變分自編碼器）模型來(lái)獲得更好的效果。VAE模型文件應(yīng)該放置在 “models\Stable-diffusion” 或 “models\VAE” 目錄中，并在WebUI的設(shè)置中進(jìn)行選擇。
3、Lora / LoHA / LoCon 模型
這些是對(duì)人物、物體、姿勢(shì)等效果優(yōu)化的輔助模型。將它們放在 “extensions\sd-webui-additional-networks\models\lora” 或 “models/Lora” 目錄中。
4、Embedding 模型
這些模型通過(guò)提示詞控制人物、畫(huà)風(fēng)等特征的調(diào)整。Embedding模型應(yīng)放在 “embeddings” 目錄中。
三、Stable Diffusion模型使用
在安裝完成模型后，需要在WebUI界面中選擇并啟用相應(yīng)的模型。不同類型的模型會(huì)對(duì)生成效果產(chǎn)生不同的影響。
1、Checkpoint（Ckpt）模型
這類模型對(duì)生成效果的影響最大。在WebUI界面的左上角選擇并啟用相應(yīng)的模型。
另外一些模型需要特定的觸發(fā)詞才能生效，因此在提示詞中加入相應(yīng)的關(guān)鍵詞即可激活模型。
2、Lora / LoHA / LoCon 模型
這些模型通常是用于對(duì)人物、姿勢(shì)、物體等細(xì)節(jié)的表現(xiàn)進(jìn)行優(yōu)化。在Ckpt模型的基礎(chǔ)上附加使用，可以在WebUI的“Additional Networks”部分啟用它們。啟用后，可以選擇對(duì)應(yīng)的模型，并通過(guò)調(diào)整Weight來(lái)控制其影響力。一般來(lái)說(shuō)，權(quán)重不建議設(shè)置過(guò)高（超過(guò)1.2），否則可能會(huì)導(dǎo)致生成結(jié)果失真。
還可以混合多個(gè)Lora模型來(lái)疊加效果。例如，可以將一個(gè)用于控制面部的Lora與另一個(gè)用于控制畫(huà)風(fēng)的Lora配合使用，從而實(shí)現(xiàn)特定風(fēng)格的特定人物效果。
- LoHA模型是Lora模型的一種改進(jìn)版，能夠在特定場(chǎng)景下提供更好的表現(xiàn)；
- LoCon模型則是一種泛化能力更強(qiáng)的Lora模型，適用于更多樣化的生成需求；
- Embedding模型：這些模型可以用來(lái)控制畫(huà)風(fēng)、人物特征等。在提示詞中加入對(duì)應(yīng)的關(guān)鍵詞即可激活模型。例如，某個(gè)Embedding模型名為“SomeCharacter.pt”，那么觸發(fā)它的關(guān)鍵詞就是“SomeCharacter”。
