AI - 1679446213 - したらば掲示板

104：WS：2023/04/21(金) 21:14:52: 【ControlNet v1.1 nightly導入方法】
https://www.ultra-noob.com/blog/2023/14/

CotrolNet1.1をautomatic1111氏のweb UIに対応させたもの
sd-webui-controlnet
https://github.com/Mikubill/sd-webui-controlnet

インストール
Web-UIのExtensionで導入する。
リポジトリのURLを貼り付けるだけでインストールできる。
URL: https://github.com/Mikubill/sd-webui-controlnet.git

輪郭やポーズを推定するモデルが必要
ControlNetはインストールしただけでは動作しない。
輪郭やポーズを抽出するモデルを別途入れる必要がある。
次のサイトに抽出する手法別にデータが分かれているので欲しい物をDLする。
v1.1対応版：lllyasviel/ControlNet-v1-1 at main

pthファイルとyamlファイルを保存する必要あり？
v1.0までのモデルは次のサイトからDLする。1.1以降でも古いモデルを使用可能。
lllyasviel/ControlNet at main

マップ抽出用モデル一覧
上で説明した推定するモデルについて、それぞれがどういうものかを一覧にしておく。

canny
ファイル名(v1.1)：control_v11p_sd15_canny.pth
cannyはイラストから輪郭を抽出して、それを線画として絵を書いていくモデル。
冒頭のサンプルで利用しているのがこれ。
線画に色を付けたい、元のイラストイメージをほとんど壊さず別の絵にしたい場合など。

Soft Edge (旧：hed)
ファイル名(v1.1)：control_v11p_sd15_softedge.pth
上のcannyに似ている。
グレースケール全範囲を利用することによって線の強弱まで取っている？
CGをリペイントする場合かなり強力。私が最も利用しているアルゴリズム。
Cannyよりエッジがソフトになるかどうかはまだ実験中。以前はCannyが不安定のためこちらのほうが有用だった。

openpose
ファイル名：control_v11p_sd15_openpose.pth
openposeはAIによるモーションキャプチャなどで使われているもの。
人物の四肢の位置や表情を推定しCGのボーンのような棒人間のデータを出力する。
つまり、これまで完全ランダムだったキャラクターが任意のポーズで生成できるようになった。
おそらく最も使われている重要な機能。
複数の種類がある
openposeにはたくさんの種類があるので簡単にまとめる。
openpose：四肢のみ(顔や指は推定はしない)
opsenpose_face：表情と四肢
openpose_faceonly：表情のみ
openpose_full：表情＋四肢＋手指
openpose_hand：四肢と手指

Depth
ファイル名(v1.1)：control_v11f1p_sd15_depth.pth
画像の「奥行き」を推定するモデル。
これは3DCGで利用されるDepth Mapと概念的には同じ画像が利用されていると思われる(黒いほうが奥、白が手前)
奥行きに意味のある画像を生成する場合に使用する他「洋服のシワなどの細かい線は無視するがシルエットは残したい」といった場合にも有用そうだ。

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）