深度マップが実際に制御しているもの

ControlNet Depth に渡すグレースケール画像が記録しているのは、陰影ではなく各ピクセルがレンズからどれだけ離れているかです。近い場所は明るく、遠い場所は暗く、人物の輪郭と身体部位の奥行き関係は「距離マップ」に圧縮され、モデルが読み取れる形になります。

これが直接もたらす利点は2つあります。モデルは元画像の素材・色・光に引っ張られません一方で、身体の向き、手足の位置、前後の遮蔽関係を正確に受け取れます。立位ポーズの深度マップを渡すと、衣類のテクスチャまで複製されることはありませんが、腰を横に突き出す角度、腕の上がり方、足の着地位置はそのまま再現されます。

線画は別の経路を取ります。輪郭と構造線を描くため、画面の骨格を残しながらグレースケールに肌の色を制約したくない場合に向きます。したがって効率的な使い方は二択ではなく、同じポーズに2枚を用意し、工程ごとに使い分けることです——構図工程では深度マップが骨格を、着色工程では線画が輪郭を決めます。

ステップ1:まずライブラリでポーズを3〜5個に絞る

詰まりがちなのはパラメータではなく、「正しいポーズが見つからない」という点です。正しい順序は、先に収束させ、そのあとで生成することです。

  • まずポーズライブラリで体系別に範囲を絞ります。全身1人・上半身1人・ペアの3つから1つを選びます。
  • 次に分類でもう一度フィルタします。立ち、座り、膝立ち、もたれなど。体系と分類は2段構造で、組み合わせると通常は数十枚まで減ります。
  • 最後はアングルでカメラ位置を固定します。1つのポーズには正面・上から・下から・横・斜めの5つのアングルがあり、上からと下からでは透視がまったく異なるため、ここを誤ると以降の作業がすべて無駄になります。

3〜5枚まで絞れば十分です。実際に生成し始めると、使えるポーズは思っていたよりずっと少ないことに気づきます。問題は枚数ではなく、アングルの選択が正しかったかどうかにあります。

ステップ2:ソースを切り替えて比較確認する

ポーズライブラリのフィルタバーには「画源」オプションがあります。深度マップ、線画、比較。比較に切り替えると、マウスをカードに合わせている間だけリアルタイムで線画に差し替わり、全画面表示では左右に並びます。

この手順でやることは単純で、そのポーズが2つの表現のいずれでも成立するかを確認することです。あるポーズは深度マップでは輪郭がはっきりしているのに、線画に変換すると腕と胴体の重なりがにじみます。逆に線画のほうは明瞭で、深度マップだと奥行きがぼやけるケースもあります。事前に気づけることは、廃画像を5枚生成してからやり直すよりずっと効率的です。

ステップ3:ControlNet に入れるパラメータ

Stable Diffusion WebUI を例にすると、組み合わせは次のとおりです。

  • プリプロセッサ:ライブラリの深度マップをそのまま使うなら none を選びます。ライブラリ内の画像はすでに正規化されているため、Depth プリプロセッサをもう一度通すと階調が失われます。
  • モデル:control_v11f1p_sd15_depth(SD1.5)か対応する SDXL depth モデル。バージョンはベースモデルに合わせてください。
  • 重み:0.65 から開始します。0.5 を下回るとポーズが崩れ、0.9 を超えると画面が硬くなり、貼り付けたように見えます。
  • 制御の終了位置:0 から 0.75。サンプリング工程の4分の3まで制御を効かせ、残りをモデルに任せてディテールを詰めます。
  • 解像度:制御画像と生成画像の比率を一致させる必要があります。ライブラリの原寸は 900×1200(3:4)なので、生成も 3:4 で行います。違うと人物が伸びます。

よくある3つの問題

1. 人物がマネキンのように固くなる

重みが大きすぎる、または制御の終了位置が最終ステップまで触れています。まず重みを 0.7 前後まで下げ、終了位置を 0.7〜0.8 の間に置いて、後半で衣の皺や表情をモデルに任せます。

2. 手と足が崩れる

深度マップは本来就指への制約が弱く、5本の指は奥行きはほぼ同じ層にあります。対策は画角を上半身に絞るか、生成後に部分再描画で手を直すことです。ライブラリの「上半身1人」体系は、まさにこの用途のために用意されています。

3. 2人のシーンで片方のポーズが飛ぶ

2人の深度値が互いに遮り合うと、モデルはどちらが前かを見分けられません。この場合は線画を優先するか、ペアの深度マップ全体を1段明るくして前後の階層がはっきりした状態にしてください。

手順を固定する

実案件では、次の順序に固定しておくと安定します:アングルで絞る → ソースを比較 → 重みを決める → 1枚テスト → 一括生成。最初の2手順はライブラリ内で2分で済み、残る3手順が実際に時間を要します。安い工程を先に置くことが、ワークフロー全体で最も節約になる部分です。

ライブラリの 288 組のポーズ、2880 枚はすべて直接ダウンロードでき、体系単位での一括ダウンロードもできます。次の記事はプロンプトの書き方なので、そのまま続けて読めます。