뎁스 맵이 실제로 통제하는 것
ControlNet Depth가 받는 그 흑백 이미지는 명암을 기록한 것이 아니다. 기록되는 것은 각 픽셀이 렌즈에서 얼마나 떨어져 있는가다. 가까운 곳은 밝고 먼 곳은 어둡게, 인물 윤곽과 몸 각 부위의 깊이 관계가 모델이 읽을 수 있는 “거리 지도”로 압축된다.
이것이 주는 이득은 두 가지다. 모델이 원본 이미지의 재질이나 색감, 조명에 끌려가지 않으면서도 몸의 방향과 사지의 위치, 앞뒤로의 겹침 관계를 정확히 얻는다. 서 있는 자세를 뎁스 맵으로 주면 옷의 결까지 베끼지는 않지만, 골반이 밀리는 각도, 팔이 들리는 높이, 발이 닿는 지점은 그대로 옮겨 온다.
라인아트는 다른 경로를 탄다. 윤곽과 구조선만을 기술하므로 화면의 뼈대를 유지하면서도 그레이스케일이 피부 톤을 제한하지 않아야 하는 상황에 적합하다. 그래서 효율적인 사용법은 둘 중 하나를 고르는 일이 아니라 같은 자세에 두 벌의 이미지를 준비해서 단계별로 가져 쓰는 것이다. 구성 단계에서는 뎁스 맵으로 뼈대를 정하고, 채색 단계에서는 라인아트로 윤곽을 정한다.
첫 단계: 라이브러리에서 자세를 셋부터 다섯 개로 좁히기
대부분의 사람이 막히는 지점은 파라미터가 아니라 “제대로 된 자세를 찾지 못하는 것”이다. 올바른 순서는 먼저 수렴하고 그다음 생성하는 것이다.
- 먼저포즈 라이브러리에서 시스템별로 범위를 좁힌다. 전신 단독, 상반신 단독, 듀엣 세 가지 중 하나를 먼저 고른다.
- 그다음 카테고리로 한 번 더 거른다. 서기, 앉기, 무릎 꿇기, 기대기 같은 분류다. 시스템과 카테고리는 2단계 구조라서 둘을 조합하면 보통 수십 장만 남는다.
- 마지막으로 앵글로 카메라 앵글을 고정한다. 같은 자세에도 정면, 탑뷰, 로우뷰, 측면, 3/4 측면의 다섯 각도가 있고, 탑뷰와 로우뷰는 전혀 다른 투영을 만들어 낸다. 여기서 잘못 고르면 이후 작업이 모두 헛수고가 된다.
3장에서 5장만 남기면 충분하다. 실제로 이미지를 만들어 보면 쓸 수 있는 자세가 생각보다 훨씬 적다는 걸 알게 된다. 문제는 흔히 수가 아니라 각도를 제대로 골랐는지 여부에 있다.
둘째 단계: 소스를 바꿔 한 번 대조해 확인하기
포즈 라이브러리의 필터 바에는 “소스” 옵션이 있다. 뎁스 맵, 라인아트, 비교. 비교로 바꾸면 카드에 마우스를 올렸을 때 라인아트로 실시간 전환되고, 큰 화면에서는 좌우로 나란히 붙는다.
이 단계에서 할 일은 단순하다. 그 자세가 두 가지 표현 방식 모두에서 성립하는지 확인하는 것이다. 어떤 자세는 뎁스 맵에서 윤곽이 또렷하다가 라인아트로 바꾸면 팔과 몸통이 겹치는 부분이 뭉개진다. 반대로 라인아트는 깔끔한데 뎁스 맵의 층이 흐린 경우도 있다. 미리 알아두는 편이 쓸데없는 이미지 다섯 장을 뽑고 나서 돌아오는 것보다 낫다.
셋째 단계: ControlNet에 넣을 때 파라미터는 어떻게 주는가
Stable Diffusion WebUI를 예로 들면 자주 쓰는 조합은 이렇다.
- 전처리기: 라이브러리의 뎁스 맵을 그대로 쓴다면
none을 고른다. 라이브러리 이미지는 이미 정규화되어 있어서 다시 Depth 전처리기를 거치면 오히려 층이 손실된다. - 모델:
control_v11f1p_sd15_depth(SD1.5) 또는 대응하는 SDXL depth 모델. 버전은 메인 모델과 맞춰야 한다. - 가중치: 0.65에서 시작한다. 0.5 아래로 내려가면 자세가 쉽게 흐트러지고, 0.9를 넘으면 화면이 뻣뻣해져 붙여 넣은 이미지처럼 보인다.
- 제어 종료 시점: 0에서 0.75. 앞쪽 4분의 3 샘플링 스텝까지 제어하고, 마지막은 모델이 디테일을 정리할 수 있도록 남겨 둔다.
- 해상도: 제어 이미지와 생성 이미지의 비율이 일치해야 한다. 라이브러리 원본은 900×1200(3:4)이고 생성도 3:4로 한다. 그렇지 않으면 인물이 늘어나 보인다.
가장 흔한 문제 세 가지
1. 나온 사람이 “마네킹”처럼 보인다
가중치가 너무 높거나 제어 종료 시점이 마지막 스텝까지 덮고 있는 경우다. 먼저 가중치를 0.7 전후로 낮추고, 종료 시점을 0.7에서 0.8 사이로 두어 모델이 후반부에 옷 주름과 표정을 자유롭게 다루게 한다.
2. 손과 발이 망가진다
뎁스 맵은 손가락에 대한 제약이 원래 약하다. 다섯 손가락은 뎁스에서 거의 같은 층에 있기 때문이다. 해결책은 화면을 상반신으로 좁히거나, 생성 후 부분 인페인팅으로 손을 보정하는 것이다. 라이브러리의 “상반신 단독” 시스템은 바로 이런 장면을 위해 준비된 것이다.
3. 2인 장면에서 한 사람의 자세가 자꾸 사라진다
두 사람의 뎁스 값이 서로를 가릴 때 모델은 누가 앞에 있는지 구분하지 못한다. 이런 경우엔 라인아트로 바꾸거나, 듀엣 뎁스 맵 전체를 한 단계 밝게 조정해서 앞뒤 층을 벌려 주는 편이 낫다.
워크플로를 고정하기
실제 프로젝트에서는 이 순서를 고정하는 것을 권한다. 앵글 선별 → 소스 대조 → 가중치 결정 → 단일 이미지 테스트 → 대량 생성. 앞의 두 단계는 라이브러리에서 2분 안에 끝나고, 뒤의 세 단계가 진짜로 시간이 걸리는 부분이다. 값싼 동작을 앞쪽에 두는 것이 이 워크플로 전체에서 가장 절약되는 지점이다.
라이브러리의 288개 자세 세트, 2,880장 이미지 전부를 바로 다운로드할 수 있고, 시스템별로 묶음 단위로도 가져올 수 있다. 다음 글에서 프롬프트를 어떻게 쓰는지 설명한다. 이어서 보면 된다.