[Houdini] Houdini x ComfyUI 통합 연구 소개

 

개요

Houdini와 ComfyUI를 통합하여 생성형 AI를 렌더링 파이프라인에 접목하는 혁신적인 방법을 제시하는 영상이다.

Houdini 내에서 직접 AI를 활용하는 구체적인 워크플로우를 시연한다.

 

영상

https://youtu.be/KB7gsxHXVFM

내용 (AI 요약)

[14:54] 프로젝트에 사용된 주요 도구인 ComfyUI와 Houdini를 선택한 이유를 자세히 설명합니다. ComfyUI는 오픈 소스 확산 모델 플랫폼으로 유연성이 뛰어나고, Houdini는 절차적 3D 소프트웨어로 복잡한 워크플로우를 구축하는 데 매우 적합하기 때문입니다.

[17:33] Houdini의 Copernicus 컨텍스트를 활용하여 3D 자산과 AI 모델을 통합하는 구체적인 목표를 제시합니다. 이는 3D 렌더 패스를 AI 입력으로 사용하고, AI가 생성한 이미지를 다시 Houdini로 가져오는 양방향 워크플로우를 의미합니다.

 

데모: 이미지 생성 (00:20:05 - 00:32:42)

 

[23:49] Houdini 내에서 ComfyUI 노드를 사용하여 이미지를 생성하는 방법을 시연합니다. 이 노드는 Houdini의 SOP(Surface Operator) 컨텍스트에서 작동하며, 텍스트 프롬프트와 다양한 AI 매개변수를 입력으로 받습니다.

[24:31] 이미지 생성에 영향을 미치는 주요 매개변수들, 즉 긍정적 및 부정적 프롬프트, 시드, 샘플링 방법(예: DPM++ 2M Karras, Euler), 단계(Steps), CFG 스케일 등을 상세히 설명합니다. 각 매개변수가 이미지 결과에 어떻게 영향을 미치는지 시각적으로 보여줍니다.

[25:38] 다양한 프롬프트와 설정을 조합하여 여러 종류의 이미지를 생성하는 과정을 보여줍니다. 예를 들어, "사이버펑크 도시"와 "해질녘" 같은 프롬프트로 이미지를 생성하고, 부정적 프롬프트를 추가하여 원치 않는 요소를 제거하는 방법을 시연합니다.

 

데모: 확산 렌더링 (00:32:47 - 00:38:38)

[32:47] 확산 렌더링(Diffusion Rendering)의 개념을 소개합니다. 이는 깊이 맵(Depth Map)이나 법선 맵(Normal Map)과 같은 렌더 패스를 AI의 입력으로 사용하여, 3D 장면의 구조를 유지하면서 완전히 다른 스타일의 이미지를 생성하는 기술입니다.

[35:12] ControlNet을 활용하여 깊이 맵으로 AI 생성을 조건화하는 방법을 시연합니다. 3D로 렌더링된 깊이 맵을 ComfyUI 노드에 입력하여, AI가 맵의 깊이 정보를 기반으로 새로운 이미지를 생성하도록 합니다.

[36:50] ControlNet의 강도(Strength)와 단계(Steps) 설정을 조절하여 생성되는 이미지의 다양한 결과를 보여줍니다. 강도가 낮을수록 원본 3D 구조를 더 많이 따르고, 강도가 높을수록 AI의 창의성이 더 많이 반영되는 것을 확인할 수 있습니다.

 

데모: 웨징 및 자동화 (00:38:38 - 00:44:18)

[38:38] Houdini의 TOP(Task Operator)을 사용하여 자동화된 워크플로우를 구축하는 방법을 보여줍니다. TOP은 다양한 매개변수 조합으로 여러 작업을 자동으로 실행하는 데 유용합니다. 이 데모에서는 여러 프롬프트와 시드 조합으로 다수의 이미지를 한 번에 생성합니다.

[39:22] 자동화된 작업을 통해 생성된 이미지들을 Houdini 내에서 처리하고, 최종적으로 하나의 모자이크 이미지로 컴파일하는 과정을 보여줍니다. 이는 다양한 디자인 옵션을 한눈에 비교하고 평가하는 데 매우 유용합니다.
6. 데모: 인페인팅 및 차등 확산 (00:44:27 - 00:51:12)

[44:27] 인페인팅(Inpainting) 기능을 시연합니다. 인페인팅은 마스크를 사용하여 이미지의 특정 영역만 수정하는 기술로, 이미 생성된 이미지의 일부를 변경하거나 개선하는 데 사용됩니다.

[04:45:02] CryptoMatte를 사용하여 3D 장면의 특정 오브젝트에 대한 마스크를 자동으로 생성하고, 이 마스크를 활용하여 인페인팅을 수행합니다. 이를 통해 3D 렌더링된 요소와 AI가 생성한 콘텐츠를 자연스럽게 혼합하는 차등 확산(Differential Diffusion) 기술을 선보입니다. 예를 들어, 한 렌더링된 이미지에서 특정 큐브의 재질만 AI로 변경하는 과정을 보여줍니다.
7. 데모: IP 어댑터로 모델 조건화 (00:51:19 - 00:57:44)

[51:19] IP 어댑터(IP Adapter)를 소개합니다. IP 어댑터는 참조 이미지를 사용하여 AI 모델을 특정 스타일로 조건화하는 기술입니다. 이를 통해 텍스트 프롬프트 외에 이미지의 시각적 스타일을 AI 생성에 반영할 수 있습니다.

[55:15] 이 기술을 활용하여 참조 이미지의 스타일과 일치하는 텍스처와 이미지를 생성하는 방법을 보여줍니다. 예를 들어, 특정 만화 스타일의 이미지를 참조 이미지로 사용하여, AI가 생성하는 모든 이미지가 그 스타일을 따르도록 만듭니다.

 

ComfyUI란?

ComfyUI는 스테이블 디퓨전(Stable Diffusion)을 위한 강력한 오픈 소스 노드 기반 사용자 인터페이스(GUI)입니다. 

다른 웹 기반 AI 이미지 생성 도구들과 달리, ComfyUI는 사용자가 직접 노드를 연결하여 이미지 생성 및 편집 파이프라인을 구축할 수 있게 해주는 것이 가장 큰 특징입니다.

쉽게 말해, 단순히 텍스트를 입력하고 버튼을 눌러 이미지를 얻는 방식이 아니라, 

다음과 같은 세부적인 과정을 노드로 시각화하여 직접 설계하는 방식입니다.

텍스트 입력 노드: 긍정적/부정적 프롬프트를 작성합니다.
모델 로드 노드: 사용할 스테이블 디퓨전 모델을 불러옵니다.
K-샘플러 노드: 이미지 생성 엔진과 유사한 역할을 하며, 이미지 생성 방식을 제어합니다.
이미지 출력 노드: 최종 결과물을 저장합니다.

이러한 노드들을 선으로 연결하여 하나의 거대한 '워크플로우(workflow)'를 만듭니다.

ComfyUI의 주요 특징
노드 기반의 유연한 워크플로우: ComfyUI는 마치 3D 그래픽 소프트웨어인 후디니(Houdini)나 합성 프로그램인 누크(Nuke)처럼 노드 기반 인터페이스를 사용합니다. 이는 사용자가 이미지 생성 과정을 단계별로 세밀하게 제어할 수 있도록 해줍니다. 예를 들어, 이미지 생성(txt2img), 이미지에서 이미지 생성(img2img), 인페인팅(inpainting) 등 복잡한 작업도 여러 노드를 조합하여 자신만의 방식으로 구현할 수 있습니다.

높은 투명성과 재현성: 모든 작업 과정이 노드 그래프로 시각화되어 있기 때문에, 어떤 단계를 거쳐 이미지가 생성되었는지 한눈에 파악할 수 있습니다. 이렇게 만들어진 워크플로우는 JSON 파일로 저장하거나 이미지 메타데이터에 포함시켜 다른 사람과 공유할 수 있어, 동일한 결과물을 쉽게 재현할 수 있습니다.

효율적인 자원 관리: ComfyUI는 워크플로우에서 변경된 부분만 다시 계산하는 '캐싱(caching)' 기능을 지원하여 매우 효율적입니다. 예를 들어, 프롬프트만 변경하고 나머지 설정은 그대로 두면, 변경되지 않은 노드는 다시 연산하지 않아 작업 속도가 훨씬 빠릅니다.

확장성과 커스터마이징: 오픈 소스 플랫폼인 만큼 다양한 커스텀 노드(custom nodes)가 커뮤니티를 통해 개발되고 있습니다. 컨트롤넷(ControlNet), IP 어댑터(IP Adapter)와 같은 최신 기술들을 ComfyUI 노드로 쉽게 통합하여 활용할 수 있습니다.