AI's Hardest Tool Just Killed The Hard Part!

01핵심 개요

02핵심 기능/내용 구조

1. Comfy UI의 위상과 딜레마: 진행자는 Comfy UI를 생성형 이미지·비디오 분야에서 가장 중요하면서도 가장 호불호가 갈리는 도구로 규정한다. 노드 기반 시스템이라 극도로 커스터마이징 가능하지만, 학습 난이도가 매우 높아 "절반은 아티스트, 절반은 엔지니어"인 사람만 잘 다룰 수 있었다고 지적한다. 진행자 스스로도 "Comfy 캐이브맨" 수준이라고 자평한다.
2. 오픈소스-폐쇄형 모델 가교 역할: 지난 1년간 Comfy UI는 로컬 실행 오픈소스 모델과 클로즈드 소스 플랫폼 모델 사이의 격차를 좁혀왔다. 이미지를 로컬에서 생성한 뒤 Seedance 같은 모델로 애니메이션화하는 작업을 전부 개인 데스크톱에서 처리할 수 있는 몇 안 되는 도구로 소개된다.
3. 공식 Comfy MCP 출시: 오늘(영상 기준) Comfy가 공식 MCP(Model Context Protocol)를 출시했다. Claude, Codex 등 컴퓨터 사용이 가능한 모든 LLM이 Comfy UI를 직접 조작할 수 있게 하는 것이 핵심 기능이다. 기존에도 커뮤니티 제작 Comfy MCP가 있었고 지금도 존재하지만, 이번 발표는 공식 버전이라는 점에서 다르다. 진행자는 공식(베타, 아직 불안정할 수 있음)과 커뮤니티(오래 검증됨) 버전을 둘 다 설치해 상황에 맞게 전환 사용할 것을 권장한다.
4. 필요 환경: Claude Desktop(데스크톱 버전 필수), 또는 ChatGPT 데스크톱(Codex 사용 권장), Kimi K2 등 컴퓨터 사용을 지원하는 LLM 중 하나. 하드웨어는 최신 PC/Mac이면 대부분 구동되지만, PC + Nvidia 4090~5090급 GPU가 헤드리스 문제가 적다. 진행자는 5090 GPU로 벤치마크를 진행했다. 클라우드 대안으로 Comfy Cloud, 또는 RunPod 등에서 H100을 시간당 $3.29에 대여하는 방법도 언급(별도 영상에서 다룰 예정이라 함).
5. 설치 절차: Comfy Desktop(공식 데스크톱 앱) 다운로드를 권장하며, GitHub 클론 후 Python 환경을 수동 구성하던 과거 방식보다 훨씬 간단해졌다고 설명. MCP 설치는 LLM에게 "Comfy UI MCP를 설치해줘. 커뮤니티 버전과 공식 버전 둘 다"라고 입력하는 것으로 끝난다.
6. 템플릿 라이브러리 활용: Comfy UI 내 템플릿 메뉴에서 Miniax H3(이미지→비디오, 레퍼런스→비디오), LTX 2.5, Krea Flow, Krea K2 등 최신 오픈소스 모델 템플릿을 즉시 불러올 수 있다. 미설치 모델을 실행하려 하면 "3 errors found" 알림이 뜨고, 필요한 모델(예: 13.34GB)을 다운로드하면 바로 실행 가능해진다.
7. 토큰 비용 관리 전략: 진행자는 Claude를 "Fable 저사양(low)" 모드로 운용하며 대부분의 작업을 처리하고, 필요할 때만 상향한다고 밝힌다. 핵심 팁은 "고성능 모델(Fable)이 직접 작업하게 하지 말고, Sonnet·Haiku 같은 저비용 모델을 서브에이전트로 써서 실제 조작(hands)을 맡기고 고성능 모델은 감독만 하게 하라"는 것.
8. 자동 워크플로우 생성 시연: Claude에게 "Krea 2로 이미지를 만들고 Miniax H3로 이미지→비디오 워크플로우를 만들어달라"고 요청하자, 진행자 본인은 만들 줄 모르는 복잡한 노드 그래프를 Claude(MCP 경유)가 대신 구성했다. Claude가 자체 선택한 프롬프트로 "비 오는 골목의 사이버펑크 캐릭터" 이미지를 생성하고 이를 Miniax H3로 비디오화했으며, 총 소요 204초, 완전 로컬 실행, 비용 0원이었다.
9. 수동 개입이 유리한 지점: 아스펙트비율·길이(프레임 수, 예: 124프레임=5초→248프레임=10초로 변경) 등 단순 파라미터 조정은 LLM에게 매번 요청하면 토큰 낭비이므로, 사용자가 UI에서 직접 숫자를 바꾸는 편이 낫다고 조언. 샘플러 이름, 스케줄러, 스텝 수 등 이해가 안 되는 개념은 Claude에게 질문해서 배우되, 프롬프트 텍스트 수정 같은 반복 작업은 직접 하라고 권장.
10. 외부 API(비로컬) 모델 통합: Comfy 템플릿에서 로컬 모델을 끄고 "External/Remote APIs"를 켜면 CDS(Seedance) 2.5, Grok Imagine, Topaz, Minimax, Recraft, Claude(Fable 5), Hailuo(Hey Gen) 등 거의 모든 플랫폼 모델이 노드로 등록되어 있다. 다만 이는 API 호출이라 로컬이 아니며 "Comfy Bucks"(크레딧)가 필요하다. Krea 2 스틸 이미지 생성 → Miniax 비디오 변환 → Seedance 2.5 video-to-video 리스킨까지 잇는 하이브리드 워크플로우도 Claude에게 요청 한 번으로 구성 가능함을 시연(단, 진행자는 크레딧이 없어 실행은 생략).
11. Lora 설치 자동화: 관심 있는 커스텀 Lora(예: "H3 spatial physics Lora")를 발견하면 URL을 Claude에 전달해 "이 Lora를 설치하고 실행해줘"라고 지시하는 것만으로 설치·적용이 끝난다. 진행자가 실제로 물리 시뮬레이션 관련 Lora를 이 방식으로 테스트했다(결과는 "아직 완벽하진 않음, Seedance 2.5의 액션 시퀀스 수준에는 못 미침"으로 평가).
12. AI 컴퓨터 사용 안전성에 대한 진행자의 견해: 로그 스토리(에이전트가 계좌 정보를 유출하거나 하드디스크를 포맷했다는 괴담)를 언급하며, 실제로는 삭제·유출 등을 명시적으로 지시하지 않는 한 Claude·Codex 계열 모델은 강하게 거부한다고 실증. 다만 "신뢰하되 검증하라(trust but verify)"는 냉전식 원칙은 여전히 유효하다고 덧붙인다.

03기술적 맥락

Comfy UI는 노드 기반(node-based) 워크플로우 편집기로, 이미지·비디오 생성 파이프라인의 각 단계(모델 로드, 샘플링, 스케줄링, 후처리 등)를 시각적 노드로 연결해 구성한다. 이번 영상의 핵심은 MCP(Model Context Protocol)를 통해 LLM이 이 노드 그래프를 대신 읽고 쓸 수 있게 됐다는 점이다. MCP는 Anthropic이 제안한 개방형 프로토콜로, LLM이 외부 도구·애플리케이션과 표준화된 방식으로 상호작용하도록 해준다. Comfy UI 생태계 안에서 언급된 오픈소스 비디오 모델로는 Miniax H3(이미지→비디오, 텍스트→비디오, 애니메이트, 최근에는 음악 기능도 추가), LTX 2.5가 있으며, 두 모델 모두 폐쇄형 플랫폼 모델과의 격차를 빠르게 좁히고 있다고 평가된다. 이미지 생성 쪽에서는 Krea Flow, Krea K2가 언급된다. 외부 API 연동 노드로는 Seedance(CDS) 2.5, Grok Imagine, Topaz(업스케일링 추정), Recraft, Hailuo(Hey Gen) 등이 소개된다.

04전략적 의미

첫째, Comfy UI의 진입장벽이던 "학습 시간"이라는 요소가 MCP를 통해 사실상 제거됨에 따라, 로컬 생성형 AI 워크플로우의 대중화가 가속될 가능성이 크다. 진행자는 이를 "기술적으로 로컬 생성의 두 가지 장벽 중 하나(GPU 비용은 여전히 남지만, 학습곡선은 제거됨)"로 요약한다. 둘째, "저비용 모델을 서브에이전트로 쓰고 고비용 모델은 감독만 하게 하라"는 토큰 관리 전략은 향후 에이전틱 AI 도구 활용의 표준 패턴이 될 가능성이 있다. 셋째, 로컬(오픈소스)과 클라우드(폐쇄형 플랫폼) 모델을 하나의 워크플로우 안에서 섞어 쓰는 하이브리드 파이프라인이 Comfy MCP로 인해 자연어 한 줄로 구성 가능해지면서, "완전 로컬이냐 완전 클라우드냐"라는 이분법이 흐려지고 있다. 넷째, 폐쇄형 플랫폼의 비용이 계속 오를 것으로 예상되는 상황에서, 로컬로 처리 가능한 작업은 로컬로 옮기는 것이 합리적 전략이라는 진행자의 조언은 AI 콘텐츠 제작 비용 구조 변화의 신호로 읽을 수 있다.

05핵심 워크플로우 또는 비교표

06활용 시나리오

1. Comfy UI 입문을 포기했던 크리에이터: 노드 그래프의 복잡성 때문에 Comfy UI 학습을 포기한 사용자가, Claude Desktop + 공식/커뮤니티 MCP를 설치해 자연어 지시만으로 이미지→비디오 워크플로우를 처음 구성해볼 때 이 영상의 설치 절차를 그대로 따라할 수 있다.
2. 로컬-클라우드 하이브리드 파이프라인 설계자: 로컬 오픈소스 모델(Miniax H3, LTX 2.5)로 초안을 만들고 폐쇄형 API 모델(Seedance 2.5 등)로 후반 리터칭하는 워크플로우를 구축하려는 제작자가, 외부 API 노드 활용법과 Comfy Bucks 요구사항을 참고할 수 있다.
3. AI 에이전트 토큰 비용을 관리해야 하는 실무자: Claude나 Codex를 반복 작업에 투입하면서 비용이 급증하는 것을 우려하는 사용자가, "고성능 모델은 감독, 저비용 서브에이전트(Sonnet·Haiku)는 실행"이라는 패턴을 다른 에이전틱 워크플로우에도 적용할 수 있다.
4. 신규 Lora/모델을 빠르게 테스트하려는 사용자: 커뮤니티에서 발견한 Lora나 신규 오픈소스 모델을 Comfy UI에 반영하는 데 드는 시간을 줄이고 싶은 사용자가, URL 전달만으로 설치·실행하는 절차를 활용할 수 있다.

07현황 및 전망

영상 시점 기준 공식 Comfy MCP는 베타 단계이며, 커뮤니티 제작 MCP가 상대적으로 더 안정적으로 검증된 상태다. 진행자는 두 버전을 병행 설치해 상황에 따라 전환 사용할 것을 권장하며, 장기적으로는 공식 버전이 더 안정화될 것으로 전망한다. 오픈소스 비디오 모델(Miniax H3, LTX 2.5)이 폐쇄형 최첨단 모델과의 격차를 빠르게 좁히고 있다는 진단과 함께, 로컬 생성의 남은 진입장벽은 GPU 비용(계속 상승 예상)과 생성 속도(로컬이 상업 플랫폼보다 느림) 정도로 압축된다고 정리한다. 진행자는 추후 RunPod을 이용한 클라우드 GPU 대여 가이드 갱신과 Comfy Cloud 자체 리뷰를 별도 영상으로 다룰 계획이라고 예고했다.

08용어 사전