전체 글
-
[ComfyUI] Live Portrait을 활용한 인물 이미지 표정 컨트롤AI/ComfyUI 2025. 8. 1. 04:05
[Live Portrait란?]정적인 얼굴 이미지(사진)을 기반으로 실시간처럼 표정이나 머리 움직임을 애니메이션화해주는 기능[구현방법]1. Custom Node 다운로드- 커스텀매니저를 이용해 AdvancedLivePortrait을 다운로드 받을 경우, 최신버전으로 제대로 받아지지 않는 것 같다.(기능이 몇 개 누락되어 있음)- 그래서 이번에는, cmd를 이용해 바로 설치하겠다. 1) windows + r → cmd 입력 후 커맨드 창 실행2) 아래 명령어 입력하여, comfyUI 설치 경로의 custom_nodes폴더로 이동 (아래는 나의 설치경로)cd C:\StableDiffusion\ComfyUI\custom_nodes 3) 아래 Git 클론 명령어 실행하여 설치git clone https://gi..
-
[ComfyUI] ReActor를 활용한 Face Swap 구현 방법AI/ComfyUI 2025. 7. 31. 14:13
[ReActor란?]Reference + Actor의 줄임말로, 기준이 되는 인물(reference image) + 원하는 동작(Acting)을 결합해 자연스러운 영상 생성에 활용하는 확장형 모듈- 참조 이미지 기반 인물 유지- AnimateDiff와 결합하여 시간축 움직임 추가 가능- IPAdapter처럼 스타일 반영 + ControlNet처럼 포즈 유지 → 하이브리드 방식[구현 방법]1. 추가 프로그램 준비1) Visual Studio- 아래 링크로 접속하여, Community 2022 버전을 다운로드한다. (무료)https://visualstudio.microsoft.com/github-copilot/?utm_source=vscom-homepage&utm_medium=web-hero&utm_id=l..
-
[ComfyUI] AnimateDiff를 이용한 AI 영상 만들기AI/ComfyUI 2025. 7. 31. 07:57
[AnimateDiff란?]Animation + Diffusion 의 합성어로, Stable Diffusion 기반의 비디오 생성 확장 모델- 시간 정보를 포함한 모델을 학습하여, 짧은 동영상 생성 가능- 텍스트 프롬프트만으로 움직이는 장면을 만들 수 있음- 아직 실사 영상이 많이 어색한 상태, 입 움직임이나 손 디테일은 정확도가 낮음- 프롬프트만으로는 정교한 연출이 어려움[AnimateDiff 구현]1. Custom Node 다운로드- 아래 4가지 커스텀 노드 다운로드 2. AnimateDiff 모델 다운로드- AnimateDiff v3 라고 검색하여, Type이 animatediff인 모델 다운로드3. 노드 생성 및 연결 (텍스트 → 영상)- 16장을 생성해서 프레임율을 8로 조정 => 약 2초정도의..
-
[ComfyUI] IPAdapter로 이미지 to 이미지 만들기AI/ComfyUI 2025. 7. 31. 04:37
[IPAdapter란?]Image Prompt Adapter의 줄임말로, 이미지 하나를 프롬프트처럼 사용하여 해당 이미지의 스타일, 구도, 분위기 등을 참고하도록 만드는 모델로 이미지와 프롬프트를 밸런스 있게 적용해줌.- 텍스트 프롬프트와 함께 이미지를 보조 프롬프트로 사용하는 구조로 사용됨- ControlNet처럼 강제하지 않고, 자연스럽게 '닮은 느낌'을 반영함 [사용방법]1. CLIPVision 모델 다운로드- 모델 매니저에 들어가서, 아래 H, G 모델을 다운 받는다.2. IP-Adapter 관련 모델 다운로드- Deprecated 버전을 제외한 여섯개의 모델을 다운로드 받아준다.3. 노드 만들어 연결해주기- LoadImage, IPAdapter Unified Loader, IPAdapter Ad..
-
[ComfyUI] ControlNet을 이용하여 같은 구도의 다른 사진 만들기AI/ComfyUI 2025. 7. 31. 04:18
[ControlNet이란?]ControlNet은 기존 Stable Diffusion의 latent space를 "조절"할 수 있도록 만든 모델- 단순 프롬프트만으로는 한계가 있는 자세, 구도, 구조 등을 명확히 컨트롤하고 싶을 때 사용입력 종류 (Preprocessor)- Canny: 엣지(선) 중심으로 구조를 잡음- OpenPose: 인체의 뼈대 정보(포즈)를 기반- Depth: 깊이감이 있는 이미지 기반- Scribble, LineArt: 손그림 혹은 단순 라인 기반 스케치기본 워크 플로우1. Load Image: 기존 이미지를 불러옴2. Preprocessor: Canny, OpenPose 등 추출방식 선택하여 이미지를 추출3. ControlNet: 2의 정보 기반으로 생성에 영향을 줌4. KSam..
-
[ComfyUI] 인페인팅(Inpainting) / 아웃페인팅(Outpainting) 사용법AI/ComfyUI 2025. 7. 26. 06:50
[인페이팅 / 아웃페인팅이란?]Inpainting (인페인팅)- 이미지 안쪽 일부를 '지우고 다시 채우기'- 얼굴 교체, 옷 바꾸기, 로고/워터마크 지우기, 잘린 손/발 복원 등- 이미지의 일부를 교체할 때 사용Outpainting (아웃페인팅)- 캔버스를 바깥으로 확장한 뒤, 새로 생긴 빈 영역을 "원본과 자연스럽게 이어지도록" 그려 넣는 기법- 캔버스 외곽, 영역을 확장하는 것[기본 세팅]Custom Node 다운로드- Custom Nodes Manager을 통해 아래 커스텀 노드를 다운 받고 Restart를 해준다.1) Impact Pack2) Inpaint Nodes3) Essentials [인페인팅(Inpainting) 구현 방법]1. VAE Encode (for Inpainting) 노드 추가..
-
[ComfyUI] 실시간 스케치로 이미지 생성 (img2img)AI/ComfyUI 2025. 7. 26. 05:16
[img2img 생성 과정]이미지 → 이미지 변환은 이미지 인풋과 프롬프트를 기반으로 진행된다.위와 같이 아마추어 스케치를 넣고 프롬프트에 "photo of perfect green apple with stem, water droplets, dramatic lighting"이라고 입력시 오른쪽과 같은 이미지를 얻을 수 있다. 단계별로 흐름은 아래와 같이 진행된다.1. 입력 이미지가 인코딩되어 latent space 형태로 변환된다. 2. latent 이미지에 노이즈가 추가된다. Strength 레벨에 따라 노이즈의 강도가 달라진다.0일 경우, 노이즈가 추가되지 않으며 1일 경우 최대값의 노이즈가 추가되어 완전히 랜덤한 상태가 된다.이 이후 추가적으로 수행되는 작업들이 있으나, 간단한 과정 설명을 위해 ..
-
[ComfyUI] Stable Diffusion이란 무엇인가?AI/ComfyUI 2025. 7. 26. 04:08
[Stable Diffusion이란?]Stable Diffusion은 text-to-image 모델으로, 텍스트 프롬프트 기반 AI 이미지를 생성하는 기술이다.[Diffusion model]- Stable Diffusion은 Diffusion model의 딥러닝 모델을 따른다.- 즉, 트레이닝에 사용한 데이터를 기반으로 유사한 이미지를 만들어내는 모델이다. 그렇다면, 왜 이름이 Diffusion(확산) 일까?Forward diffusion위와 같이 고양이와 강아지 사진을 학습시킨다고 가정하겠다.Forward diffusion 과정은, 학습이 필요한 이미지에 노이즈를 추가해 점점 노이즈 이미지로 변하게 한다.결과적으로, 마지막 단계에서는 노이즈 이미지만 남게 되어 사람은 이 사진이 강아지인지, 고양이인지..