[스노피 AI] 디퓨전 모델(Diffusion model)에 대한 쉬운 설명

​

안녕하세요? 와포의 생성형AI 스노피(SnowPea) 담당자입니다. 오늘은 확산 모델(Diffusion model)에 대해 알아보도록 하겠습니다.

​

기본 아이디어

확산 모델의 기본 아이디어는 노이즈가 추가된 이미지를 점진적으로 원래 이미지로 되돌리는 것입니다. 이를 위해 확산 모델은 두 단계로 작동합니다:

1. 추론 단계(Forward Process): 이미지를 점진적으로 더 많은 노이즈가 포함된 이미지로 변환합니다.
2. 생성 단계(Reverse Process): 노이즈가 포함된 이미지에서 원래 이미지를 점진적으로 복원합니다.

​

단계별 설명

1. 추론 단계(Forward Process)

• 시작 이미지에 노이즈를 조금씩 추가합니다.
• 이 과정은 여러 단계로 이루어지며, 각 단계마다 이미지에 점점 더 많은 노이즈가 추가됩니다.
• 마지막 단계에서는 완전히 노이즈가 추가된, 거의 무작위한 이미지가 됩니다.

1. 생성 단계(Reverse Process)

• 무작위 노이즈 이미지에서 시작합니다.
• 이 노이즈 이미지를 점진적으로 원래의 깨끗한 이미지로 변환합니다.
• 이 과정은 역방향으로 진행되며, 각 단계마다 노이즈가 조금씩 제거됩니다.
• 최종적으로 원래의 깨끗한 이미지에 가까운 이미지를 얻게 됩니다.

​

학습 과정

확산 모델을 학습시키는 과정은 두 가지 주요 단계로 구성됩니다:

1. 추론 단계의 학습:

• 원래 이미지에 다양한 수준의 노이즈를 추가하여 노이즈 이미지 쌍을 만듭니다.
• 모델은 이 노이즈가 추가된 이미지를 통해 원래 이미지를 복원하도록 학습됩니다.
• 이 과정에서 모델은 다양한 노이즈 수준을 다루는 법을 배웁니다.

1. 생성 단계의 학습:

• 모델은 노이즈 이미지를 입력받아 점진적으로 노이즈를 제거하는 방법을 학습합니다.
• 이 과정은 반복적으로 수행되며, 모델은 각 단계에서 노이즈 제거를 조금씩 더 잘하게 됩니다.

​

활용 예

확산 모델은 다양한 이미지 생성 및 변환 작업에 활용됩니다. 예를 들어:

• 이미지 생성: 무작위 노이즈에서 시작하여 새로운 이미지를 생성할 수 있습니다.
• 이미지 변환: 기존 이미지에 노이즈를 추가하고 다시 복원하여 이미지의 특정 특성을 변경하거나 강화할 수 있습니다.
• 이미지 복원: 손상된 이미지에서 노이즈를 제거하여 원래의 깨끗한 이미지를 복원할 수 있습니다.

​

장점

• 고품질 이미지 생성: 확산 모델은 매우 세밀하고 고품질의 이미지를 생성할 수 있습니다.
• 안정성: 점진적인 변환 과정을 통해 안정적으로 이미지를 생성하고 복원할 수 있습니다.

확산 모델은 이미지 생성 및 변환 분야에서 매우 강력한 도구로 자리 잡고 있으며, 최신 연구에서 많은 주목을 받고 있습니다. 이를 통해 보다 자연스럽고 현실적인 이미지를 생성할 수 있게 되었습니다.

​

와포의 생성형AI인 스노피(SnowPea)는 다음과 같은 제품군으로 이루어져 있습니다.

• SnowPea-VS : Video Studio로 SnowPea-VG(Video Generator)와 Video editor가 결합된 제품
• SnowPea-VH : Virtual Human으로 가상의 인간
• SnowPea-VG : Video Generator으로 영상을 생성
• SnowPea-IG : Image Generator으로 이미지를 생성
• SnowPea-LLM : Large Language Model으로 챗봇 생성
• SnowPea-Voice : TTS(Text-to-Speech)등 음성 생성

 

SNOWPEA AI