What is Stable Diffusion?

Stability AI에서 오픈소스 라이선스로 배포한 text-to-image 인공지능 모델이다. 2022년 8월 22일 출시했다.

 

Stable Diffusion은 독일 뮌헨 대학교 Machine Vision & Learning Group (CompVis) 연구실의 "잠재 확산 모델을 이용한 고해상도 이미지 합성 연구"[1]를 기반으로 하여, Stability AI와 Runway ML 등의 지원을 받아 개발된 딥러닝 인공지능 모델이다.

Stability AI는 방글라데시계 영국인 에마드 모스타크(Emad Mostaque)가 사비로 만든 회사로, Stable Diffusion에 방대한 LAION-5B 데이터베이스를 학습시킬 수 있도록 컴퓨팅 자원을 제공하였다. OpenAI의 Dall-e 2나 구글의 Imagen과 같은 기존 text-to-image 모델들과는 다르게 컴퓨터 사용 리소스를 대폭 줄여 4GB 이하의 VRAM을 가진 컴퓨터에서도 돌릴 수 있다.

또한 개발 비용이 클 것임에도 불구하고[2] 통 크게 오픈 소스로 공개해서 일반인들도 사용을 할 수 있다.

사실상 그림 인공지능의 시대를 연 인공지능이며, 오픈소스로 공개된 덕분에 해당 인공지능을 기반으로 하는 AI 이미지 서비스 기능이 우후죽순으로 늘어나고 있으며 Stable Diffusion은 유명하고 대중적인 이미지 생성형 인공지능 중 하나가 되었다.

컨트롤넷이라는 플러그인으로 포즈 지정이 가능하다. 신체 부위에 해당하는 각색의 작대기를 조절하는 Openpose에서 선화 수준의 밑그림 구도를 기반으로 이를 보조해주는 Canny 모델 등 여러가지 ControlNet 대응 보조모델을 사용할 수 있다.

 

https://stability.ai/stable-diffusion

Stable Diffusion — Stability AI

 

Stable Diffusion Download Code

https://github.com/Stability-AI/generative-models

GitHub - Stability-AI/generative-models: Generative Models by Stability AI

 

Demo Website

https://huggingface.co/spaces/stabilityai/stable-diffusion

Stable Diffusion 2-1 - a Hugging Face Space by stabilityai

 

Stable Diffusion 을 이용하여 여러가지 방면에서 활용 할 수 있다.

배경 이미지를 만들수도 있고, 인물화를 만들수도 있고, 애니메이션 주인공도 만들 수가 있다. 그린다는 개념이 아니라 만든다는 개념이 맞을 것 같다.

 

창작의 영역에서 재능이 아닌 단순한 영어 단어 입력을 통한 개인창작이 가능해 진다. 예를 들어서 그림을 잘 그리지 못하는 사람이 그림을 좋아하고, 잘 그리고 싶어 한다면 이제부터  Stable Diffusion을 한번 배워보자. 설치부터 기초 단계까지 모든 것들을 블로그에 올릴 예정이다.

 

최신 기술까지 모두 활용해보고 Stable Diffusion에 알기 쉽게 따라해보자.