1. 개요
生 成 的 敵 對 神 經 網 / Generative Adversarial Network|
|
| 대표적인 GAN 관련 모델인 StyleGAN을 통해 만든 인물 이미지. |
심층학습의 기법을 이용해 임의의 랜덤 노이즈로부터[1] 가상의 데이터를 생성하는 네트워크(생성자: Generator, G)가 더 실제와 같은 데이터를 생성할 수 있도록 진위 여부를 판별할 수 있는 네트워크(구별자: Discriminator, D)를 붙여 경쟁적으로 학습시키는 생성 모델이다. 주로 GAN이라는 축약어를 사용하며, 2014년 Ian Goodfellow의 논문을 통해 처음 발표되었다. 기본적으로 비지도 학습(Unsupervised Learning)의 한 종류지만 파생 방법인 조건부 생성적 적대 신경망(Conditional GAN, cGAN)은 지도학습(Supervised Learning)에 활용될 수도 있다.
이미지를 생성하는 모델의 경우 딥페이크에 사용되기도 한다.
두 가지 네트워크를 동시에 경쟁적으로 학습시킨다는 점에서 학습이 굉장히 불안정하고, 그만큼 대규모 데이터셋으로 학습시키기 힘들다는 단점이 존재한다. 이러한 한계에 부딪혀 자연어 프롬프트로부터 이미지를 생성하는 text-to-image 분야에서는 두각을 보이지 못했고[2], 또다른 생성 모델의 한 갈래인 디퓨전 모델이 2022년 기준 Stable Diffusion을 비롯한 여러 text-to-image 모델들을 통해 눈부신 발전을 이루면서 상대적으로 주목을 덜 받게 되었다.
그러나 상대적으로 규모가 작은 데이터셋에서는 여전히 좋은 성능을 발휘하며, 태생적으로 아무리 못해도 수십 번의 네트워크 연산이 필요한 디퓨전 모델에 비해 단 한 번의 네트워크 연산만으로 데이터 생성이 가능하므로 효율면에서 월등히 유리하다는 장점도 있다.
2. 관련 웹사이트
- ARTBREEDER - 특정한 이미지 조합 및 변수 주입으로 이미지를 자동 생성, 앨범아트, 인물, 풍경, 모에 그림등의 옵션을 제공한다. 구글 등을 경유한 로그인 필요.
- Waifu Labs - 각 단계별로 유사한 이미지를 참조해 하술한 This Waifu Does Not Exist에 비교해 그럴싸한 모에 그림체 포트레이트를 생성해준다.
- 침착한 생성모델(깃헙) - 인물 사진을 이말년풍으로 해석해준다.
- ArcaneGAN - 인물 사진을 아케인: 리그 오브 레전드의 화풍으로 변환해준다.
2.1. This ~ doesn't Exist 시리즈
관련 웹페이지들을 모은 링크집이 있다.- This Person Does Not Exist - 무작위 인물 사진 생성. 이쪽 계열에서는 가장 유명하고 정교도도 비교적 높다. 그러나 역시 헛점은 있으며[3] 딥페이크 티가 드러나는 지점을 정리한 포스트가 존재한다. 그리고 모에그림체 GAN만큼은 아니지만 사람 얼굴 옆에 곤죽처럼 기괴하게 된 얼굴이 또 생성된 경우도 많다. 주로 옆에 찍은 사람이 학습모델에 주입되었는데 그게 꼬여버린경우로 추정된다. ( 혐오주의!)
- This Cat Does Not Exist - 무작위 고양이 사진 생성
- This Waifu Does Not Exist - 모에 그림체 포트레이트를 생성. 인물 이미지는 정교한 수준까지 갔지만 모에 그림체 생성은 다소 어설픈 측면이 남아있다. 간혹 기괴한 시안이 나오기도 한다.
- This Anime Does Not Exist - 모에 그림을 생성. 위에서 발전된거라 말풍선같은 만화 이미지까지 구현하지만, 표현되는 문자는 일본어가 외계어로 왜곡된 수준이다. 그리고 창의도(Creativity level)에 따라 인공지능이 참조한 이미지가 겹치거나 변하는것처럼 보이는 스냅이 잡혀서 기괴해보이는 경우가 많다. [4]
- This Pony Does Not Exist - MLP풍 포트레이트 생성
-
This Fursona Does Not Exist -
수인캐릭터 포트레이트 생성. 수인농도는 천차만별이다.
가끔씩 주토피아에 나오는 닉 와일드가 보인다. - This Rental Does Not Exist - 무작위의 숙소 방 사진과 가짜 설명을 생성.
- This Startup Does Not Exist - 랜덤한 내용의 가짜 스타트업 기업 페이지를 생성.
- This Artwork Does Not Exist - 무작위의 추상미술을 생성.
- This Automobile Does Not Exist - 무작위의 자동차 사진을 생성. 인물 버금갈정도로 정교도가 그럴싸한 사진이 나오지만 차의 앞뒤가 바뀌거나 분별할수없는 뒤죽박죽도 가끔 나온다.
- This City Does Not Exist - 무작위의 도심 항공 촬영사진같은 가상의 지형사진을 생성
- This Map Does Not Exist - 무작위의 지도 사진. 글자는 뭉개져서 인공문자같다.
- This Beach Does Not Exist - 무작위의 해변 풍경 사진 생성.
- This Music Video Does Not Exist - OpenAI Jukebox를 통해 생성된 음악과 추상그림의 변화로 구성된 뮤직비디오 생성.
- This Night Sky Does Not Exist - 무작위의 밤하늘 사진 생성. 지형은 굉장히 어색하다.
- This Wojak Does Not Exist - 무작위의 Wojak풍 얼굴(...)(형체를 알아볼수 없는 기괴한 얼굴이 많이 나온다.)
[1]
주로
정규분포에서 샘플링한다.
[2]
단적으로, 대중들에게 처음 널리 알려진 text-to-image 모델이라고 할 수 있는
DALL·E의 첫번째 버전도 GAN이 아닌 autoregressive model 기반이었다.
[3]
사실 맨 위에 예시로 올린 짤에도 옥에 티 수준으로 위화감이 느껴지는 부분이 아주 조금 있다..
[4]
일본의 몇몇 트위터리안을 중심으로 #waifubattle이라는 해시태그 아래 waifulab 및 TADNE에서 아예 이러한 이상하게 도출된 결과물만 모으는 밈도 존재한다(...) 당연히 관람주의. 그리고 그 외계어처럼 보이는 문자를 속칭 waifu어라고 한다.