디퓨전 모델(Diffusion Model) 개요
현재 관심있는 키워드는 Diffusion Model, Synthetic Data, Experience Replay, Knowledge Distillation 이다.
아래의 두 논문을 원래는 읽고 정리할려고 했는데...
- Diffusion Model 을 이용한 Synthetic Data Generation
[2304.08466] Synthetic Data from Diffusion Models Improves ImageNet Classification (arxiv.org)
Synthetic Data from Diffusion Models Improves ImageNet Classification
Deep generative models are becoming increasingly powerful, now generating diverse high fidelity photo-realistic samples given text prompts. Have they reached the point where models of natural images can be used for generative data augmentation, helping to
arxiv.org
- Diffusion Model 을 강화학습에 활용 (Experience Replay)
[2303.06614] Synthetic Experience Replay (arxiv.org)
Synthetic Experience Replay
A key theme in the past decade has been that when large neural networks and large datasets combine they can produce remarkable results. In deep reinforcement learning (RL), this paradigm is commonly made possible through experience replay, whereby a datase
arxiv.org
근데 읽다보니 Diffusion Model 자체가 궁금하더라.
그래서 Diffusion Model 에 대해 한번 심도있게 공부해봐야 겠다 싶어서 정리해본다.
먼저 이력부터 살펴봄
이 방식의 문제는 읽어야 할 논문 양이 너무 많다는 점이다 :)
Diffusion에 대해 가장 처음 아이디어를 제시한 논문은 아래 논문으로 보인다.
[1503.03585] Deep Unsupervised Learning using Nonequilibrium Thermodynamics (arxiv.org)
Deep Unsupervised Learning using Nonequilibrium Thermodynamics
A central problem in machine learning involves modeling complex data-sets using highly flexible families of probability distributions in which learning, sampling, inference, and evaluation are still analytically or computationally tractable. Here, we devel
arxiv.org
그리고 몇년 지나서 다음과 같은 논문이 똭하고 나온다. (피터 아빌 교수님은 논문을 엄청 다작하시면서도 이런 대형 논문을 쓰시는 걸 보면 참 존경스럽다.)
[2006.11239] Denoising Diffusion Probabilistic Models (arxiv.org)
Denoising Diffusion Probabilistic Models
We present high quality image synthesis results using diffusion probabilistic models, a class of latent variable models inspired by considerations from nonequilibrium thermodynamics. Our best results are obtained by training on a weighted variational bound
arxiv.org
생성모델이 워낙 핫하다 보니 인터넷만 쳐봐도 Diffusion Model에 대한 글들이 넘쳐난다. 아래는 정말로 글쓰는데 얼마나 시간이 걸렸을까 싶은 정성스럽고 잘 작성된 글들이다.
The recent rise of diffusion-based models | Maciej Domagała (maciejdomagala.github.io)
The recent rise of diffusion-based models
ML, DL, Data Science.
maciejdomagala.github.io
What are Diffusion Models? | Lil'Log (lilianweng.github.io)
What are Diffusion Models?
[Updated on 2021-09-19: Highly recommend this blog post on score-based generative modeling by Yang Song (author of several key papers in the references)]. [Updated on 2022-08-27: Added classifier-free guidance, GLIDE, unCLIP and Imagen. [Updated on 2022-08
lilianweng.github.io
고려대학교의 김정섭 님도 잘 정리해놓으셨다.
[Paper Review] Denoising Diffusion Probabilistic Model – DSBA (korea.ac.kr)
[Paper Review] Denoising Diffusion Probabilistic Model
1. 논문 제목 : Denoising Diffusion Probabilistic Model 2. 논문 Overview - 2015년 제시된 Diffusion process 기반 비지도 학습 방법론을 기초로 함 - Diffusion process의 Reverse 과정(Denoising)을 학습함으로써 주어진 입력
dsba.korea.ac.kr
한글로는 "확산"으로 해석되는 Diffusion 모델에 대해 읽고 정리해보려고 한다.
