Machine Learning/유튜브, 책, 아티클 정리15 만들면서 배우는 생성AI 10장 : 고급 GAN 1. ProGAN 핵심 아이디어 NVIDIA LABS가 GAN 훈련의 속도와 안정성을 향상하려고 개발한 방법론입니다. 앞서, GAN은 두개의 서로 다른 경쟁적인 모델을 학습시켜야하기 때문에 훈련시키기가 매우 어렵다는 이야기가 있었습니다. 이 논문은 전체 해상도 이미지에서 바로 GAN을 훈련하는 대신 먼저 4X4 픽셀의 저해상도 이미지로 생성자와 판별자를 훈련한 다음 점차 해상도를 높이는 방법을 사용합니다. 점진적 훈련 위에서 말한 점진적 훈련은 아래와 같은 방식으로 고차원으로 확장해갑니다. 크게 전환과 안정화 두가지가 점진적 훈련의 주요 단계입니다. 전환 단계와 안정화 단계의 역할 : 이전의 4X4 생성자가 배운 이미지 생성 능력을 고해상도(8X8) 생성자도 배울 수 있도록 잔차 연결로 연결해줍니다. 새.. 2023. 12. 14. 만들면서 배우는 생성AI 9장 : 트랜스포머 모델 오늘날 모든 GPT와 모든 생성AI 모델의 근간이라고 볼 수 있는 트랜스포머 모델에 대해 배우는 장입니다. 사실 내부적으로 뜯어보면 굉장히 이해하는데 오래걸리는 모델인데, 이번 기회에 찬찬히 뜯어보려고 합니다. Transformer 모델 1. Attention Mechanism 보통 완성되지 않은 문장에서 다음 단어를 예측하는데 있어서 인간은 문장 속 여러 단어들을 통해서 힌트를 얻습니다. 하지만 개별 단어들이 각기 동일한 중요도를 가질까요? 아닙니다. 어느 벌판에서 회색 코끼리가 ㅇㅇㅇㅇ. 라는 문장에서 회색이라는 단어는 사실 다음 동사를 예측하는데 전혀 기여를 하지 않습니다. 즉, 다음 단어를 예측하는데 있어서 중요한 단어가 따로 있다는 것입니다. 그렇다면 모델도 같은 메커니즘으로 다음 단어를 예측하.. 2023. 12. 12. 만들면서 배우는 생성 AI 8장 : Diffusion 모델 이번 모델은 현재 스테이블 디퓨전을 포함해 대부분의 생성 AI 모델에서 가장 성능이 뛰어난 모델입니다. 앞서 EBM과 유사하게 다른 학문의 이론인 열역학의 확산에서 영감을 얻은 방식입니다. 사실 이 내용 자체는 이전 논문 리뷰 글 (링크) 에서 볼 수 있지만 책 정리 차원에서 오늘은 다시 정리해보려고 한다. 핵심 아이디어 실제 열이 확산되는 방식처럼 순차적으로 조금씩 원본 이미지에서 잡음을 추가해서 완전히 랜덤한 잡음으로 향하도록 하고, 동일하게 반대 방향으로 랜덤한 잡음에서 조금씩 잡음을 제거해서 원본 이미지로 향하도록 학습시키는 모델인데 이걸 실제로 해보니 잘 작동해서 오늘날 많이 사용하게 되었다. 추가적으로, 이 노이즈의 비율이 얼마인지, 실제로 넣어서 어떤 이미지가 나왔는지를 토대로 noise를 .. 2023. 12. 11. 만들면서 배우는 생성 AI 7장 : Energy Based 모델 이전까지의 생성모델은 모두 배우려는 이미지들의 분포를 단순한 분포로 변환시키는 함수를 찾는 형태로 발전되어왔습니다. 이번 장은 에너지 기반 모델로, 물리 시스템 모델링(물리학에서 분자 등의 운동을 연구하기 위해 연구한 함수, 식 등)을 이미지 생성 분포에 활용한 내용을 다룹니다. 따라서 이전까지의 방법과 다른 방식을 적용한 것이 EBM의 차이입니다. 1. 사전 개념 볼츠만 분포 시스템이 해당 상태의 에너지와 온도의 함수로 특정 상태 에 있을 확률을 제공 하는 확률 분포 또는 확률 척도로 이 분포를 이미지 생성의 분포에 적용합니다. E(x)는 샘플 x의 에너지 함수(또는 점수)로 신경망이 학습시킬 대상입니다. 적분으로 표현되어서 복잡해보이지만, 마치 SoftMax 함수와 매우 유사해보입니다. 직관적으로 해.. 2023. 12. 10. 이전 1 2 3 4 다음
