본문 바로가기

Machine Learning41

만들면서 배우는 생성AI 9장 : 트랜스포머 모델 오늘날 모든 GPT와 모든 생성AI 모델의 근간이라고 볼 수 있는 트랜스포머 모델에 대해 배우는 장입니다. 사실 내부적으로 뜯어보면 굉장히 이해하는데 오래걸리는 모델인데, 이번 기회에 찬찬히 뜯어보려고 합니다. Transformer 모델 1. Attention Mechanism 보통 완성되지 않은 문장에서 다음 단어를 예측하는데 있어서 인간은 문장 속 여러 단어들을 통해서 힌트를 얻습니다. 하지만 개별 단어들이 각기 동일한 중요도를 가질까요? 아닙니다. 어느 벌판에서 회색 코끼리가 ㅇㅇㅇㅇ. 라는 문장에서 회색이라는 단어는 사실 다음 동사를 예측하는데 전혀 기여를 하지 않습니다. 즉, 다음 단어를 예측하는데 있어서 중요한 단어가 따로 있다는 것입니다. 그렇다면 모델도 같은 메커니즘으로 다음 단어를 예측하.. 2023. 12. 12.
만들면서 배우는 생성 AI 8장 : Diffusion 모델 이번 모델은 현재 스테이블 디퓨전을 포함해 대부분의 생성 AI 모델에서 가장 성능이 뛰어난 모델입니다. 앞서 EBM과 유사하게 다른 학문의 이론인 열역학의 확산에서 영감을 얻은 방식입니다. 사실 이 내용 자체는 이전 논문 리뷰 글 (링크) 에서 볼 수 있지만 책 정리 차원에서 오늘은 다시 정리해보려고 한다. 핵심 아이디어 실제 열이 확산되는 방식처럼 순차적으로 조금씩 원본 이미지에서 잡음을 추가해서 완전히 랜덤한 잡음으로 향하도록 하고, 동일하게 반대 방향으로 랜덤한 잡음에서 조금씩 잡음을 제거해서 원본 이미지로 향하도록 학습시키는 모델인데 이걸 실제로 해보니 잘 작동해서 오늘날 많이 사용하게 되었다. 추가적으로, 이 노이즈의 비율이 얼마인지, 실제로 넣어서 어떤 이미지가 나왔는지를 토대로 noise를 .. 2023. 12. 11.
만들면서 배우는 생성 AI 7장 : Energy Based 모델 이전까지의 생성모델은 모두 배우려는 이미지들의 분포를 단순한 분포로 변환시키는 함수를 찾는 형태로 발전되어왔습니다. 이번 장은 에너지 기반 모델로, 물리 시스템 모델링(물리학에서 분자 등의 운동을 연구하기 위해 연구한 함수, 식 등)을 이미지 생성 분포에 활용한 내용을 다룹니다. 따라서 이전까지의 방법과 다른 방식을 적용한 것이 EBM의 차이입니다. 1. 사전 개념 볼츠만 분포 시스템이 해당 상태의 에너지와 온도의 함수로 특정 상태 에 있을 확률을 제공 하는 확률 분포 또는 확률 척도로 이 분포를 이미지 생성의 분포에 적용합니다. E(x)는 샘플 x의 에너지 함수(또는 점수)로 신경망이 학습시킬 대상입니다. 적분으로 표현되어서 복잡해보이지만, 마치 SoftMax 함수와 매우 유사해보입니다. 직관적으로 해.. 2023. 12. 10.
만들면서 배우는 생성 AI 정리 6장 - Normalizing Flow 모델 이번 장에서는 노멀라이징 플로 모델에 대해서 살펴봅니다. 1. 개요 생성 AI모델의 대부분은 위와 같은 형태를 따르고 세부적으로 이걸 어떻게 구현하느냐에 따라서 모델의 분류가 갈린다고 볼 수 있습니다. 지금까지 배운 모델들을 아래와 같이 정리해볼 수 있습니다. (Autoregressive는 위의 방식과 다름) 오늘 배울 노멀라이징 플로 모델(RealNVP 중심으로 설명)은 우리가 생성하려는 데이터셋의 분포를 저차원의 분포로 변환시켜주는 함수를 학습시키는 신경망 모델이라고 할 수 있습니다. 만일 우리가 신경망을 통해서 이 함수를 학습할 수 있고, 만일 이 함수가 역함수를 가진다면 우리는 역으로 간단한 분포에서 복잡한 이미지를 만들어낼 수 있지 않을까?가 이 모델의 핵심 아이디어입니다. 더 나아가 다른 모.. 2023. 12. 8.

티스토리툴바