본문 바로가기

Machine Learning41

만들면서 배우는 생성 AI 정리 5장 - Autoregressive 모델 앞서 VAE와 GAN은 생성하려고 하는 분포를 학습하기 위해 샘플링하기 쉬운 분포를 가지는 새로운 변수를 도입해서 학습시키는 방법이었다면 autoregressive model은 생성 모델링 문제를 순차적 과정(이전 값을 바탕으로 예측)으로 정의해서 해결하는 방식입니다. LSTM Network RNN RNN(Recurrent Neural Network)의 일종으로, 다른 신경망과 다르게 순차데이터를 처리하는 순환 층이 있다는 점입니다. 아래 그림을 통해 확인할 수 있는데 RNN이 해결하려는 문제 자체가 "문장"과 같이 앞의 context(문장의 경우 앞의 단어)를 이해하는 것이 중요하기 때문입니다. (한국말처럼 앞에 어떤 단어가 붙냐에 따라서 의미가 완전히 달라지기 때문에 이런 순차적인 컨텍스트를 같이 학.. 2023. 12. 4.
Hyperparameter Search Optimization 오늘은 Optuna를 사용하면 왜 하이퍼파라미터 조합을 잘찾는지 공부하다가 발견한 자료를 정리해보았습니다. 그 이유는 optuna는 Hyperparameter를 찾는 여러 알고리즘을 실제로 코드로 구현해서 함수 형태로 활용할 수 있게 만들어서 제공하고 있기 때문입니다. 생각보다 간단했는데 핵심적으로 공부한 내용은 어떤 알고리즘을 통해서 hyperparameter optimization이 이루어졌는지여서 이걸 정리해보았습니다. 기본 개념 복잡한 모델은 학습 연산자체도 복잡한데, 탐색해야할 하이퍼파라미터 자체도 매우 많기 때문에 모든 하이퍼 파라미터를 계산해는 것은 불가능하다. Hyperparameter Search는 딥러닝처럼 최적화된 지점을 빠르게 도달하는 방법을 고안하는 방식이다. 알고리즘들의 핵심은 .. 2023. 11. 30.
Tree Model 정리 최근 Tree Model에 대해서 공부하고 실제 프로젝트 진행하면서 나중을 위해 직관적인 의미에 대해서 정리하는 블로그를 쓰려고 한다. 이전까지는 딥러닝 모델만 공부해왔다보니까, 딥러닝과 비교하면서 이 글을 정리해보려고 한다. 사실 모델 자체에 대한 설명은 아래 블로그에 잘 나와있어서 나중을 위해 기본적인 개념만 정리하는 글입니다. 1. 의사결정나무 : https://ratsgo.github.io/machine%20learning/2017/03/26/tree/ 의사결정나무(Decision Tree) · ratsgo's blog 이번 포스팅에선 한번에 하나씩의 설명변수를 사용하여 예측 가능한 규칙들의 집합을 생성하는 알고리즘인 의사결정나무(Decision Tree)에 대해 다뤄보도록 하겠습니다. 이번 글은.. 2023. 11. 29.
만들면서 배우는 생성 AI 정리 4장 - GAN 모델 생성 AI 분야에서 모델이 학습하는 것은 우리가 만들어내려는 이미지의 "분포"를 학습하는 것이다. 이 부분이 가장 중요하고 이번 장에서 이 개념을 인지하고 보는 것이 가장 중요하다. WGAN의 경우에는 특히 분포간의 거리를 측정하는 와서스테인 손실함수가 나오는데 사실 이해하는데 오래 걸리긴 했지만 원리 자체는 결국 분포와의 분포 거리를 좁히기 위해 이런 개념을 도입한 거라고 보면 된다. 6가지 생성 모델링 방식 : GAN 4.1 소개 우리나라에서 화폐를 위조하면 범죄가 된다. 범죄임에도 사람들이 위조 지폐를 만드는 이유는 돈이 되기 때문이다. 애초에 화폐를 위조하기 쉽게 만들면 선의의 피해자가 생길 수 있기 때문에 화폐를 만드는데는 위조하기 힘들게 여러 구분장치들을 마련해둔다. 그럼에도 불구하고 위조 지.. 2023. 11. 21.

티스토리툴바