Machine Learning/유튜브, 책, 아티클 정리15 [book] 머신러닝 디자인 패턴 1. 데이터 표현 디자인 패턴 한동안 기초적인 코드부터 논문 속 코드를 일부 재현하면서 공부를 해왔다. 아마 이제는 좀 더 실질적으로 모델을 만들어보고 제품을 만들어보는 작업을 하게 될텐데 지금까지 배운 기초적인 부분들도 체계화하고 학습을 위한 코드와 실무에서의 코드가 어떻게 다른지 이책을 통해 체험해보고자 선택하게 되었다. 실제로 이 책의 저자는 GCP(구글 클라우드 플랫폼)에서 일한 덕분에 다양한 케이스들을 다룰 수 있었다. 디자인 패턴과 문제 1. 디자인 패턴이란? 실제 개발 환경에서 반복적으로 발생하는 문제들이 있는데 이 원인을 사전적으로 예방할 수 있는 프로그래밍 패턴을 디자인 패턴이라고 한다. 머신러닝에서의 디자인 패턴이라 함은, 결국 머신러닝 시스템을 구축하는 프로세스에서 발생하는 문제를 예방할 수 있는 패턴들을 의미한.. 2024. 1. 8. 만들면서 배우는 생성 AI 13장 - 멀티모달 모델 멀티모달 학습이란 두 종류의 데이터 사이를 변환하도록 생성 모델을 훈련시키는 학습이다. 여기서 두 종류의 데이터란, 이미지/텍스트/비디오 등을 의미한다. Dall-E 2 이 모델은 텍스트 투 이미지 생성용으로 만든 모델이며 2022년 4월에 출시된 버전이다. 구조 : 입력 프롬프트 -> 텍스트 인코더 -> 텍스트 임베딩 -> 프라이어 -> 이미지 임베딩 -> 디코더 -> 이미지 생성 주요하게 볼 부분은 텍스트 인코더, 프라이어, 디코더 세가지이다. 1. 텍스트 인코더 역할 텍스트 프롬프트를 임베딩 벡터로 변환시키는 역할을 하며, 잠재 공간 내에서 텍스트 프롬프트의 개념적 의미를 나타낸다. 이 모델에서는 CLIP이라는 모델을 사용한다. CLIP 모델 자연어 감독으로부터 시각적 개념을 효율적으로 학습하는 신.. 2024. 1. 3. 만들면서 배우는 생성 AI 12장 - 월드 모델 월드모델이란? 현재 상태와 행동이 주어졌을 때 다음 상태에 대한 확률분포를 만드는 생성모델로, 무작위로 이동하면서 그에 따른 환경적 변화를 학습하게 되면 모델이 새로운 작업에 대해 처음부터 스스로 훈련할 수 있게 되지 않을까?가 이 논문의 핵심입니다. 모델이 스스로 생성한 꿈속 세상(world)에서 수행한 실험을 통해 특정 작업을 처리하는 방법을 배우는 것을 보여주어, 생성모델링을 강화학습과 같은 다른 머신러닝 모델과 함께 적용했을 때 실용적인 문제를 해결하는 방법을 보여주는 훌륭한 사례입니다. 0. 사전 개념 : 강화 학습 월드 모델은 다양한 머신러닝 기법들이 섞여 있어서 하나하나씩 설명해보려고 합니다. 기본 개념 강화학습은 주어진 환경에서 에이전트가 특정 목적과 관련해서 최적의 성능을 발휘하는 것을 .. 2023. 12. 15. 만들면서 배우는 생성 AI 11장 - 음악생성 이번 장에서는 음악 생성에 활용된 생성AI 모델에 대해서 정리해보았습니다. 1. 배경 음악은 음표가 이어지면서 만들어내기 때문에 시퀀스 예측 문제로 접근하는 경우가 많습니다. 그래서 기본적으로는 텍스트 생성 모델들을 차용해서 접근하는 경우가 꽤 있습니다. 문장의 단어와 유사하게 음표를 토큰의 시퀀스로 취급하도록 해서 트랜스포머 모델을 적용합니다. 문장도 직전 단어만 중요한게 아니라 하나의 문장 안의 다양한 단어들의 영향도를 고려한게 어텐션 모델인데, 음표도 동일하게 적용했다고 보시면 됩니다. 다만, 음악 창작은 텍스트 생성과는 다르게 피치(음의 높이)와 리듬이 있는 점을 고려해야합니다. 또한 악기가 여러가지가 있어서 그 악기들 간의 화음을 만들어내는 것도 고려해야합니다. 텍스트만 처리해야하는 방식과는 다.. 2023. 12. 15. 이전 1 2 3 4 다음
