본문 바로가기

분류 전체보기54

[book] 행동 데이터 분석 정리 1~3장 이 글은 행동 데이터 분석이라는 아래와 같은 책을 읽고 정리한 내용입니다. 앞에서 데이터 분석과 비판적 사고라는 책을 공부했었는데 좀 더 실무적으로 코드와 함께 살펴보고 싶고 다른 관점도 배우고 싶어서 공부하게 되었습니다. https://m.yes24.com/Goods/Detail/119001159 행동 데이터 분석 - 예스24 ‘정말 고객이 우리 광고 메일을 보고 서비스를 구독할까?’‘연령이 높은 고객이 구매하는 상품은 따로 있을까?’‘무엇이 고객의 행동을 유발하는지’에 대한 답을 주는 책!이 책은 단순히 m.yes24.com 책에서 전달하고자 하는 메세지 대부분의 데이터 과학 책들이 엔지니어 또는 마케터와 같이 서로 다른 분야에 있는 실무자가 당면한 문제를 동일한 접근 방식과 도구로 해결할 수 있다고.. 2023. 12. 12.
만들면서 배우는 생성AI 9장 : 트랜스포머 모델 오늘날 모든 GPT와 모든 생성AI 모델의 근간이라고 볼 수 있는 트랜스포머 모델에 대해 배우는 장입니다. 사실 내부적으로 뜯어보면 굉장히 이해하는데 오래걸리는 모델인데, 이번 기회에 찬찬히 뜯어보려고 합니다. Transformer 모델 1. Attention Mechanism 보통 완성되지 않은 문장에서 다음 단어를 예측하는데 있어서 인간은 문장 속 여러 단어들을 통해서 힌트를 얻습니다. 하지만 개별 단어들이 각기 동일한 중요도를 가질까요? 아닙니다. 어느 벌판에서 회색 코끼리가 ㅇㅇㅇㅇ. 라는 문장에서 회색이라는 단어는 사실 다음 동사를 예측하는데 전혀 기여를 하지 않습니다. 즉, 다음 단어를 예측하는데 있어서 중요한 단어가 따로 있다는 것입니다. 그렇다면 모델도 같은 메커니즘으로 다음 단어를 예측하.. 2023. 12. 12.
만들면서 배우는 생성 AI 8장 : Diffusion 모델 이번 모델은 현재 스테이블 디퓨전을 포함해 대부분의 생성 AI 모델에서 가장 성능이 뛰어난 모델입니다. 앞서 EBM과 유사하게 다른 학문의 이론인 열역학의 확산에서 영감을 얻은 방식입니다. 사실 이 내용 자체는 이전 논문 리뷰 글 (링크) 에서 볼 수 있지만 책 정리 차원에서 오늘은 다시 정리해보려고 한다. 핵심 아이디어 실제 열이 확산되는 방식처럼 순차적으로 조금씩 원본 이미지에서 잡음을 추가해서 완전히 랜덤한 잡음으로 향하도록 하고, 동일하게 반대 방향으로 랜덤한 잡음에서 조금씩 잡음을 제거해서 원본 이미지로 향하도록 학습시키는 모델인데 이걸 실제로 해보니 잘 작동해서 오늘날 많이 사용하게 되었다. 추가적으로, 이 노이즈의 비율이 얼마인지, 실제로 넣어서 어떤 이미지가 나왔는지를 토대로 noise를 .. 2023. 12. 11.
만들면서 배우는 생성 AI 7장 : Energy Based 모델 이전까지의 생성모델은 모두 배우려는 이미지들의 분포를 단순한 분포로 변환시키는 함수를 찾는 형태로 발전되어왔습니다. 이번 장은 에너지 기반 모델로, 물리 시스템 모델링(물리학에서 분자 등의 운동을 연구하기 위해 연구한 함수, 식 등)을 이미지 생성 분포에 활용한 내용을 다룹니다. 따라서 이전까지의 방법과 다른 방식을 적용한 것이 EBM의 차이입니다. 1. 사전 개념 볼츠만 분포 시스템이 해당 상태의 에너지와 온도의 함수로 특정 상태 에 있을 확률을 제공 하는 확률 분포 또는 확률 척도로 이 분포를 이미지 생성의 분포에 적용합니다. E(x)는 샘플 x의 에너지 함수(또는 점수)로 신경망이 학습시킬 대상입니다. 적분으로 표현되어서 복잡해보이지만, 마치 SoftMax 함수와 매우 유사해보입니다. 직관적으로 해.. 2023. 12. 10.

티스토리툴바