본문 바로가기

Machine Learning41

DAN 2023 요약 (팀네이버 컨퍼런스) 네이버에서 지난 8월 24일에 진행한 컨퍼런스 다시보기가 풀려서, 들은 내용을 조금 정리해보았다. 기술 트렌드를 보기 위한 목적이라서 개별 네이버 사업분야의 발전 방향보다는 네이버의 AI 방향성과 새로 나온 하이퍼클로바가 어떤 부분에 집중하는지에 대해서 정리했다. (다시보기 링크) 전체 구성 1. 오프닝 키노트를 시작으로 네이버가 출시한 하이퍼클로바 X에 대한 소개 2. 주요 사업부/프로덕(검색, 광고, 쇼핑, 페이, 웹툰)에 대한 성과, AI 적용(이 부분이 많은 부분을 차지하고 있진 않았다.) 3. 하이퍼 클로바X를 사용한 스타트업들의 후기 이렇게 3개 정도로 나눠볼 수 있을 것 같다. 주요 인사이트 앞서 말했듯이 전체 세션이 모두 다 기록할 필요는 없고, LLM 관점에서 어떻게 활용하고 장점이 있는.. 2023. 9. 15.
back-propagation 개념 서론 앞에서 우리는 실제 신경망을 통해서 값을 예측하는 연산인 forward pass를 수행했다. 당연히 랜덤하게 가중치를 설정해서 연산한 값으로 예측이 잘 맞을리 없고, 이제부터 실제 정답과 비교하면서 가중치를 조정해야한다. 상단 그림을 잠깐 설명해보면, 파란색 원은 모델이 예측한 값이고 보라색 네모는 실제 정답이다. 자세히 보면, 보라색의 3번째 값만 1이고 나머지는 다 0인데 즉 정답은 손글씨로 숫자 3으로 적혀져있다고 보면 된다. 하지만 동일한 위치의 파란색 원은 0.4로 1과 비교했을 때 매우 작은 것을 볼 수 있다. 우리가 원하는 건 결국 모델의 가중치 W를 수정해서 0.4 -> 1에 가까워지길 원하는 것이 딥러닝의 목표라고 볼 수 있다. 또한 나머지 파란색 원들의 값(0.1, 0.03, 0... 2023. 9. 15.
Forward Pass code의 수학적 이해와 code 구현하기 오늘은 이전까지 배워온 내용을 실제로 Forward pass 코드로 구현하는 작업을 해보려고 한다. 캐글이 바로 데이터를 가져오기 쉽고 별도의 설정 없이도 바로 웹에서 돌아가기 때문에 캐글 노트북 기준으로 코드를 작성했다. 사용법은 이 블로그(링크)에서 잘 설명이 되어 있어서 참고하시면 될 것 같다. 실습 데이터 설명 1. MNIST 데이터란? - MNIST 데이터는 사람의 손으로 직접 쓴 0~9까지의 글씨와 실제 해당 이미지가 무슨 숫자를 의미하는지를 라벨로 정의해놓은 데이터다. - 이미지라고 표현했지만, 실제로는 784픽셀로 이루어진 이미지 중에 검은색으로 칠해진 경우에 1, 흰색으로 칠해진 경우에는 0으로 표시한 벡터이다. - 실제 데이터를 예시로 표현해보면 이렇게 구성되어 있다.(train dat.. 2023. 9. 14.
Deep Neural Network의 구성요소와 Forward pass 0. 서론 실제 인간처럼 학습을 위해서는 단순히 1~2개 정도의 뉴런 단계를 만드는 것이 아니라, 수백 수천개를 쌓기 때문에 그 층이 깊다고 해서 Deep이라고 붙인다. 그래서 우리는 딥 뉴럴 네트워크라고 부르고 이렇게 깊은 신경망을 학습시키기 때문에 딥러닝이라고 부른다. 앞의 내용까지가 기존의 프로그래밍적 사고와 DNN이 어떻게 다른지에 대한 개념 설명이었다면, 이제는 실질적으로 DNN을 이루는 요소들과 실제로 어떻게 학습하는지에 대해서 설명해보려고 한다. 기본적인 프로세스는 "함수"를 생각하면 된다. 함수란? 쉽게 말하면 Input값이 들어가면 어떤 함수에 의해 변형된 output값이 노출되는 것을 말한다. 각 구성요소별로, 어떤 값이 입력으로 들어오고, 어떤 변형(변형의 목적)을 통해서 어떤 값이 .. 2023. 9. 13.

티스토리툴바