분류 전체보기54 LLM 적용 방식 : RAG와 PEFT 개요우리가 LLM하면 떠오르는 ChatGPT, Llama, Claude 등의 모델들은 지구, 웹에서 생성된 거의 대부분의 텍스트 데이터를 긁어모아서 학습시켰다고 볼 수 있다. 지구상의 존재하는 거의 대부분의 텍스트를 읽어가면서 인간의 "언어"라는 개념을 자신들만의 차원 형태로 이해한 것이다. 서비스 적용의 어려움 그렇다면 이렇게 똑똑한 모델을 우리 서비스에 바로 적용할 수 있을까? 그렇지 않다. 일반적으로 텍스트를 학습하면서 모델은 각자의 도서관(dimension)을 갖추었다고 볼 수 있는데 이 도서관에 있는 책들을 하나씩 이용해서 문장을 생성한다. 한번에 문장을 생성하기 보다는 autoregressive하게 단어 하나하나씩 생성하는 과정에서 높은 확률을 가진 단어를 추출하는 형태로 모델이 돌아간.. 2024. 5. 31. Object Detection 모델 개념 정리 Object Detection 문제와 Classification 문제의 차이 일반적인 image classification은 단순 분류만 잘 하면 되기 때문에 이미지 속 객체가 어디에 있는지에 대해서 모델이 구체적으로 학습할 필요가 없었다. 단순히 픽셀 분포랑 정답만 알려주면 실제 그 과정은 모델이 알아서 학습하기 때문이다. 그렇지만 Object Detection은 이미지 속에 배경과 실제 객체를 구분할 수 있어야 하고, 그 실제 객체가 이미지 상에서 어디에 위치했는지(Localization) 알아야하며, 그 위치한 객체가 무슨 이미지인지 분류(Classification)해야한다. 즉 모델이 학습해야하는 케이스가 총 2개인 것이다. 접근 방식의 차이 위에서 설명한 이 2가지를 각각 다른 솔루션으로 접근하.. 2024. 2. 1. 랭체인 튜토리얼 랭체인 문서를 보면서 튜토리얼을 따라해보았다. GPT store가 있기 때문에 이것이 왜 필요한지 실제 사용해보면서 느낀 점과 좋은 점들을 정리해보았다. 코드 정리는 여기보다는 아래 colab 링크를 걸어두었습니다. 정의 LLM은 일반적인 상황에서 프롬프트에 응답하는 데 탁월하지만, 훈련한 적이 없는 특정 영역에서는 성능이 떨어진다. 또한 이런 프롬프트를 실제 프로덕션에서 사용하는 것은 다른 이야기다. 사람들이 ChatGPT를 이용하는 과정에서는 틀릴 수도 있다는 생각을 가지지만 실제 특정 앱을 이용할 때는 이를 예상하지 못하기 때문이다. LLM을 제품으로 만들기 위해서는 결국 퀄리티를 유지하기 위한 다양한 작업들이 필요합니다. LangChain은 이러한 데이터 응답 애플리케이션을 개발하기 위한 중간 단.. 2024. 1. 31. [book] 머신러닝 디자인 패턴 1. 데이터 표현 디자인 패턴 한동안 기초적인 코드부터 논문 속 코드를 일부 재현하면서 공부를 해왔다. 아마 이제는 좀 더 실질적으로 모델을 만들어보고 제품을 만들어보는 작업을 하게 될텐데 지금까지 배운 기초적인 부분들도 체계화하고 학습을 위한 코드와 실무에서의 코드가 어떻게 다른지 이책을 통해 체험해보고자 선택하게 되었다. 실제로 이 책의 저자는 GCP(구글 클라우드 플랫폼)에서 일한 덕분에 다양한 케이스들을 다룰 수 있었다. 디자인 패턴과 문제 1. 디자인 패턴이란? 실제 개발 환경에서 반복적으로 발생하는 문제들이 있는데 이 원인을 사전적으로 예방할 수 있는 프로그래밍 패턴을 디자인 패턴이라고 한다. 머신러닝에서의 디자인 패턴이라 함은, 결국 머신러닝 시스템을 구축하는 프로세스에서 발생하는 문제를 예방할 수 있는 패턴들을 의미한.. 2024. 1. 8. 이전 1 2 3 4 ··· 14 다음
