본문 바로가기

분류 전체보기54

[파이토치] 2. 데이터 처리 전체 개요 지난 시간에 모델에 대해서 공부했다면 오늘은 모델에 학습시킬 데이터를 처리하는 부분에 대해서 정리해보았습니다. 1. 모델 : 우리가 어떤 신경망 구조로 만들지에 대해서 설계하는 방식으로 이건 설계, 창작의 영역이라고 보면 될것 같다.DNN으로 보면, 각 layer 내부 뉴런의 갯수, CNN에서는 Kernel의 갯수 등을 여기서 설정한다. 2. 데이터 : 크게 데이터 전처리와 데이터 로더 작업으로 나눌 수 있으며, 전처리는 우리가 학습시키려는 데이터를 모델에 들어갈 수 있게 텐서를 조절하거나 데이터를 클리닝하는 작업에 해당하며, 데이터 로더는 3번의 학습에 맞게 데이터를 배치 형태로 전달하는 역할을 한다. *데이터 로더가 왜 필요한지? 처음 공부할 때 이게 왜 필요하지? 생각했는데 공부하면서 이.. 2023. 12. 29.
[파이토치] 1. 모델 선언 대부분 파이토치 공부를 하다보면, 마치 수학의 집합처럼 튜토리얼 보면서 각 함수(torch.shape, torch.view)를 공부하게 되는데 한번 보면 그 당시에는 알게 되긴 해도, 막상 모델 돌리는 코드를 보면 사실 앞에서 튜토리얼로 배운게 사용하지 않는 것들도 많을뿐더러 익숙해지지 않는 것 같다. 결국 Torch를 사용하는 이유는 AI 모델을 활용하기 위한 목적이 크기 때문에 모델에서 자주 사용되는 코드들을 기반으로 파이토치 사용법을 익혀보려고 이 글을 씁니다. 전체 개요 파이토치를 활용해서 모델을 만드는 구조는 크게 위의 방식을 따른다. (물론 아직 공부하고 있는 단계의 시점 기준이지 추후에 더 많은 복잡한 모델은 다를 수 있다.) 코드는 크게 3가지 파트로 생각하면 된다. 1. 모델 : 우리가 .. 2023. 12. 29.
[Book] 행동 데이터 분석 8장 ~ 12장 : 실험 설계와 분석/분석 도구 Chapter 8 실험 설계의 기초 1. 실험 계획 : 변화 이론 변화이론이란, 행동에 변화를 주어서 현재 수행 중인 작업을 궁극적인 비즈니스 목표와 목표 지표에 연결하는 것입니다. 이를 비즈니스 관점으로 다시 정리해 보면 아래와 같이 표현할 수 있다. [Action]을 구현하면 [행동 논리]를 통해 [목표 지표]를 기반으로 측정한 [사업 목표]를 달성할 수 있습니다. 2. 실험 설계의 구성 요소 비즈니스 목표와 목표 지표 실험 계획의 첫단계로 무엇을 하려는지 명확하게 설정해야 이후의 실험 내용들이 명확해집니다. 비즈니스 목표는 매출, 비용과 같이 회사의 전체적인 큰 지표라고 보면 되고, 이에 영향을 주는 기본 요인인 선행 지표를 목표 지표로 선정합니다. 개입 실제로 우리가 변화시키려는 행동(action.. 2023. 12. 16.
[Book] 행동 데이터 분석 6장 ~ 7장 : 데이터 분석 Chapter 6. 결측 데이터 처리 결측 데이터를 처리하는 것은 매우 중요하다. 일반적으로 결측이 존재하는 데이터를 모두 삭제하는 경우도 있는데 이럴 경우에 데이터에 큰 편향이 생기게 된다. 예시로 보면 전자기기에 친숙하지 않은 노년층의 유저들이 정보를 잘 안채우는 문제로 결측치가 생겼고 이를 모두 제거하게 되면 결론적으로 젊은 사람들을 위한 모델이나 분석을 해서 전체 유저에 대한 편향이 발생할 수 있다. 어떤 기준으로 삭제를 해야할지? 가장 간단한 전략으로 이런 방법을 제안한다. 1. 결측값이 가장 많은 변수를 가지고 하나는 모든 결측값을 해당 변수의 최솟값으로 대체하고, 나머지 하나는 최대값으로 대체한다. 2. 원본 데이터셋과 1에 만들어진 2개 데이터셋을 활용해서 해당 변수의 가장 중요한 관계의 .. 2023. 12. 15.

티스토리툴바