hyperparameter optimization1 Hyperparameter Search Optimization 오늘은 Optuna를 사용하면 왜 하이퍼파라미터 조합을 잘찾는지 공부하다가 발견한 자료를 정리해보았습니다. 그 이유는 optuna는 Hyperparameter를 찾는 여러 알고리즘을 실제로 코드로 구현해서 함수 형태로 활용할 수 있게 만들어서 제공하고 있기 때문입니다. 생각보다 간단했는데 핵심적으로 공부한 내용은 어떤 알고리즘을 통해서 hyperparameter optimization이 이루어졌는지여서 이걸 정리해보았습니다. 기본 개념 복잡한 모델은 학습 연산자체도 복잡한데, 탐색해야할 하이퍼파라미터 자체도 매우 많기 때문에 모든 하이퍼 파라미터를 계산해는 것은 불가능하다. Hyperparameter Search는 딥러닝처럼 최적화된 지점을 빠르게 도달하는 방법을 고안하는 방식이다. 알고리즘들의 핵심은 .. 2023. 11. 30. 이전 1 다음
