Day 4 - 학습 기법과 전이학습

📌 핵심 정리

• 손실은 문제 유형이 정한다. 회귀=MSE/MAE, 분류=교차 엔트로피. 분류에 MSE는 금물이다.
• 옵티마이저 기본값은 Adam(적응적·빠름), 단순·견고한 대안은 SGD(+Momentum).
• 학습률이 최우선 튜닝 대상이다. 크면 발산, 작으면 느림 → 스케줄링·워밍업으로 다룬다.
• 과적합 방지 5종: 드롭아웃 · 가중치 감쇠(L2) · 배치 정규화 · 데이터 증강 · 조기 종료.
• 전이학습은 데이터 양 × 도메인 유사도로 정한다. 적고 유사=동결, 많거나 상이=낮은 학습률 파인튜닝.

학습이 성능을 만든다

모델 구조를 정했어도 "어떻게 학습시키는가"가 성능을 좌우한다. 오늘은 딥러닝 학습의 엔진인 손실 함수·옵티마이저·학습률과, 적은 데이터로 큰 성과를 내는 전이학습·파인튜닝, 그리고 시험에 등장하는 프레임워크(TensorFlow/PyTorch)와 SageMaker 통합을 다룬다. MLS-C01은 이 영역에서 "학습이 안 될 때/느릴 때/과적합일 때 무엇을 바꿀까"를 자주 묻는다.

손실 함수(Loss Function)

모델 예측과 정답의 차이를 수치화한다. 문제 유형에 맞춰 선택해야 한다.