Day 3 - Overfitting/Underfitting: Diagnosis and Regularization/Data Augmentation

📌 핵심 정리

• 튜닝으로 좋은 하이퍼파라미터를 얻어도 학습은 잘 맞추는데 검증이 나쁘면 그 모델은 쓸모없다. 일반화 실패는 과적합·과소적합 두 방향이다.
• 높은 편향 = 과소적합(학습·검증 둘 다 나쁨), 높은 분산 = 과적합(학습만 좋고 검증과 격차가 큼). 진단은 학습 곡선으로 한다.
• 과적합 처방: 데이터 추가, 정규화 강화, 모델 단순화, 특징 축소, 조기 종료, 드롭아웃, 증강.
• 과소적합 처방: 복잡도 증가, 특징 추가, 더 오래 학습, 정규화 완화. 에폭·모델 확대는 과적합에 쓰면 안 된다.
• L1은 일부 가중치를 정확히 0으로(특징 선택·희소성), L2는 모든 가중치를 작게(부드러운 축소). 스케일러·인코더는 학습셋으로만 fit 해야 누수가 없다.

편향과 분산, 일반화 오차

일반화 오차는 편향(bias)과 분산(variance)으로 분해된다. 시험은 코드보다 이 두 축의 판별을 묻는다.