- 퍼셉트론 = 가중합 + 편향 + 활성화. 비선형 활성화가 없으면 층을 아무리 쌓아도 하나의 선형 모델과 같다.
- 은닉층 기본 활성화는 ReLU, 출력은 과제별로 이진=Sigmoid / 다중=Softmax / 회귀=선형.
- 학습 루프는 네 단계다: 순전파(예측) → 손실(오차) → 역전파(기울기) → 경사하강(갱신).
- 손실은 문제 유형이 정한다. 회귀=MSE·MAE, 이진=BCE, 다중=범주형 교차 엔트로피. 분류에 MSE는 오답이다.
- 에폭·배치·이터레이션은 계산 문제로 나온다. 이터레이션/에폭 = 데이터 수 ÷ 배치 크기.
기준: MLS-C01 시험 가이드오류 제보
MLS-C01· AssociateWeek 7 · Day 1읽기 약 13분
핵심 정리
Day 1 - 신경망 기초: 퍼셉트론에서 역전파까지
딥러닝을 언제 꺼내는가
Week 7은 도메인 3(Modeling)의 두 번째 축인 딥러닝을 다룬다. 트리·선형 모델로 풀리지 않는 비정형 데이터(이미지·텍스트·음성)와 복잡한 비선형 관계가 딥러닝의 무대다.
| 데이터 형태 | 1차 후보 | 딥러닝을 쓸 때 | 쓰면 안 되는 신호 |
|---|---|---|---|
| 정형(표) 데이터 | XGBoost 등 트리 앙상블 | 피처 상호작용이 매우 복잡하고 데이터가 풍부할 때 | "행이 수천 개", "학습 시간 제한" |
| 이미지·영상 | CNN | 사실상 기본 선택 | 데이터가 극소수 → 전이학습 전제 |
| 시퀀스(시계열·텍스트) | RNN/LSTM/GRU, Transformer | 순서·문맥이 의미를 만들 때 | 순서가 무의미한 표 데이터 |
| 대규모 언어·생성 | Transformer 계열 | 사전학습 모델 활용이 전제 | 처음부터 학습하겠다는 보기 |
- MLS-C01은 딥러닝을 프레임워크 코딩 수준으로 깊게 묻지 않는다. 퍼셉트론·활성화·손실·역전파·하이퍼파라미터의 개념적 이해를 전제로 한 시나리오를 낸다.
- 오늘은 신경망이 어떻게 입력을 예측으로 바꾸고, 어떻게 학습하는지의 큰 그림을 잡는다.
⚠️ 함정: "딥러닝 = 항상 더 좋다"로 외우면 정형 소량 데이터 지문에서 틀린다. 데이터가 적고 표 형태라면 트리 앙상블이 정답 후보다.
퍼셉트론: 신경망의 최소 단위
퍼셉트론은 입력에 가중치를 곱해 더하고, 편향을 더한 뒤, 활성화 함수를 통과시키는 단일 뉴런이다.
z = w1*x1 + w2*x2 + ... + wn*xn + b
a = f(z) # f = 활성화 함수| 요소 | 기호 | 역할 | 학습되는가 |
|---|---|---|---|
| 가중치 | w | 각 입력의 중요도 | 예 (핵심 파라미터) |
| 편향 | b | 결정 경계를 평행 이동 | 예 |
| 활성화 | f | 비선형성 주입 | 아니오 (설계자가 선택) |
- 단일 퍼셉트론은 선형 분리만 가능하다(XOR을 못 푼다).
- 이 한계가 은닉층을 쌓는 다층 퍼셉트론(MLP)의 동기다.
활성화 함수가 없으면 층을 아무리 쌓아도 선형 변환의 합성이라 결국 하나의 선형 모델과 같다. 비선형 활성화가 있어야 신경망이 곡선 형태의 복잡한 결정 경계를 표현할 수 있다. 이것이 "딥"러닝이 표현력을 갖는 근본 이유다.
은닉층과 다층 퍼셉트론(MLP)
입력층과 출력층 사이에 하나 이상의 은닉층을 두면 신경망은 비선형 함수를 근사할 수 있다.
입력층 → 은닉층1 → 은닉층2 → 출력층
(특성) (저수준 (고수준 (예측)
패턴) 패턴)- 층의 너비(뉴런 수)와 깊이(층 수)가 모델 용량을 결정한다.
- 깊고 넓을수록 표현력은 커지지만 과적합·연산비용·기울기 소실 위험이 커진다.
- 보편 근사 정리: 충분한 뉴런을 가진 단일 은닉층 MLP는 임의 연속 함수를 근사할 수 있다. 다만 "깊게" 쌓는 것이 같은 표현력을 더 적은 파라미터로 달성하는 경우가 많다.
| 모델 용량을 키우면 | 얻는 것 | 잃는 것 |
|---|---|---|
| 층을 깊게 | 계층적 추상화, 파라미터 효율 | 기울기 소실, 학습 불안정 |
| 층을 넓게 | 같은 층에서 더 다양한 패턴 | 파라미터 급증, 과적합·메모리 |
활성화 함수
층 사이에 비선형성을 주입하는 핵심 요소. 시험은 "어디에 무엇을 쓰는가"를 묻는다.
| 함수 | 출력 범위 | 주 용도 | 기울기 소실 | 주의점 |
|---|---|---|---|---|
| Sigmoid | (0, 1) | 이진 분류 출력 | 양 끝에서 심함 | 출력이 0 중심이 아님 |
| Tanh | (-1, 1) | 은닉층(과거) | 양 끝에서 있음 | 0 중심이라 Sigmoid보다 학습 안정 |
| ReLU | [0, ∞) | 은닉층 기본값 | 양수 구간에서 없음 | 음수 입력에서 "죽은 ReLU" |
| Leaky ReLU | (-∞, ∞) | ReLU가 죽을 때 | 없음 | 음수 기울기를 작게 남겨 뉴런을 살림 |
| Softmax | (0,1), 합=1 | 다중 분류 출력 | — | 클래스별 확률 분포 산출 |
| 선형(없음) | (-∞, ∞) | 회귀 출력 | — | 은닉층에 쓰면 비선형성이 사라짐 |
# 개념적 정의
relu(z) = max(0, z)
sigmoid(z) = 1 / (1 + exp(-z))
softmax(z_i) = exp(z_i) / sum(exp(z_j) for all j)선택 가이드:
- 은닉층: 기본은 ReLU(또는 Leaky ReLU, GELU 등 변형). 기울기 소실에 강하고 빠르다.
- 이진 분류 출력: Sigmoid 1개 노드.
- 다중 분류 출력: Softmax (클래스 수만큼 노드).
- 회귀 출력: 활성화 없이 선형(또는 출력 범위에 맞는 함수).
Sigmoid/Tanh는 입력이 크거나 작을 때 도함수가 0에 가까워져 역전파 과정에서 기울기가 점점 작아지는 기울기 소실(vanishing gradient) 을 일으킨다. ReLU는 양수 구간에서 기울기가 1로 일정해 이 문제를 크게 완화하지만, 음수 입력에서 항상 0을 출력해 일부 뉴런이 영원히 비활성되는 "죽은 ReLU"가 생길 수 있고, 이를 막으려 Leaky ReLU가 나왔다.
⚠️ 함정: 출력층 활성화를 묻는 보기에서 ReLU·Tanh가 섞여 나온다. 이 둘은 은닉층용이다. 확률이 필요하면 Sigmoid/Softmax, 연속값이면 선형이다.
순전파와 손실
학습은 두 방향의 흐름으로 이뤄진다. 먼저 순전파(forward pass) 로 예측을 만든다.
입력 → (가중합 + 활성화)를 층마다 반복 → 최종 예측 ŷ예측 ŷ와 실제 정답 y의 차이를 손실 함수(loss) 로 수치화한다.
손실 함수 선택표
| 문제 유형 | 출력층 | 손실 함수 | 왜 |
|---|---|---|---|
| 회귀 | 선형(활성화 없음) | MSE(평균제곱오차) | 큰 오차를 크게 벌준다 |
| 회귀(이상치 많음) | 선형 | MAE(절대오차) | 이상치에 덜 흔들린다 |
| 이진 분류 | Sigmoid 1노드 | 이진 교차 엔트로피(BCE) | 확률 예측의 로그 손실 |
| 다중 분류(상호배타) | Softmax K노드 | 범주형 교차 엔트로피 | 확률 분포끼리 비교 |
| 다중 레이블(동시 가능) | Sigmoid K노드 | 레이블별 BCE 합 | 클래스가 서로 배타적이지 않음 |
- 분류에 MSE를 쓰면 학습이 느리고 불안정하므로 교차 엔트로피가 표준이다.
- 손실이 작을수록 좋은 모델이다. 학습의 목표는 "손실을 최소화하는 가중치"를 찾는 것이다.
손실은 최적화 대상이고 평가 지표는 비즈니스 판단 기준이다. "어떤 지표로 모델을 고를까"를 묻는데 학습 손실(loss)을 고르면 오답이다.
손실과 평가 지표는 다르다 — 지표 해석표
| 지표 | 계산 | 높으면 뜻하는 것 | 우선해야 할 상황 | 함정 |
|---|---|---|---|---|
| Accuracy | (TP+TN)/전체 | 전체적으로 자주 맞힘 | 클래스가 균형일 때만 | 불균형이면 "전부 음성"으로도 99%+ |
| Precision | TP/(TP+FP) | 오탐이 적음 | 오탐 비용이 큼 | 소수만 양성 예측하면 쉽게 올라감 |
| Recall | TP/(TP+FN) | 미탐이 적음 | 미탐 비용이 큼(사기·질병) | 전부 양성 예측하면 1.0 |
| F1 | precision·recall 조화평균 | 둘의 균형이 좋음 | 두 비용이 비슷할 때 | 어느 쪽이 문제인지 감춘다 |
| ROC-AUC | TPR-FPR 곡선 면적 | 임계값 무관 분별력 | 임계값 미정, 모델 비교 | 극단 불균형에서 낙관적 |
| PR-AUC | precision-recall 곡선 면적 | 소수 클래스 분별력 | 양성 비율이 극히 낮을 때 | 클래스 비율이 바뀌면 값도 바뀜 |
| RMSE | 오차 제곱 평균의 제곱근 | 큰 오차가 적음 | 회귀, 큰 오차를 크게 벌줄 때 | 이상치에 민감 |
| MAE | 절대오차 평균 | 평균 오차가 작음 | 회귀, 이상치에 강건해야 할 때 | 큰 오차를 관대하게 봄 |
불균형 데이터에서 accuracy는 무의미하다. 양성이 1%면 "전부 음성"만 찍어도 99%가 나온다. 지문에 "양성 사례가 매우 드물다"가 보이면 accuracy 보기를 먼저 버리고 recall·PR-AUC 쪽을 본다.
역전파(Backpropagation)
손실을 줄이려면 각 가중치가 손실에 얼마나 기여하는지를 알아야 한다. 역전파는 연쇄 법칙(chain rule) 으로 출력층에서 입력층 방향으로 손실의 기울기(gradient)를 전파해 계산한다.
1. 순전파: 예측 ŷ 계산
2. 손실 계산: L(ŷ, y)
3. 역전파: ∂L/∂w 를 출력→입력 방향으로 연쇄법칙으로 계산
4. 가중치 갱신: w ← w - η * ∂L/∂w (η = 학습률)
5. 1~4를 배치/에폭 단위로 반복
- 기울기는 "이 가중치를 늘리면 손실이 어느 방향으로 얼마나 변하는가"를 알려준다.
- 경사하강법으로 기울기 반대 방향으로 가중치를 조금씩 옮긴다.
- 이 과정을 데이터 배치 단위로 수만~수십만 번 반복하며 손실을 낮춘다.
역전파는 옵티마이저(Day4)와 짝을 이룬다. 역전파가 "어느 방향으로"를 계산하면, 옵티마이저가 "얼마나, 어떻게" 움직일지를 결정한다.
층이 깊어질수록 연쇄법칙에서 도함수의 곱이 길게 이어진다. 각 항이 1보다 작으면 곱이 0으로 수렴해 기울기 소실, 1보다 크면 발산해 기울기 폭발이 된다. 그래서 깊은 망에서는 활성화 선택(ReLU), 정규화(배치 정규화), 구조적 지름길(잔차 연결)이 함께 동원된다.
에폭·배치·이터레이션
| 용어 | 의미 |
|---|---|
| 에폭(epoch) | 전체 학습 데이터를 한 번 모두 통과 |
| 배치(batch) | 한 번의 가중치 갱신에 쓰는 샘플 묶음 |
| 배치 크기 | 한 배치의 샘플 수 (메모리·안정성 trade-off) |
| 이터레이션 | 한 배치 처리 = 한 번의 가중치 갱신 |
- 예: 데이터 1000개, 배치 크기 100이면 한 에폭 = 10 이터레이션.
- 계산식:
이터레이션/에폭 = 데이터 수 ÷ 배치 크기,총 갱신 횟수 = 이터레이션/에폭 × 에폭 수.
배치 크기 트레이드오프
| 배치 크기 | 기울기 추정 | 메모리·GPU | 일반화 경향 | 전형적 상황 |
|---|---|---|---|---|
| 크게 | 안정적(노이즈 적음) | 많이 씀, GPU 활용도 높음 | 약간 나빠질 수 있음 | 대규모 GPU, 빠른 처리량이 목표 |
| 작게 | 노이즈 섞임 | 적게 씀 | 지역 최소 탈출에 도움 되기도 | 메모리 부족(OOM), 소량 데이터 |
배치 크기가 크면 기울기 추정이 안정적이고 GPU 활용도가 높지만 메모리를 많이 쓰고 일반화가 약간 나빠질 수 있다. 작으면 노이즈가 섞인 기울기로 지역 최소점을 빠져나오는 데 도움이 되기도 한다. 시험에서 "메모리 부족(OOM)으로 학습이 실패"하면 배치 크기를 줄이는 것이 1차 처방이다.
증상 → 원인 → 처방
| 증상 | 원인 | 1차 처방 |
|---|---|---|
| 손실이 NaN/폭증 | 학습률 과대, 기울기 폭발 | 학습률 낮추기 |
| 수렴이 매우 느림 | 학습률 과소 | 학습률 올리기·스케줄링, 적응적 옵티마이저 |
| 층을 깊게 했더니 더 나빠짐 | 기울기 소실 | ReLU 계열, 배치 정규화, 잔차(skip) 연결 |
| 학습 손실↓ 검증 손실↑ | 과적합 | 드롭아웃·정규화·증강·조기 종료 |
| 두 손실 모두 높음 | 과소적합 | 모델 용량 확대, 더 오래 학습, 특성 보강 |
| OOM으로 학습 중단 | 배치·모델이 너무 큼 | 배치 크기 축소 |
| 은닉층 출력이 계속 0 | 죽은 ReLU | Leaky ReLU 등으로 교체 |
AWS에서 신경망을 학습시킬 때
| 상황 | 선택 | 이유 |
|---|---|---|
| 직접 작성한 TensorFlow/PyTorch 학습 스크립트를 돌리고 싶다 | SageMaker Script Mode | 코드를 그대로 관리형 학습 컨테이너에서 실행 |
| 프레임워크 버전별 환경을 직접 만들기 싫다 | Deep Learning Containers(DLC) | 사전 빌드된 관리형 이미지 |
| 학습률·배치 등 하이퍼파라미터 탐색 | Automatic Model Tuning | 베이지안 최적화로 효율적 탐색 |
| GPU가 필요한 딥러닝 학습 | ml.p / ml.g 인스턴스 계열 | GPU 가속 학습용 |
| 사전학습 모델로 빠르게 시작 | SageMaker JumpStart | 사전학습 모델·파인튜닝 스크립트 제공 |
다음 글에서는 이 신경망을 이미지에 맞게 재설계한 CNN(합성곱 신경망) 과 컴퓨터 비전 과제 구분을 다룬다.
📖 용어
- 퍼셉트론(perceptron) : 입력의 가중합에 편향을 더하고 활성화를 통과시키는 신경망의 최소 단위 뉴런.
- 가중치 / 편향 : 학습으로 조정되는 파라미터. 가중치는 입력의 중요도, 편향은 결정 경계를 평행 이동시킨다.
- 활성화 함수 : 층 사이에 비선형성을 넣는 함수. 없으면 깊은 망도 선형 모델과 같아진다.
- 기울기 소실(vanishing gradient) : 역전파에서 도함수의 곱이 0에 수렴해 앞쪽 층이 학습되지 않는 현상.
- 죽은 ReLU : 음수 입력만 받아 항상 0을 출력하게 된 뉴런. 기울기가 0이라 되살아나지 않는다.
- 순전파(forward pass) : 입력을 층마다 통과시켜 예측을 만드는 방향의 계산.
- 역전파(backpropagation) : 연쇄 법칙으로 손실의 기울기를 출력→입력 방향으로 전파해 계산하는 알고리즘.
- 손실 함수(loss) : 예측과 정답의 차이를 하나의 수로 만든 값. 학습이 최소화하려는 대상.
- 교차 엔트로피 : 확률 예측용 손실. 이진은 BCE, 다중은 범주형 교차 엔트로피를 쓴다.
- 에폭 / 배치 / 이터레이션 : 데이터 전체 1회 통과 / 한 번의 갱신에 쓰는 묶음 / 한 배치 처리(= 갱신 1회).
📝 연습 문제
선택지를 클릭하면 정답·해설이 펼쳐집니다.
문제 1
다중 클래스(10개 클래스) 이미지 분류 신경망의 출력층 활성화 함수로 가장 적절한 것은?
문제 2
깊은 신경망의 은닉층에서 Sigmoid를 쓸 때 학습이 잘 안 되는 주된 이유와 일반적 처방은?
문제 3
활성화 함수가 전혀 없는(선형만 있는) 다층 신경망의 표현력은?
문제 4
데이터 8000개, 배치 크기 200으로 5 에폭 학습할 때 전체 가중치 갱신(이터레이션) 횟수는?
문제 5
역전파(backpropagation)의 역할을 가장 정확히 설명한 것은?