Week 7은 도메인 3(Modeling)의 두 번째 축인 딥러닝을 다룬다. 트리·선형 모델로 풀리지 않는 비정형 데이터(이미지·텍스트·음성)와 복잡한 비선형 관계가 딥러닝의 무대다. MLS-C01은 딥러닝을 프레임워크 코딩 수준으로 깊게 묻지는 않지만, 퍼셉트론·활성화 함수·손실·역전파·하이퍼파라미터의 개념적 이해를 전제로 한 문제를 낸다. 오늘은 신경망이 어떻게 입력을 예측으로 바꾸고, 어떻게 학습하는지의 큰 그림을 잡는다.
퍼셉트론은 입력에 가중치를 곱해 더하고, 편향을 더한 뒤, 활성화 함수를 통과시키는 단일 뉴런이다.
z = w1*x1 + w2*x2 + ... + wn*xn + b
a = f(z) # f = 활성화 함수단일 퍼셉트론은 선형 분리만 가능하다(XOR을 못 푼다). 이 한계가 은닉층을 쌓는 다층 퍼셉트론(MLP)의 동기다.
💡 관련 이론: 활성화 함수가 없으면 층을 아무리 쌓아도 선형 변환의 합성이라 결국 하나의 선형 모델과 같다. 비선형 활성화가 있어야 신경망이 곡선 형태의 복잡한 결정 경계를 표현할 수 있다. 이것이 "딥"러닝이 표현력을 갖는 근본 이유다.