Day 2 - CNN(합성곱 신경망)과 컴퓨터 비전

왜 완전연결이 아니라 합성곱인가

이미지·영상은 픽셀 수가 엄청나다. 완전연결(Dense) 신경망에 그대로 넣으면 파라미터가 폭발하고 이동 불변성도 학습하지 못한다. 합성곱 신경망(CNN) 은 작은 필터를 이미지 전체에 밀어가며 지역 패턴을 뽑아 이 문제를 푼다.

• 224×224×3 컬러 이미지를 평탄화해 Dense 층에 넣으면 입력 노드가 약 15만 개다.
• 첫 은닉층이 1000개 노드면 가중치가 1억 5천만 개 — 폭발이다.

CNN이 쓰는 세 가지 아이디어:

• 지역 수용영역(local receptive field): 한 뉴런이 이미지 전체가 아니라 작은 영역만 본다.
• 가중치 공유(weight sharing): 같은 필터를 모든 위치에 재사용해 파라미터를 붕괴시킨다.
• 이동 불변성(translation invariance): 고양이가 어디 있든 같은 필터로 검출한다.

가중치 공유는 "고양이 귀를 찾는 필터는 이미지 어느 위치에서든 똑같이 동작한다"는 가정을 깔고 있다. 이 가정 덕분에 학습해야 할 파라미터가 줄고, 제한된 데이터에서도 일반화가 잘 된다. "이미지의 의미는 공간 이동에 대해 보존된다"는 성질을 구조 자체에 귀납 편향(inductive bias) 으로 새겨 넣은 것이다.

MLS-C01은 CNN의 내부 수식을 묻지 않는다. 합성곱·풀링의 역할, 이미지 분류 vs 객체 탐지, SageMaker 빌트인·아키텍처 선택을 묻는다.

합성곱 층

작은 필터(커널) 를 입력 위로 밀어가며 내적을 계산해 특성 맵(feature map) 을 만든다.

입력 이미지  *  필터(예: 3x3)  →  특성 맵
(경계선, 질감, 형태 패턴을 강조)

합성곱 하이퍼파라미터표

스트라이드 1 + same 패딩          스트라이드 2
┌───────────┐                    ┌───────────┐
│ ▢▢▢▢▢▢▢▢ │ → 같은 크기 유지    │ ▢▢▢▢▢▢▢▢ │ → 절반 크기로 축소
└───────────┘                    └───────────┘

층을 쌓을수록 추상화가 깊어진다: 저수준(경계선) → 중간수준(질감, 부분) → 고수준(전체 객체)

출력 한 변의 크기는 네 하이퍼파라미터로 결정된다.

출력 크기 = floor( (입력 크기 + 2×패딩 − 커널 크기) / 스트라이드 ) + 1
출력 채널 수 = 필터 수

층을 쌓을수록 한 뉴런이 원본 이미지에서 보는 영역(수용영역)이 넓어진다. 3×3 필터 하나는 3×3만 보지만, 그 위에 3×3을 한 번 더 얹으면 원본 기준 5×5를 본다. 그래서 작은 커널을 깊게 쌓는 VGG식 설계가 큰 커널 하나보다 파라미터는 적으면서 넓은 영역을 볼 수 있다. 풀링과 큰 스트라이드는 이 확장을 더 빠르게 만든다.

• "출력 크기를 그대로 유지하고 싶다"면 답은 same 패딩이다. 스트라이드를 키우거나 valid 패딩을 고르면 크기가 줄어든다.

풀링 층

특성 맵의 공간 크기를 줄여 연산을 낮추고, 작은 위치 변화에 강인하게 만든다.

• 풀링은 학습 파라미터가 없다(고정 연산).
• 다운샘플링은 수용영역을 넓히고 과적합을 줄인다.

⚠️ 함정: "풀링이 표현력을 높이려고 가중치를 추가한다"는 보기는 오답이다. 가중치를 더하는 것은 합성곱·Dense 층의 역할이다.

전형적인 CNN 구조

[Conv → ReLU → Pool] × N  →  Flatten/GAP  →  Dense  →  Softmax
   특징 추출부(백본)                        분류 헤드

• 앞부분(conv/pool 블록)이 특징 추출기(백본).
• 뒷부분(Dense + Softmax)이 분류 헤드.
• 전이학습(Day4)은 백본을 재사용하고 헤드만 학습하는 경우가 많다.

• Flatten은 특성 맵을 통째로 펼쳐 Dense에 넣기 때문에 파라미터가 급증한다. "완전연결 층의 파라미터가 너무 많다"는 지문에서는 Global Average Pooling으로 대체하는 것이 정답 방향이다.

대표 아키텍처

이름과 핵심 아이디어를 알아 두면 지문의 단서가 된다.

망을 깊게 할수록 오히려 학습이 나빠지는 역설이 있었다(기울기 소실). ResNet의 잔차/스킵 연결은 입력을 출력에 그대로 더해(H(x)=F(x)+x) 기울기가 흐를 지름길을 만들어, 100층 이상도 안정적으로 학습되게 했다. "깊은 망이 학습에 실패한다"의 해법으로 시험에서 묻는다.

이미지 분류 vs 객체 탐지 vs 세그멘테이션

CNN 응용을 정확히 구분하는 것이 시험의 핵심이다.

⚠️ 함정: "몇 개가 어디에 있는지"는 탐지, "픽셀 단위로 영역을 구분"은 세그멘테이션이다. 지문의 동사 하나("count/locate" vs "pixel-level")가 정답을 가른다.

SageMaker 빌트인과 데이터 포맷

• Image Classification: 단일/다중 레이블 분류. ResNet 기반. 전이학습 모드를 지원한다.
• Object Detection: SSD 기반. 박스 + 클래스를 출력한다.
• Semantic Segmentation: 픽셀 단위 분류.
• 입력은 보통 RecordIO(권장, 빠름) 또는 이미지 파일 + 어노테이션. 대용량이면 Pipe 모드 스트리밍.
• 라벨링: SageMaker Ground Truth(바운딩 박스·세그멘테이션 작업 템플릿 제공).

상황 → AWS 선택 매핑표

데이터가 적을 때: 증강과 전이학습

이미지가 부족하면 데이터 증강(회전·뒤집기·크롭·색상 변형)으로 학습 다양성을 늘려 과적합을 줄인다. SageMaker Image Classification/Object Detection에는 증강 옵션이 내장되어 있다. 또한 ImageNet 사전학습 가중치를 쓰는 전이학습은 적은 데이터에서 처음부터 학습하는 것보다 성능이 좋고 시간도 짧다(Day4로 연결).

증강은 학습셋에만 적용한다. 검증·테스트셋을 증강하면 평가가 왜곡된다.

분류 성능을 읽는 법 — 지표 해석표

이미지 분류도 결국 분류다. 클래스가 치우쳐 있으면 accuracy는 사람을 속인다.

지문 단서 → 정답 매핑

"정확도를 높여라"만 보고 무조건 더 깊은 아키텍처를 고르면 틀린다. 데이터가 적다는 단서가 함께 있으면 정답은 구조 확대가 아니라 전이학습·증강이다.

증상 → 원인 → 처방

다음 글에서는 공간이 아니라 순서가 의미를 만드는 데이터 — RNN·LSTM·GRU와 Transformer를 다룬다.

📖 용어

• 합성곱(convolution) : 작은 필터를 입력 위로 밀며 내적을 계산해 지역 패턴을 뽑는 연산.
• 필터(커널) / 특성 맵 : 합성곱이 학습하는 작은 가중치 격자 / 그 필터를 통과시켜 나온 출력. 필터 수만큼 채널이 생긴다.
• 스트라이드 / 패딩 : 필터가 움직이는 보폭 / 가장자리를 0으로 채워 출력 크기를 조절하는 설정.
• 지역 수용영역 : 한 뉴런이 보는 입력의 작은 범위. 층이 깊어질수록 넓어진다.
• 가중치 공유 : 같은 필터를 이미지 전 위치에 재사용하는 것. 파라미터가 크게 줄어든다.
• 이동 불변성 : 객체가 이미지 안에서 이동해도 같은 필터로 검출되는 성질.
• 풀링(pooling) : 영역의 최댓값·평균으로 특성 맵을 줄이는 연산. 학습 파라미터가 없다.
• 잔차(skip) 연결 : 입력을 출력에 그대로 더해 기울기가 흐를 지름길을 만드는 구조. ResNet의 핵심.
• 백본 / 헤드 : 특징을 뽑는 앞부분 / 최종 예측을 내는 뒷부분. 전이학습은 보통 백본을 재사용한다.
• RecordIO : 여러 이미지를 묶어 순차 읽기에 유리하게 만든 SageMaker 권장 입력 포맷. 객체 탐지의 출력인 바운딩 박스 어노테이션과 함께 쓴다.