Day 3 - 데이터 시각화: 분포·상관관계·QuickSight·인사이트 도출

차트 선택: 질문이 차트를 결정한다

정제와 차원 작업을 마쳤다면 다음은 데이터를 눈으로 이해하는 일이다. 좋은 시각화는 요약 통계가 감추는 분포 모양·이상치·관계·군집을 드러낸다. MLS-C01 Domain 2는 "어떤 질문에 어떤 차트인가"와 "시각화·BI는 어떤 AWS 서비스인가"를 함께 묻는다.

차트를 고르기 전에 "지금 내가 답하려는 질문이 무엇인가"를 먼저 물어야 한다. 잘못된 차트는 패턴을 감추거나 왜곡한다.

잘못된 차트가 만드는 오해

⚠️ 함정: 같은 데이터도 축을 어떻게 잡느냐에 따라 정반대 인상을 준다. 막대그래프의 y축을 0이 아닌 값에서 시작하면 미미한 차이가 극적으로 보이고, 서로 다른 단위를 이중 축에 겹쳐 그리면 없는 상관이 있는 것처럼 보인다. 차트를 읽을 때도 만들 때도 축 범위를 먼저 확인해야 한다.

앤스컴의 사중주(Anscombe's quartet)는 요약 통계(평균, 분산, 상관)가 동일한데도 모양은 전혀 다른 데이터셋들을 보여 준다. 네 데이터셋은 평균·분산·상관·회귀선이 거의 같지만, 산점도로 보면 하나는 선형, 하나는 곡선, 하나는 이상치 하나가 전체를 끌고 간다. 교훈은 "요약 통계만 믿지 말고 항상 시각화하라"이며, 이것이 EDA에 시각화가 반드시 필요한 이유다.

분포 시각화

import seaborn as sns
import matplotlib.pyplot as plt
 
fig, axes = plt.subplots(1, 3, figsize=(15, 4))
sns.histplot(df["income"], kde=True, ax=axes[0])   # 모양 + 밀도
sns.boxplot(x=df["income"], ax=axes[1])             # 사분위, 이상치
sns.violinplot(x=df["region"], y=df["income"], ax=axes[2])  # 범주별 분포

• 히스토그램/KDE: 분포 모양(치우침, 봉우리 수)을 본다
• 박스플롯: 중앙값·사분위와 IQR 기준 이상치를 빠르게 잡아낸다
• 바이올린: 박스플롯 + 밀도. 범주 간 분포 비교에 강하다

치우친 분포는 로그 변환 후 다시 그려 정규성에 가까워지는지 확인한다.

 정규(대칭)        우편향(오른쪽 꼬리)      이봉(bimodal)        이상치 존재
   ▁▃▅█▅▃▁           ▂█▆▄▃▂▁▁▁▁            ▃█▄▁▁▄█▃          ▂▅█▅▂       ·  ·
 평균 ≈ 중앙값       평균 > 중앙값          봉우리 2개         꼬리에 극단값
 → 그대로 사용       → log(1+x) 변환        → 숨은 세그먼트    → IQR·도메인 확인

분포 진단 → 전처리 처방

⚠️ 함정: 히스토그램의 구간 수(bin)를 바꾸면 같은 데이터도 전혀 다른 모양으로 보인다. 구간이 너무 적으면 봉우리가 뭉개지고, 너무 많으면 노이즈가 봉우리처럼 보인다. 모양이 애매하면 bin 수를 바꿔 가며 확인하거나 KDE를 함께 그린다.

관계·상관 시각화

# 상관 히트맵: 선형 관계를 한눈에
corr = df.select_dtypes("number").corr()
sns.heatmap(corr, annot=True, cmap="coolwarm", center=0)
 
# 페어플롯: 변수 쌍 관계 + 대각선 분포
sns.pairplot(df, hue="target", vars=["age", "income", "score"])

• 상관 히트맵은 다중공선성 후보(|r|이 큰 쌍)와 타깃과의 관계를 동시에 잡아낸다
• 페어플롯은 변수 쌍의 비선형 관계·군집·이상치를 드러낸다

상관·의존성 지표 비교

피어슨 상관은 선형 관계만 포착한다. 완벽한 곡선 관계(예: y = x²)도 피어슨 r이 0에 가깝게 나올 수 있다. 단조지만 비선형인 관계는 스피어만 순위 상관이, 일반적 의존성은 상호정보량이 더 잘 잡는다. 그러니 "상관이 낮다 = 관계가 없다"라고 단정하지 말고 산점도로 모양을 확인해야 한다.

상관 히트맵에서 |r|이 크다고 곧바로 인과를 말할 수 없다. 두 변수가 함께 움직이는 것은 제3의 공통 원인이나 시간 추세 때문일 수 있다. 시각화는 가설을 만드는 도구이지 인과를 증명하는 도구가 아니다.

분포 차트 세 종류, 언제 무엇을

Amazon QuickSight

QuickSight는 대시보드와 시각화를 만들고 공유하는 AWS의 서버리스 BI 서비스다.

QuickSight는 운영 대시보드와 비즈니스 리포팅에 적합하다. 학습 전 EDA 탐색에는 노트북(matplotlib/seaborn)이나 SageMaker Data Wrangler가 작업 흐름에 더 가깝다.

QuickSight의 ML Insights는 내장 ML로 시계열의 이상을 자동 탐지하고, Random Cut Forest 기반 예측을 제공하며, 변화를 자연어로 설명한다. 분석가가 모델을 직접 작성하지 않아도 BI 대시보드 안에서 ML 인사이트를 얻는다. 시험에서 "코드를 작성하지 않는 비즈니스 사용자가 이상 탐지·예측 대시보드를 원한다"는 지문은 QuickSight ML Insights를 가리킨다.

AWS 시각화·분석 도구 비교

상황 → 도구 선택

분석 인사이트 도출

시각화의 목표는 그림이 아니라 행동 가능한 인사이트다.

EDA 시각화 순서

무엇부터 그릴지 정해 두면 놓치는 게 줄어든다.

[학습셋 확보 — 시각화도 학습셋으로만 한다]
        │
  ① 변수 하나씩: 히스토그램 / 박스플롯
        └→ 치우침 · 이상치 · 상수 컬럼 발견
        │
  ② 타깃 분포: 클래스 막대 또는 히스토그램
        └→ 불균형 여부 확인 (Day 4로 연결)
        │
  ③ 변수 ↔ 타깃: 범주별 바이올린 / 산점도
        └→ 좋은 특성 후보 발견
        │
  ④ 변수 ↔ 변수: 상관 히트맵 / 페어플롯
        └→ 다중공선성 후보 발견 (Day 2로 연결)
        │
  ⑤ 시간축이 있으면: 선 그래프
        └→ 추세 · 계절성 · 급변 지점 확인
        │
  ⑥ 발견을 전처리 결정으로 옮긴다 (변환 · 제거 · 특성 추가)

시각화도 데이터를 들여다보는 행위다. 테스트셋까지 포함해 그림을 보고 전처리를 결정하면 사람이 매개한 누수가 된다. 분포 확인·이상치 판정·상관 점검은 학습셋에서만 하고, 테스트셋은 마지막 평가까지 열어 보지 않는 것이 원칙이다.

지문 단서 → 정답 매핑

다음 글에서는 시각화로 드러난 클래스 불균형을 실제로 어떻게 다루는지 살펴본다.

📖 용어

• EDA(탐색적 데이터 분석) : 모델을 만들기 전에 데이터의 모양·관계·이상을 눈과 통계로 훑어보는 과정.
• KDE(커널 밀도 추정) : 히스토그램의 계단을 부드러운 곡선으로 바꿔 분포 모양을 보여 주는 방법.
• 박스플롯 / IQR : 중앙값과 사분위를 상자로 그린 그림 / 1사분위와 3사분위 사이 범위. 이상치 판정 기준으로 쓴다.
• 바이올린 플롯 : 박스플롯에 밀도 곡선을 얹은 차트. 범주별 분포 비교에 좋다.
• 헥스빈(hexbin) : 점이 너무 많아 뭉개질 때 육각형 칸의 밀도로 대신 표현하는 산점도 변형.
• 앤스컴의 사중주 : 평균·분산·상관이 거의 같지만 산점도 모양은 완전히 다른 네 데이터셋. 시각화의 필요성을 보여 주는 고전 예시.
• 스피어만 순위 상관 : 값 자체가 아니라 순위로 계산하는 상관. 단조롭지만 곡선인 관계를 잡는다.
• SPICE : QuickSight의 인메모리 연산 엔진. 데이터를 미리 올려 두어 집계·시각화를 빠르게 한다.
• ML Insights : QuickSight가 대시보드 안에서 제공하는 자동 이상 탐지·예측·자연어 설명 기능.
• QuickSight Q : "지난달 지역별 매출"처럼 자연어로 물으면 시각화를 만들어 주는 기능.