Day 1 - 클러스터링

클러스터란

   [ 사용자 ]
        │
        ▼
   ┌─────────────────────────────┐
   │   여러 대의 컴퓨터(노드)를    │
   │   묶어 한 대처럼 보이게 한다  │
   │   ▢  ▢  ▢  ▢               │
   └─────────────────────────────┘

• 한 대의 성능을 높이는 데는 한계가 있고 비용도 급격히 오른다. 여러 대를 묶는 편이 싸고 확장하기 쉽다.
• 묶인 각 컴퓨터를 노드(node) 라 한다.
• 노드들은 네트워크로 연결되고, 바깥에서는 하나의 시스템으로 보여야 한다. 서로 모르는 서버 열 대를 나란히 둔 것은 클러스터가 아니다.

• "값싼 PC 여러 대"라는 표현이 지문에 보이면 스케일 아웃, 곧 클러스터 이야기다.

세 가지 클러스터

정의를 갈라 외우는 것이 이 단원의 전부다. 셋 중 무엇을 설명한 것인지 고르는 형태로 나온다.

셋을 가르는 가장 빠른 질문은 "여러 대가 무엇을 나누는가" 다.

• 고계산용 · 고성능 · HPC · 병렬 · 슈퍼컴퓨터는 모두 같은 칸의 말이다. 보기에 "고성능 클러스터"라고 나와도 고계산용과 같은 것으로 읽는다.
• "고성능"과 "고가용성"은 글자가 닮았을 뿐 반대편이다. 앞은 속도, 뒤는 무중단이다.

고계산용 클러스터 (HPC)

• 여러 노드가 하나의 문제를 나눠 푼다. 그래서 병렬 컴퓨팅이라고도 한다.
• 베어울프 클러스터는 값싼 PC들을 리눅스로 묶어 만든 고계산용 클러스터다. 이름을 그대로 묻는다.

   사용자 ──► 마스터 노드 ──┬── 계산 노드 1   조각 A 계산
             (작업을 쪼개   ├── 계산 노드 2   조각 B 계산
              나눠 주고     ├── 계산 노드 3   조각 C 계산
              결과를 모은다) └── 계산 노드 4   조각 D 계산
                    ▲                │
                    └── 결과를 합쳐 하나의 답 ──┘

• 베어울프는 1994년 NASA 에서 일반 PC 여러 대를 이더넷으로 묶어 만든 것이 시작이다. 비싼 전용 슈퍼컴퓨터 대신 흔한 부품과 공개 소프트웨어로 같은 일을 해 보자는 발상이었다.
• 구성은 마스터 노드 하나 + 계산 노드 여럿이다. 사용자는 마스터에만 접속하고, 계산 노드는 시키는 계산만 한다.
• 노드끼리 조각과 결과를 주고받는 약속이 필요하다. 이때 쓰는 병렬 프로그래밍 라이브러리가 MPI(Message Passing Interface)와 PVM(Parallel Virtual Machine)이다.
• 아무 프로그램이나 빨라지는 것은 아니다. 작업을 조각낼 수 있게 짜인 프로그램이어야 노드를 늘린 효과가 난다. 웹 서버처럼 요청 하나하나가 작은 서비스에는 맞지 않는 이유다.

고가용성 클러스터 (HA)

   주 서버 (Active) ──── 서비스 중
        │  하트비트로 서로 살아 있는지 확인
   대기 서버 (Standby) ── 대기
 
   주 서버가 죽으면  →  대기 서버가 즉시 이어받는다 (failover)

• 가용성(availability) 은 "서비스가 살아 있는 시간의 비율"이다. 은행·병원처럼 멈추면 안 되는 시스템에 쓴다.
• 성능을 높이는 것이 아니라 끊기지 않게 하는 것이 목적이다. 이 구분이 중요하다.

고가용성 구성에서 쓰는 말은 순서대로 이어진다.

• 흐름으로 읽으면 하트비트가 끊긴다 → 장애 극복 → (수리) → 장애 복구 이다. 장애 극복과 장애 복구를 바꿔 놓은 보기가 함정이다.
• 사용자는 서버가 바뀐 줄 모른다. 서비스용 주소를 대기 노드가 그대로 넘겨받기 때문이다.

가용성은 "살아 있는 시간의 비율"이라 숫자로 약속한다. 9가 하나 늘 때마다 허용되는 정지 시간이 10분의 1로 준다.

• 계산은 1년(8,760시간) × (1 − 가용성) 이다. 99.9%라면 8,760 × 0.001 = 8.76시간이다.
• 리눅스에서는 Heartbeat, Pacemaker, Corosync 같은 공개 소프트웨어로 고가용성 클러스터를 꾸린다. 2급에서는 구축법이 아니라 "하트비트 = 고가용성 쪽 용어" 라는 연결만 묻는다.

부하분산 클러스터 (LB)

              요청
                │
          ┌─────┴─────┐
       부하분산기 (로드밸런서)
       ┌────┬────┬────┐
      웹1  웹2  웹3  웹4

• 한 대가 감당할 수 없는 트래픽을 여러 대가 나눠 받는다.
• 한 대가 죽어도 나머지가 받으므로 가용성도 함께 올라간다.

LVS(Linux Virtual Server)는 리눅스 커널의 기능으로 부하분산기를 만드는 프로젝트다.

• 이름의 "Virtual"은 가상 머신이 아니라 여러 대가 한 대의 서버처럼 보인다는 뜻이다. 내일 배울 가상화와 섞지 않는다.
• 요청을 넘기는 방식은 NAT · DR(Direct Routing) · TUN(IP 터널링) 세 가지가 알려져 있고, 누구에게 줄지는 스케줄링 방식으로 정한다.

• 2급에서 필요한 것은 "LVS = 부하분산" 이라는 짝이다. 방식과 스케줄링 이름은 지문을 읽을 때 낯설지 않을 정도면 된다.

실무에서는 함께 쓴다

웹 서비스는 대개 부하분산과 고가용성을 함께 구성한다. 요청을 여러 서버로 나누면서(부하분산), 한 대가 죽어도 나머지가 처리하니(고가용성) 두 목적이 자연스럽게 맞물리기 때문이다.

• "부하분산 + 고가용성" 이라는 조합이 보기로 나오면 대개 정답이다. 반대로 고계산용은 웹 서비스와는 성격이 다르다.

                  사용자 요청
                      │
        ┌─────────────┴─────────────┐
   부하분산기 A (Active) ══하트비트══ 부하분산기 B (Standby)   ← 고가용성
        └─────────────┬─────────────┘
              ┌───────┼───────┐
             웹1     웹2     웹3                               ← 부하분산

• 웹 서버만 여러 대로 늘리면 부하분산기 한 대가 단일 장애점으로 남는다. 그래서 부하분산기 자체를 Active-Standby로 이중화한다. 이 그림이 "부하분산 + 고가용성"의 실제 모습이다.
• 조합 문제는 서비스의 성격부터 본다.

지문으로 가려내기

지문은 클러스터 이름 대신 핵심어를 흘린다. 단어를 보고 칸을 고르는 연습을 한다.

자주 틀리는 지점

1. 고가용성 클러스터는 성능을 높인다 → 아니다. 목적은 무중단이다. Active-Standby 구성의 대기 서버는 평소에 일하지 않는다.
2. 부하분산과 고계산용은 같은 것이다 → 둘 다 "나눈다"지만 부하분산은 서로 다른 요청을, 고계산용은 한 작업의 조각을 나눈다.
3. 베어울프가 부하분산 클러스터다 → 고계산용이다. 부하분산의 대표는 LVS.
4. 하트비트는 부하분산 방식이다 → 고가용성에서 노드의 생존을 확인하는 신호다.
5. 장애 복구(failback)가 대기 서버로 넘어가는 동작이다 → 그건 장애 극복(failover)이다. 장애 복구는 되돌리는 쪽이다.
6. 임베디드 시스템·그리드도 클러스터의 한 종류다 → 아니다. 클러스터 종류는 셋뿐이다.
7. 노드를 두 배로 늘리면 무엇이든 두 배 빨라진다 → 조각낼 수 있는 계산일 때만 효과가 있다.
8. LVS는 가상 머신 기술이다 → 가상화가 아니라 부하분산이다.

비슷한 개념 구분

• 임베디드 시스템은 클러스터가 아니다. "다음 중 클러스터의 종류가 아닌 것"이라는 문제에 이 이름이 섞여 나온다.

내일은 가상화 기술과 제품별 특징을 다룬다.

📖 용어

• 클러스터 : 여러 대의 컴퓨터를 묶어 하나처럼 동작하게 하는 구성.
• 노드 : 클러스터를 이루는 각각의 컴퓨터.
• 고계산용 클러스터(HPC) : 하나의 큰 계산을 여러 노드가 나눠 처리하는 클러스터.
• 베어울프 클러스터 : 값싼 PC를 리눅스로 묶어 만든 대표적인 고계산용 클러스터.
• 고가용성 클러스터(HA) : 장애가 발생해도 서비스가 중단되지 않도록 구성한 클러스터.
• 장애 극복(failover) : 주 서버가 멈추면 대기 서버가 역할을 이어받는 동작.
• 하트비트(heartbeat) : 노드끼리 서로 살아 있는지 확인하려고 주기적으로 주고받는 신호.
• 부하분산 클러스터(LB) : 요청을 여러 서버에 나눠 보내는 클러스터.
• LVS : 리눅스로 부하분산기를 구성하는 Linux Virtual Server. 가상 머신과는 관계없다.
• 그리드 컴퓨팅 : 지리적으로 흩어진 컴퓨터의 유휴 자원을 모아 사용하는 방식.