EP01 [Part 1: Kubernetes 모니터링 기초 #1] 모니터링의 본질과 Prometheus의 핵심 개념

 

📌 모니터링, 왜 중요한가?

클라우드 네이티브 환경에서 모니터링은 단순한 '관찰'을 넘어 시스템의 생존과 직결됩니다. 특히 쿠버네티스와 같은 복잡한 분산 시스템에서는 더욱 그렇습니다.

✅ 모니터링의 본질적 가치

• 시스템 가시성(Visibility) 확보
• 문제 조기 발견 및 예방
• 리소스 최적화 및 비용 절감
• 서비스 품질(SLA) 보장

▶️ 실무 사례: 한 스타트업에서 적절한 모니터링 없이 트래픽이 급증하는 이벤트를 진행했다가, 갑작스러운 시스템 다운으로 수백만 원의 손실을 입은 사례가 있습니다. 모니터링은 '비용'이 아닌 '투자'입니다.

---

📌 전통적 모니터링 vs 클라우드 네이티브 모니터링

✅ 전통적 모니터링의 한계

• 정적 인프라 중심
• 수동 설정 및 관리
• 확장성 제한
• 단일 서버/애플리케이션 초점

✅ 클라우드 네이티브 모니터링의 특징

• 동적 환경 대응
• 자동화된 검색 및 설정
• 무한 확장성
• 분산 시스템 전체 조망

▶️ 개념 비교: 전통적 모니터링은 '정적인 풍경 사진'이라면, 클라우드 네이티브 모니터링은 '실시간 스트리밍 비디오'와 같습니다. 끊임없이 변화하는 환경을 실시간으로 관찰해야 합니다.

---

📌 Prometheus란 무엇인가?

Prometheus는 CNCF(Cloud Native Computing Foundation)의 두 번째 졸업 프로젝트로, 쿠버네티스 생태계에서 사실상 표준(de facto standard)이 된 모니터링 시스템입니다.

 

✅ Prometheus의 탄생 배경

• 2012년 SoundCloud에서 개발 시작
• Google의 Borgmon에서 영감을 받음
• 2016년 CNCF 가입, 2018년 졸업
• 현재 가장 활발한 오픈소스 모니터링 프로젝트 중 하나

✅ Prometheus의 핵심 철학

• 신뢰성 우선: 문제 상황에서도 작동
• 자체 포함(Self-contained): 외부 의존성 최소화
• 메트릭 기반: 로그나 트레이싱이 아닌 숫자 데이터 중심
• 풀(Pull) 모델: 데이터를 가져오는 방식

▶️ 실무 팁: "모니터링 도구가 다운되면 무슨 일이 일어나고 있는지 알 수 없다" - Prometheus는 이 문제를 극복하기 위해 설계되었습니다.

---

📌 Prometheus의 핵심 개념

✅ 메트릭 타입

Prometheus는 4가지 기본 메트릭 타입을 제공합니다:

1. Counter: 증가만 가능한 누적 값
2. # 요청 총 횟수 예시 http_requests_total{status="200"} 1027
3. Gauge: 증가/감소 가능한 현재 상태 값
4. # 현재 메모리 사용량 예시 node_memory_MemFree_bytes 1.293144e+10
5. Histogram: 구간별 분포 측정
6. # 응답 시간 분포 예시 http_request_duration_seconds_bucket{le="0.1"} 12 http_request_duration_seconds_bucket{le="0.5"} 84 http_request_duration_seconds_bucket{le="1"} 93
7. Summary: 백분위 기반 통계
8. # 백분위 응답 시간 예시 http_request_duration_seconds{quantile="0.5"} 0.052 http_request_duration_seconds{quantile="0.9"} 0.87 http_request_duration_seconds{quantile="0.99"} 1.2

✅ PromQL (Prometheus Query Language)

Prometheus는 강력한 자체 쿼리 언어인 PromQL을 제공합니다:

# 최근 5분 동안의 초당 HTTP 요청 수
rate(http_requests_total[5m])

# 모든 인스턴스의 메모리 사용률
(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100

# 서비스별 99번째 백분위 응답 시간
histogram_quantile(0.99, sum(rate(http_request_duration_seconds_bucket[5m])) by (le, service))

▶️ PromQL 팁: PromQL은 처음에는 복잡해 보이지만, 기본 연산자와 함수를 익히면 매우 강력한 도구가 됩니다. 가장 많이 사용하는 10개 쿼리를 마스터하는 것부터 시작하세요.

✅ 라벨(Labels)과 차원

Prometheus의 핵심 기능 중 하나는 라벨 기반 차원 모델입니다:

# 라벨을 사용한 메트릭 예시
http_requests_total{method="GET", endpoint="/api/users", status="200"} 93
http_requests_total{method="POST", endpoint="/api/users", status="201"} 45
http_requests_total{method="GET", endpoint="/api/products", status="200"} 128

이 접근 방식으로:

• 동일한 메트릭에 다양한 차원 추가 가능
• 다중 차원 분석 가능
• 동적 환경에 적합한 유연성

▶️ 라벨링 베스트 프랙티스: 너무 많은 라벨은 카디널리티 폭발(cardinality explosion)을 일으켜 성능 문제를 야기할 수 있습니다. 꼭 필요한 차원만 라벨로 사용하세요.

---

📌 Prometheus 에코시스템

Prometheus는 단일 도구가 아닌 완전한 에코시스템입니다:

✅ 핵심 구성 요소

• Prometheus Server: 메트릭 수집 및 저장
• Alertmanager: 알림 처리 및 라우팅
• Pushgateway: 배치 작업 메트릭 수집
• 클라이언트 라이브러리: 다양한 언어 지원
• Exporters: 기존 시스템 메트릭 노출

✅ 주요 Exporters

• Node Exporter: 호스트 시스템 메트릭
• cAdvisor: 컨테이너 메트릭
• kube-state-metrics: 쿠버네티스 객체 상태
• Blackbox Exporter: 프로브 기반 모니터링

[Prometheus 에코시스템 구성 요소와 연결 관계를 보여주는 다이어그램.

• 중앙에 Prometheus 서버
• 주변에 다양한 Exporters, Alertmanager, Pushgateway
• 화살표로 데이터 및 알림 흐름 표시]

▶️ 에코시스템 확장: Prometheus는 Thanos, Cortex 같은 도구를 통해 대규모 환경으로 확장할 수 있습니다. 이에 대해서는 후속 글에서 더 자세히 다루겠습니다.

---

📌 쿠버네티스에서의 Prometheus

쿠버네티스와 Prometheus는 마치 짝이 맞는 퍼즐 조각처럼 잘 어울립니다:

 

✅ 통합 이점

• 서비스 디스커버리 자동화
• 동적 환경 적응성
• 메타데이터 활용
• 오토스케일링 지원

✅ 배포 옵션

• 수동 설치: 유연성 극대화
• Helm Charts: 간편한 설치
• Prometheus Operator: 쿠버네티스 네이티브 관리
• kube-prometheus-stack: 완전한 모니터링 스택

▶️ 시작 추천: 처음이라면 kube-prometheus-stack으로 시작하세요. 대부분의 기본 설정이 준비되어 있어 빠르게 시작할 수 있습니다.

---

📌 Summary

• Prometheus는 클라우드 네이티브 환경을 위한 강력한 모니터링 솔루션입니다.
• 메트릭 기반 접근 방식과 풀 모델은 동적 환경에 적합합니다.
• 라벨 시스템은 다차원 분석을 가능하게 합니다.
• 쿠버네티스와의 통합은 자동화된 모니터링 환경을 제공합니다.

 

---