[Istio 가이드 ep.29] 4부 모니터링 #5 | Istio 메트릭 기반 자동 스케일링 (HPA)

🔹 개요

이번 글에서는 Istio의 메트릭을 활용하여 Kubernetes의 HPA(Horizontal Pod Autoscaler)를 설정하는 방법을 살펴보겠습니다.
Istio는 서비스 메시 내부의 트래픽 데이터 및 성능 지표를 Prometheus를 통해 수집하며,
이 데이터를 활용하면 Pod의 부하에 따라 자동으로 확장(Scaling)하는 HPA를 적용할 수 있습니다.

이 글에서는 Istio 메트릭을 활용한 HPA 설정 방법, 실전 예제 및 스케일링 전략을 설명하겠습니다.

---

🔹 1. Kubernetes HPA(Horizontal Pod Autoscaler)란?

✅ 1.1 HPA 개념

HPA(Horizontal Pod Autoscaler)는 Kubernetes에서 Pod의 부하에 따라 자동으로 확장(Scale-out) 및 축소(Scale-in)하는 기능입니다.
기본적으로 CPU 및 메모리 사용량을 기준으로 동작하지만, 사용자 정의 메트릭(Custom Metrics)을 활용할 수도 있습니다.

HPA의 주요 기능

• Pod의 부하(트래픽 증가)에 따라 자동 확장(Scale-out) 수행
• 부하가 줄어들면 자동 축소(Scale-in)로 리소스 절약
• Prometheus 및 Custom Metrics API와 연동하여 다양한 기준으로 확장 가능

💡 Istio의 Prometheus 메트릭을 활용하면, 트래픽 기반으로 HPA를 설정할 수 있습니다.

---

🔹 2. Istio에서 HPA를 위한 메트릭 수집

✅ 2.1 Prometheus에서 Istio 메트릭 확인하기

Istio는 기본적으로 Prometheus를 활용하여 다양한 서비스 메트릭을 수집합니다.
다음과 같은 메트릭을 활용하여 HPA를 설정할 수 있습니다.

메트릭	설명
istio_requests_total	초당 요청 수
istio_request_duration_milliseconds	요청 처리 시간(지연 시간)
istio_tcp_sent_bytes_total	TCP 트래픽 전송량
istio_tcp_received_bytes_total	TCP 트래픽 수신량

---

✅ 2.2 Prometheus에서 특정 서비스의 트래픽 조회

Prometheus에서 특정 서비스의 트래픽 메트릭을 확인하려면 다음 PromQL 쿼리를 실행합니다.

rate(istio_requests_total{destination_service="my-service.default.svc.cluster.local"}[1m])

 

출력 예제:

my-service.default.svc.cluster.local | 75.3 req/sec

💡 위 결과는 my-service가 초당 75.3개의 요청을 받고 있음을 의미합니다.

---

🔹 3. Istio 메트릭 기반 HPA 설정

✅ 3.1 Kubernetes Metrics Server 설치

HPA는 기본적으로 Kubernetes Metrics Server를 필요로 합니다.
Metrics Server가 설치되지 않았다면, 다음 명령어를 실행하여 설치합니다.

kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

 

설치 후 정상적으로 실행되는지 확인합니다.

kubectl get deployment metrics-server -n kube-system

 

출력 예제:

NAME               READY   UP-TO-DATE   AVAILABLE   AGE
metrics-server     1/1     1            1           2m

---

✅ 3.2 HPA를 위한 Prometheus Adapter 설치

Kubernetes에서 Prometheus 메트릭을 HPA의 기준으로 활용하려면 kube-prometheus-adapter를 설치해야 합니다.

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
helm install prometheus-adapter prometheus-community/prometheus-adapter -n monitoring

 

설치 후 정상적으로 실행되는지 확인합니다.

kubectl get pods -n monitoring | grep prometheus-adapter

 

출력 예제:

prometheus-adapter-xyz123   1/1   Running   0     1m

---

✅ 3.3 HPA를 위한 Custom Metrics 정의

prometheus-adapter를 통해 Istio의 트래픽 메트릭을 HPA에서 사용할 수 있도록 설정합니다.

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: my-service-hpa
  namespace: default
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: my-service
  minReplicas: 2  # 최소 2개의 Pod 유지
  maxReplicas: 10 # 최대 10개의 Pod까지 확장 가능
  metrics:
    - type: Object
      object:
        metric:
          name: istio_requests_total  # Istio의 초당 요청 수를 기준으로 HPA 적용
        describedObject:
          apiVersion: networking.istio.io/v1alpha3
          kind: VirtualService
          name: my-service
        target:
          type: AverageValue
          value: 50  # 초당 50개의 요청이 발생하면 Pod 자동 확장

설명:

• minReplicas: 2, maxReplicas: 10 → 최소 2개, 최대 10개의 Pod으로 자동 조정
• metric.name: istio_requests_total → Istio의 초당 요청 수(requests per second)를 기준으로 스케일링
• target.value: 50 → 초당 요청 수가 50을 넘으면 Pod을 자동 확장

💡 특정 서비스의 요청량이 증가하면 HPA가 자동으로 Pod을 추가 생성하여 부하를 분산합니다.

---

✅ 3.4 HPA 적용 후 확인하기

HPA가 정상적으로 적용되었는지 확인하려면 다음 명령어를 실행합니다.

kubectl get hpa -n default

출력 예제:

NAME             REFERENCE              TARGETS    MINPODS   MAXPODS   REPLICAS   AGE
my-service-hpa   Deployment/my-service  35/50      2         10        3          5m

💡 현재 35/50으로, 초당 요청 수가 35이므로 아직 확장 조건(50)을 충족하지 않아 Pod 수는 3개입니다.

---

🔹 4. Istio 메트릭 기반 HPA 실전 적용 사례

✅ 4.1 특정 API 트래픽에 따른 확장 적용

API 엔드포인트별로 트래픽이 다르다면, 특정 API 요청량을 기준으로 스케일링할 수도 있습니다.

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: api-scaling
  namespace: default
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: my-api-service
  minReplicas: 2
  maxReplicas: 20
  metrics:
    - type: Object
      object:
        metric:
          name: istio_requests_total
        describedObject:
          apiVersion: networking.istio.io/v1alpha3
          kind: VirtualService
          name: my-api-service
        target:
          type: AverageValue
          value: 100

💡 특정 API의 트래픽이 초당 100 요청을 넘으면 Pod이 자동 확장됩니다.

---

📌 결론

• Kubernetes HPA(Horizontal Pod Autoscaler)는 Pod의 부하에 따라 자동으로 확장/축소할 수 있는 기능입니다.
• 기본적으로 CPU 및 메모리를 기준으로 확장하지만, Istio의 트래픽 메트릭을 활용하여 더욱 효과적인 HPA를 적용할 수 있습니다.
• Prometheus Adapter를 설치하면 Istio의 istio_requests_total 같은 메트릭을 HPA의 기준으로 활용할 수 있습니다.
• 특정 서비스 또는 특정 API 요청량을 기준으로 확장 조건을 설정하여, 더 정교한 오토스케일링을 적용할 수 있습니다.