[Istio 가이드 ep.13] 2부 트래픽 관리 #7 | 서비스 복원력을 높이는 리트라이, 타임아웃, Circuit Breaker 설정

🔹 개요

이번 글에서는 Istio를 활용하여 서비스 복원력을 향상시키는 방법을 살펴보겠습니다.
마이크로서비스 환경에서는 일시적인 장애나 네트워크 문제로 인해 요청이 실패하는 경우가 많습니다.
Istio의 리트라이(Retry), 타임아웃(Timeout), 서킷 브레이커(Circuit Breaker) 설정을 활용하면,
이러한 문제를 최소화하고 서비스의 가용성과 안정성을 향상시킬 수 있습니다.

이 글에서는 각 설정의 개념, 사용 방법, 그리고 실제 YAML 예제를 통해 실전 적용 방법을 다루겠습니다.

---

🔹 1. 서비스 복원력 전략 개요

✅ 1.1 리트라이(Retry)

**리트라이(Retry)**는 일시적인 네트워크 장애나 서버 오류로 인해 요청이 실패했을 때, 자동으로 재시도하는 기능입니다.

리트라이의 주요 기능

• 일시적인 오류가 발생했을 때 요청을 다시 시도
• 장애가 일시적인 경우, 전체 서비스 장애로 이어지는 것을 방지
• 최대 재시도 횟수 및 간격을 설정하여 불필요한 요청 남발 방지

---

✅ 1.2 타임아웃(Timeout)

**타임아웃(Timeout)**은 요청이 너무 오래 걸릴 경우, 자동으로 종료하여 시스템 리소스를 보호하는 기능입니다.

타임아웃의 주요 기능

• 응답 시간이 너무 긴 요청을 자동으로 중단하여, 시스템 과부하 방지
• 특정 서비스 응답이 늦어지면 빠르게 오류 처리 가능
• 다른 서비스가 영향을 받지 않도록 보호

---

✅ 1.3 서킷 브레이커(Circuit Breaker)

**서킷 브레이커(Circuit Breaker)**는 연속된 요청 실패가 발생할 경우, 해당 서비스를 일정 시간 동안 차단하여 추가 요청을 방지하는 기능입니다.
이는 장애가 발생한 서비스로의 트래픽을 일시적으로 차단하여 전체 시스템 장애를 예방하는 역할을 합니다.

서킷 브레이커의 주요 기능

• 일정 횟수 이상 요청 실패 시, 서비스로의 추가 요청을 차단
• 과부하 상태의 서비스로의 요청을 방지하여 장애 확산을 막음
• 일정 시간이 지나면 자동으로 다시 요청을 허용

---

🔹 2. Istio를 활용한 리트라이 설정

✅ 2.1 기본 리트라이 설정 (VirtualService 적용)

아래 VirtualService 설정은 요청이 실패했을 때, 최대 3번까지 재시도(Retry)하는 설정입니다.

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: my-service
spec:
  hosts:
    - my-service
  http:
    - route:
        - destination:
            host: my-service
            subset: v1
      retries:
        attempts: 3  # 최대 3번 재시도
        perTryTimeout: 2s  # 각 요청당 최대 2초 대기
        retryOn: "gateway-error,connect-failure,refused-stream"  # 특정 오류 발생 시 리트라이 수행

설명:

• retries.attempts: 3 → 요청 실패 시 최대 3번까지 재시도
• retries.perTryTimeout: 2s → 각 요청은 최대 2초 동안 대기 후 재시도
• retries.retryOn → 특정 오류(gateway-error, connect-failure, refused-stream) 발생 시 재시도

---

🔹 3. Istio를 활용한 타임아웃 설정

✅ 3.1 기본 타임아웃 설정 (VirtualService 적용)

아래 VirtualService 설정은 요청이 5초 이상 걸릴 경우 자동으로 타임아웃 처리하는 설정입니다.

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: my-service
spec:
  hosts:
    - my-service
  http:
    - route:
        - destination:
            host: my-service
            subset: v1
      timeout: 5s  # 최대 5초 동안 응답 대기

설명:

• timeout: 5s → 최대 5초 동안 응답을 기다리며, 초과 시 자동으로 요청 종료

---

🔹 4. Istio를 활용한 서킷 브레이커 설정

✅ 4.1 기본 서킷 브레이커 설정 (DestinationRule 적용)

아래 DestinationRule 설정은 서킷 브레이커를 활성화하여 과부하 방지하는 예제입니다.

apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
  name: my-service
spec:
  host: my-service
  trafficPolicy:
    connectionPool:
      http:
        http1MaxPendingRequests: 5  # 최대 5개의 요청 대기 가능
        maxRequestsPerConnection: 1  # 연결당 최대 1개 요청 처리
    outlierDetection:
      consecutive5xxErrors: 3  # 5xx 오류가 3번 연속 발생하면 서킷 브레이커 활성화
      interval: 10s  # 오류 감지 주기 (10초)
      baseEjectionTime: 30s  # 서킷 브레이커가 활성화되면 30초 동안 해당 서비스로의 요청 차단

설명:

• connectionPool.http.http1MaxPendingRequests: 5 → 최대 5개의 요청을 대기 상태로 유지
• connectionPool.http.maxRequestsPerConnection: 1 → 연결당 최대 1개 요청만 허용
• outlierDetection.consecutive5xxErrors: 3 → 5xx 오류가 3번 연속 발생하면 서킷 브레이커 활성화
• outlierDetection.interval: 10s → 10초 간격으로 오류 감지
• outlierDetection.baseEjectionTime: 30s → 문제가 발생한 서비스는 30초 동안 차단됨

---

🔹 5. 서비스 복원력 최적화 사례

1️⃣ 리트라이 + 타임아웃 조합

• 응답 시간이 길어질 경우 일정 시간 안에 응답이 오지 않으면 타임아웃 적용
• 네트워크 오류로 인해 요청이 실패할 경우 재시도(Retry) 수행

2️⃣ 서킷 브레이커 적용 후 로드 밸런싱 최적화

• 특정 서비스의 장애 감지 시, 트래픽을 자동으로 차단하여 전체 장애를 예방
• 기본적으로 Round Robin 방식의 로드 밸런싱을 사용하여 요청을 고르게 분산

---

📌 결론

• 리트라이(Retry): 일시적인 장애 발생 시, 최대 지정된 횟수만큼 재시도 가능
• 타임아웃(Timeout): 응답 시간이 너무 긴 요청을 자동으로 중단하여 리소스 낭비 방지
• 서킷 브레이커(Circuit Breaker): 연속된 장애 발생 시, 일정 시간 동안 해당 서비스로의 요청을 차단하여 전체 시스템 보호
• 세 가지 기능을 조합하면, 마이크로서비스 환경에서 보다 안정적인 서비스 운영이 가능