[Istio 가이드 ep.14] 2부 트래픽 관리 #8 | Fault Injection을 활용한 장애 테스트 및 Chaos Engineering

🔹 개요

이번 글에서는 Istio의 Fault Injection 기능을 활용하여 장애 테스트 및 Chaos Engineering을 수행하는 방법을 살펴보겠습니다.
Fault Injection(결함 주입)은 일부러 장애를 발생시켜 시스템의 복원력(Resilience)을 평가하는 기술입니다.
이를 통해 서비스 장애 발생 시 시스템이 어떻게 반응하는지 미리 테스트하고 대비할 수 있습니다.

이 글에서는 Fault Injection의 개념, Istio를 활용한 장애 테스트 방법,
그리고 VirtualService를 사용하여 지연(latency) 및 오류(failure) 시뮬레이션하는 방법을 설명하겠습니다.

---

🔹 1. Fault Injection(결함 주입)이란?

✅ 1.1 Fault Injection 개념

**Fault Injection(결함 주입)**은 일부러 장애를 발생시켜 서비스의 안정성을 검증하는 기법입니다.
이는 **Chaos Engineering(혼돈 공학)**의 핵심 기술 중 하나이며,
실제 장애가 발생하기 전에 시스템이 정상적으로 복구될 수 있는지 테스트하는 역할을 합니다.

Fault Injection을 수행하는 이유

• 서비스 장애 발생 시, 시스템의 복원력을 평가하기 위해
• 네트워크 지연(latency), 오류(failure) 등 실제 장애 상황을 미리 테스트
• 장애 발생 시 트래픽이 정상적으로 분산되고, 자동 복구가 가능한지 확인

---

✅ 1.2 Istio에서 Fault Injection 활용 방식

Istio에서는 VirtualService의 fault 속성을 활용하여 네트워크 장애를 시뮬레이션할 수 있습니다.

• 지연(Latency) Fault Injection → 네트워크 응답 속도를 인위적으로 지연
• 오류(Failure) Fault Injection → 특정 요청을 강제로 실패하게 설정

---

🔹 2. Istio를 활용한 Fault Injection 설정

✅ 2.1 지연(Latency) Fault Injection

아래 예제에서는 특정 요청이 5초 동안 지연되도록 설정하여 응답 속도를 테스트합니다.

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: my-service
spec:
  hosts:
    - my-service
  http:
    - fault:
        delay:
          fixedDelay: 5s  # 모든 요청을 5초 동안 지연
          percentage:
            value: 100.0  # 100% 요청에 적용
      route:
        - destination:
            host: my-service
            subset: v1

설명:

• fault.delay.fixedDelay: 5s → 모든 요청을 5초 동안 지연
• fault.delay.percentage.value: 100.0 → 100% 요청에 대해 지연 적용

💡 활용 사례:

• 사용자가 응답 지연을 경험할 때 서비스가 정상적으로 동작하는지 테스트
• Istio의 타임아웃 설정이 정상적으로 작동하는지 검증

---

✅ 2.2 오류(Failure) Fault Injection

아래 예제에서는 특정 요청이 50% 확률로 500 오류를 반환하도록 설정합니다.

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: my-service
spec:
  hosts:
    - my-service
  http:
    - fault:
        abort:
          httpStatus: 500  # HTTP 500 오류 반환
          percentage:
            value: 50.0  # 50% 확률로 적용
      route:
        - destination:
            host: my-service
            subset: v1

설명:

• fault.abort.httpStatus: 500 → 응답을 강제로 500 오류로 설정
• fault.abort.percentage.value: 50.0 → 50% 확률로 적용 (나머지 50%는 정상 응답)

💡 활용 사례:

• 서비스 장애 발생 시 애플리케이션이 정상적으로 대응하는지 테스트
• 자동 재시도(Retry), 장애 감지(Circuit Breaker) 설정이 올바르게 적용되는지 확인

---

🔹 3. Fault Injection과 복원력 테스트 시나리오

시나리오 1️⃣: 타임아웃 설정 검증 (지연 Fault Injection 활용)

1. 위의 **지연 Fault Injection 설정(5초 지연)**을 적용
2. Istio의 타임아웃 설정이 3초로 되어 있다면, 요청이 자동으로 실패해야 함
3. 서비스에서 타임아웃이 정상적으로 동작하는지 확인

---

시나리오 2️⃣: 자동 복구 기능 테스트 (오류 Fault Injection 활용)

1. 위의 **오류 Fault Injection 설정(50% 500 오류 발생)**을 적용
2. Istio의 **Retry 설정(3회 재시도)**을 활성화
3. 애플리케이션이 장애 발생 시 자동으로 재시도를 수행하는지 확인

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: my-service
spec:
  hosts:
    - my-service
  http:
    - fault:
        abort:
          httpStatus: 500
          percentage:
            value: 50.0
      retries:
        attempts: 3  # 최대 3번까지 재시도
        perTryTimeout: 2s  # 각 요청당 최대 2초 대기
        retryOn: "gateway-error,connect-failure,refused-stream"
      route:
        - destination:
            host: my-service
            subset: v1

💡 이 설정을 적용하면, 장애 발생 시 자동으로 3회 재시도하며 장애를 극복할 수 있음

---

📌 결론

• Fault Injection은 실제 장애 상황을 시뮬레이션하여 서비스의 복원력을 검증하는 기법입니다.
• 지연(Latency) Fault Injection을 활용하면, 네트워크 응답 시간이 길어질 때 서비스가 정상적으로 동작하는지 테스트할 수 있습니다.
• 오류(Failure) Fault Injection을 적용하면, 서버가 강제로 실패할 때 애플리케이션이 적절하게 대응하는지 검증할 수 있습니다.
• Retry, Circuit Breaker와 함께 조합하면 더욱 강력한 장애 복원력을 확보할 수 있습니다.