[Istio 가이드 ep.30] 4부 모니터링 #6 | Istio에서 로그 데이터 중앙화 및 Fluentd 연동

🔹 개요

이번 글에서는 Istio에서 로그 데이터를 중앙화하고 Fluentd를 활용하여 로그를 효율적으로 수집, 저장 및 분석하는 방법을 살펴보겠습니다.
마이크로서비스 환경에서는 각 서비스가 개별적인 로그를 생성하기 때문에, 로그를 중앙에서 관리하는 것이 중요합니다.
Istio는 Envoy Proxy를 통해 모든 네트워크 트래픽을 로깅할 수 있으며, 이를 Fluentd와 연동하면 로그 분석이 더욱 용이해집니다.

이 글에서는 Istio의 로그 수집 구조, Fluentd 연동 방법 및 실전 예제를 설명하겠습니다.

---

🔹 1. Istio 로그 데이터 중앙화의 필요성

✅ 1.1 로그 중앙화가 필요한 이유

마이크로서비스 환경에서는 각 Pod가 독립적으로 실행되며 개별적인 로그를 생성합니다.
따라서 로그 데이터를 중앙에서 관리하지 않으면, 장애 발생 시 로그를 수집하고 분석하는 것이 어렵습니다.

로그 중앙화의 주요 장점

1️⃣ 서비스 간 연관된 로그를 하나의 시스템에서 분석 가능
2️⃣ 검색 및 필터링을 통해 장애 원인 분석 속도 향상
3️⃣ 로그 데이터를 기반으로 성능 모니터링 및 보안 감사 가능
4️⃣ 장애 발생 시 실시간 알람 설정 가능 (예: Elastic Stack, Loki 등과 연동)

💡 Istio에서는 Envoy Proxy를 통해 모든 트래픽을 로깅할 수 있으며, Fluentd를 활용하여 중앙 로그 시스템으로 전송할 수 있습니다.

---

✅ 1.2 Istio의 로그 수집 흐름

Istio에서 로그 데이터를 중앙화하는 기본적인 흐름은 다음과 같습니다.

1️⃣ Envoy Proxy → 서비스 간 트래픽을 감지하고 로그 생성
2️⃣ Fluentd → Envoy Proxy 로그를 수집 및 필터링
3️⃣ Elasticsearch, Loki, Splunk 등 → 수집된 로그를 저장 및 분석
4️⃣ Grafana/Kibana → 로그 데이터를 시각적으로 분석

---

🔹 2. Istio 로그 중앙화 구축: Fluentd 연동 방법

✅ 2.1 Fluentd 설치 (Helm 사용)

Fluentd는 Kubernetes 환경에서 로그를 수집하여 중앙화할 수 있는 오픈소스 로그 수집기입니다.
Fluentd를 Istio와 연동하려면 Helm을 사용하여 설치할 수 있습니다.

helm repo add fluent https://fluent.github.io/helm-charts
helm repo update
helm install fluentd fluent/fluentd -n logging --create-namespace

 

설치 후 Fluentd가 정상적으로 실행되고 있는지 확인합니다.

kubectl get pods -n logging | grep fluentd

 

출력 예제:

fluentd-5d8b6f8d7c-xyz12   1/1   Running   0     2m

💡 Fluentd가 실행되면, Istio의 Envoy Proxy 로그를 수집할 준비가 완료됩니다.

---

✅ 2.2 Istio Envoy Proxy 로그 포맷 변경 (Fluentd 연동)

Istio의 Envoy Proxy 로그가 Fluentd와 호환되도록 JSON 형식으로 변경해야 합니다.

① Istio Proxy의 로그 설정을 JSON 형식으로 변경

apiVersion: telemetry.istio.io/v1alpha1
kind: Telemetry
metadata:
  name: access-logs
  namespace: istio-system
spec:
  accessLogging:
    providers:
      - name: envoy
    format: |
      {
        "start_time": "%START_TIME%",
        "method": "%REQ(:METHOD)%",
        "path": "%REQ(X-ENVOY-ORIGINAL-PATH?:PATH)%",
        "protocol": "%PROTOCOL%",
        "response_code": "%RESPONSE_CODE%",
        "response_flags": "%RESPONSE_FLAGS%",
        "bytes_received": "%BYTES_RECEIVED%",
        "bytes_sent": "%BYTES_SENT%",
        "duration": "%DURATION%",
        "upstream_service_time": "%RESP(X-ENVOY-UPSTREAM-SERVICE-TIME)%",
        "x_forwarded_for": "%REQ(X-FORWARDED-FOR)%",
        "user_agent": "%REQ(USER-AGENT)%",
        "request_id": "%REQ(X-REQUEST-ID)%",
        "authority": "%REQ(:AUTHORITY)%",
        "upstream_host": "%UPSTREAM_HOST%"
      }

설명:

• format → 로그 데이터를 JSON 형식으로 변환하여 Fluentd와 연동 가능하도록 설정
• "start_time" → 요청이 시작된 시간
• "method" → HTTP 요청 방식 (GET, POST 등)
• "path" → 요청 경로
• "response_code" → 응답 코드 (200, 404, 500 등)
• "bytes_received" → 수신된 데이터 크기
• "bytes_sent" → 전송된 데이터 크기
• "duration" → 요청 처리 시간 (ms)

💡 JSON 형식의 로그를 사용하면 Fluentd와 쉽게 연동할 수 있으며, Elasticsearch 및 Loki와도 호환됩니다.

---

✅ 2.3 Fluentd 설정 (ConfigMap 적용)

Fluentd가 Istio의 Envoy 로그를 수집하도록 설정하려면, ConfigMap을 생성해야 합니다.

apiVersion: v1
kind: ConfigMap
metadata:
  name: fluentd-config
  namespace: logging
data:
  fluent.conf: |
    <source>
      @type tail
      path /var/log/containers/*istio-proxy*.log  # Istio Proxy 로그 경로
      pos_file /var/log/fluentd-istio.pos
      tag istio.*
      format json
    </source>

    <match istio.**>
      @type elasticsearch
      host elasticsearch.logging.svc.cluster.local  # Elasticsearch 주소
      port 9200
      logstash_format true
      logstash_prefix istio-logs
      include_tag_key true
      type_name _doc
    </match>

설명:

• <source> → Istio Proxy 로그 파일(/var/log/containers/*istio-proxy*.log)을 읽어옴
• <match istio.**> → Elasticsearch로 로그를 전송하도록 설정
• logstash_prefix istio-logs → Elasticsearch에 저장될 인덱스 이름을 istio-logs로 지정

💡 Elasticsearch를 사용하지 않는 경우, Fluentd를 Loki 또는 Splunk 등 다른 로그 분석 시스템과 연동할 수도 있습니다.

---

✅ 2.4 Fluentd 설정 적용 및 재시작

ConfigMap을 생성한 후 Fluentd에 적용하려면, Deployment를 재시작해야 합니다.

kubectl rollout restart deployment fluentd -n logging

 

정상적으로 로그가 수집되고 있는지 확인하려면 다음 명령어를 실행합니다.

kubectl logs -l app=fluentd -n logging --tail=100

 

출력 예제:

{
  "start_time": "2024-03-16T12:34:56.123Z",
  "method": "GET",
  "path": "/api/data",
  "protocol": "HTTP/1.1",
  "response_code": 200,
  "bytes_received": 512,
  "bytes_sent": 1024,
  "duration": 20
}

💡 로그가 정상적으로 출력되면, Fluentd가 Istio의 Envoy Proxy 로그를 수집하고 있다는 의미입니다.

---

📌 결론

• Istio의 Envoy Proxy 로그를 중앙에서 수집하면, 서비스 간 트래픽을 효과적으로 분석할 수 있습니다.
• Fluentd를 사용하면 Istio의 로그 데이터를 Elasticsearch, Loki, Splunk 등 다양한 시스템으로 전송할 수 있습니다.
• JSON 형식의 로그를 사용하면 로그 분석이 더욱 용이하며, 검색 및 필터링 속도가 향상됩니다.