[Ep.30] [Argo CD 성능 최적화 #7] Argo CD의 운영 환경 모니터링 및 로깅

🔹 왜 Argo CD 모니터링과 로깅이 중요한가?

Argo CD를 운영할 때 배포 상태, 성능, 장애 발생 여부를 모니터링하고,
문제가 발생했을 때 신속하게 진단할 수 있도록 로깅(Log Management)을 구성하는 것이 중요합니다.

✅ Argo CD 운영 환경에서 필요한 모니터링 요소

 

모니터링 항목	설명
Sync 상태	애플리케이션이 Git과 동기화(Sync) 상태인지 확인
애플리케이션 헬스 체크	애플리케이션이 정상적으로 실행되고 있는지 모니터링
컨트롤러 성능	Argo CD 컨트롤러 리소스(CPU, 메모리) 사용량 확인
이벤트 및 알림	배포 실패, 롤백 이벤트 등을 Slack/Email로 알림 설정
로그 분석	Argo CD API 서버, 컨트롤러, 리포지토리 서버의 로그 수집

---

🔹 1. Prometheus & Grafana를 활용한 Argo CD 메트릭 모니터링

Argo CD는 Prometheus 형식의 메트릭을 제공하여,
Prometheus와 Grafana를 연동하면 시각적인 대시보드에서 모니터링 가능합니다.

✅ Prometheus를 활용한 Argo CD 메트릭 수집

Argo CD의 메트릭을 Prometheus에서 수집하려면,
ServiceMonitor 리소스를 생성하여 Argo CD의 /metrics 엔드포인트를 모니터링해야 합니다.

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: argocd-metrics
  namespace: monitoring  # Prometheus가 배포된 네임스페이스
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: argocd-server  # Argo CD 서버의 라벨 지정
  endpoints:
    - port: metrics  # Argo CD의 /metrics 엔드포인트 모니터링
      interval: 30s  # 30초마다 메트릭 수집

 

✅ 설명:
✔ selector.matchLabels.app.kubernetes.io/name: argocd-server → Argo CD 서버를 대상으로 모니터링 설정
✔ endpoints.port: metrics → Argo CD의 /metrics 엔드포인트에서 메트릭 수집
✔ interval: 30s → 30초 간격으로 메트릭 업데이트

 

✅ ServiceMonitor 적용 방법

kubectl apply -f argocd-servicemonitor.yaml -n monitoring

 

✅ Prometheus에서 Argo CD 메트릭 확인

kubectl port-forward svc/prometheus-service -n monitoring 9090

웹 브라우저에서 http://localhost:9090 접속 후, argocd_* 메트릭 검색

---

🔹 2. Grafana를 활용한 Argo CD 모니터링 대시보드 구축

Grafana를 활용하여 Argo CD의 배포 상태, 동기화율, 성능 데이터를 시각적으로 확인할 수 있습니다.

✅ Grafana에서 Argo CD 대시보드 추가 방법

1️⃣ Grafana 접속 → http://localhost:3000
2️⃣ Data Sources → Prometheus 추가
3️⃣ Import Dashboard → Grafana Dashboard ID: 14487 입력

 

✅ Argo CD 대시보드에서 확인할 수 있는 정보
✔ Sync 상태 (argocd_app_sync_status)
✔ 애플리케이션 헬스 체크 (argocd_app_health_status)
✔ 컨트롤러 리소스 사용량 (argocd_controller_cpu, argocd_controller_memory)
✔ 배포 성공률 및 실패율

---

🔹 3. Loki & Fluent Bit을 활용한 Argo CD 로그 분석

Argo CD 운영 중 배포 실패, 동기화 오류 등 문제 발생 시 로그 분석이 필수적입니다.
Loki + Fluent Bit을 사용하면 Argo CD의 로그를 중앙 집중식으로 관리할 수 있습니다.

✅ Fluent Bit을 활용한 Argo CD 로그 수집 설정

apiVersion: fluentbit.fluent.io/v1alpha2
kind: ClusterOutput
metadata:
  name: loki-argocd
  namespace: monitoring
spec:
  match: argocd*
  loki:
    url: http://loki.monitoring.svc:3100  # Loki 서비스 URL

 

✅ 설명:
✔ match: argocd* → argocd-* 로깅 라벨을 가진 로그만 수집
✔ loki.url → Loki 서비스의 URL 지정

 

✅ 로그 수집 적용 방법

kubectl apply -f fluentbit-loki-argocd.yaml -n monitoring

 

✅ Loki에서 Argo CD 로그 조회 (Grafana에서 실행 가능)

{job="argocd"}

---

🔹 4. Argo CD Notifications를 활용한 알림 설정

Argo CD는 배포 실패, 동기화 오류 등의 이벤트 발생 시 Slack 또는 Email로 알림을 전송할 수 있습니다.

✅ Slack 알림 설정 예제

apiVersion: v1
kind: ConfigMap
metadata:
  name: argocd-notifications-cm
  namespace: argocd
data:
  service.slack: |
    token: xoxb-xxxxxxxxxxxx-xxxxxxxxxxxxxxxx
  trigger.sync-failed: |
    - when: app.status.sync.status == 'OutOfSync'
      send: [slack]

 

✅ 설명:
✔ service.slack.token → Slack API 토큰 입력
✔ trigger.sync-failed → 애플리케이션이 OutOfSync 상태일 때 Slack 알림 전송

 

✅ Slack 알림 설정 적용 방법

kubectl apply -f argocd-notifications.yaml -n argocd

---

🔹 5. Argo CD 운영 모니터링 시 고려할 점

✅ 1️⃣ 리소스 사용량 최적화
✔ Argo CD 컨트롤러, 리포지토리 서버의 CPU/메모리 사용량을 주기적으로 모니터링
✔ 필요 시 HPA(Horizontal Pod Autoscaler) 설정하여 자동 확장

 

✅ 2️⃣ 배포 실패 원인 분석
✔ 배포 실패 시 argocd app history 명령어로 변경 이력 조회
✔ argocd app logs를 활용하여 상세 오류 로그 확인

 

✅ 3️⃣ 모니터링 대시보드 유지보수
✔ Prometheus에서 argocd_* 메트릭이 정상적으로 수집되는지 주기적으로 확인
✔ Grafana 대시보드를 최신 상태로 유지하여 시각적인 모니터링 환경 유지

---

🔹 결론: 이번 글에서 배운 핵심 내용 정리

🟢 Prometheus & Grafana를 활용하여 Argo CD 운영 환경을 실시간으로 모니터링 가능
🟢 Loki & Fluent Bit을 사용하여 Argo CD 로그를 중앙 집중식으로 분석 가능
🟢 Argo CD Notifications를 설정하면 배포 실패, 동기화 오류 발생 시 즉시 Slack/Email 알림 전송 가능
🟢 운영 환경을 지속적으로 모니터링하여 Argo CD의 성능 및 안정성을 유지할 수 있음