YG Tech Blog

✅ 목표: Hubble을 사용하여 Cilium 기반의 MinIO 클러스터 내 네트워크 흐름을 실시간으로 추적하고,MinIO와 관련된 요청 흐름을 로그와 함께 통합하여 분석하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약Hubble CLI 및 UI를 통해 네트워크 흐름 추적MinIO와 클라이언트 간의 HTTP 요청 흐름 시각화로그 기반으로 요청 흐름 분석MinIO에서 발생하는 에러 및 지연을 추적하여 원인 분석🧠 1단계: Hubble CLI로 네트워크 흐름 추적이 단계의 목적: Hubble CLI를 사용해 Cilium 네트워크 내에서 MinIO로의 요청 흐름을 실시간으로 추적하는 방법을 실습합니다.# Hubble CLI 설치 및 활성화cilium hubble enable# MinIO로 향하는 H..

✅ 목표: Spark 작업 실행 시 발생할 수 있는 **S3 에러 (403, timeout 등)**을 분석하고,MinIO 로그를 통해 문제를 진단하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약Spark 작업에서 발생하는 일반적인 S3 에러 분석 (403, timeout 등)MinIO 로그에서 에러 메시지 추적 및 원인 분석S3 에러 해결을 위한 설정 방법 및 최적화Prometheus와 Grafana를 사용하여 S3 에러 모니터링 설정🧠 1단계: Spark 작업에서 발생하는 S3 에러이 단계의 목적: Spark 작업 실행 중 발생할 수 있는 주요 S3 에러들을 이해하고,이를 해결하기 위한 접근 방안을 마련합니다.403 Forbidden:자격 증명이 올바르지 않거나, 권한이 부족할 때 발생AWS..

✅ 목표: Cilium을 활용한 DNS 요청의 안정성 확보와 CoreDNS의 성능 최적화를 통해,MinIO와 같은 서비스의 DNS 응답 시간 단축 및 안정성 향상을 실습합니다.🔎 이번 글에서 수행할 작업 요약Cilium DNS-aware 기능 활성화 및 설정CoreDNS의 성능 최적화를 위한 설정 변경DNS 안정성 테스트 및 성능 비교Cilium을 활용한 네트워크 요청 흐름 제어🧠 1단계: Cilium DNS-aware 기능 활성화이 단계의 목적: Cilium의 DNS-aware 기능을 활성화하여,DNS 요청을 패킷 수준에서 처리할 수 있도록 설정합니다.# Cilium DNS-aware 기능을 활성화하는 설정 확인kubectl -n kube-system get configmap cilium-confi..

✅ 목표: Kubernetes 클러스터 내부에서 MinIO의 DNS 기반 네트워크 구조를 이해하고,Spark 등 워크로드가 s3a:// 방식으로 MinIO에 접근할 수 있는지 실제로 테스트해봅니다.🔎 이번 글에서 수행할 작업 요약MinIO 서비스의 DNS 구조 및 접근 주소 확인Spark 또는 테스트 파드에서 s3a:// 프로토콜로 접근 테스트Spark 설정에 필요한 핵심 fs.s3a.* 항목 정리 및 테스트🌐 1단계: MinIO 서비스 DNS 구조 확인이 단계의 목적: MinIO가 내부에서 어떤 DNS 주소로 노출되는지 확인하고,s3a:// 경로로 접근할 때 사용할 수 있는 주소 형식을 파악합니다.# MinIO 서비스 정보 확인kubectl get svc -n minio 예시 출력:NAME T..