YG Tech Blog

✅ 목표: MinIO의 성능 테스트와 스트레스 테스트를 통해,대규모 데이터 처리 시 발생할 수 있는 성능 문제를 식별하고, 최적화 방안을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO 성능 테스트 개념 이해MinIO 성능 테스트 도구 소개MinIO 스트레스 테스트 설정 및 실행성능 최적화 및 문제 해결을 위한 팁🧠 1단계: MinIO 성능 테스트 개념 이해이 단계의 목적: MinIO 성능 테스트의 중요성을 이해하고,성능 테스트를 통해 성능 병목을 찾아내는 방법을 배웁니다.성능 테스트는 MinIO 클러스터가 높은 부하에서 어떻게 동작하는지 평가하는 과정입니다.스트레스 테스트는 최대 부하를 시뮬레이션하여 시스템의 한계를 확인하는 과정입니다.성능 문제를 사전에 파악하고 최적화하기 위해서는 성능 테스..

✅ 목표: MinIO의 **PersistentVolumeClaim(PVC)**을 활용하여,MinIO 스토리지 확장성을 실험하고 PVC 기반의 확장성을 테스트하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약PVC 기반 MinIO 확장성 실험MinIO PVC의 리소스 할당과 확장성 테스트MinIO의 성능 측정 및 데이터 접근 최적화PVC와 StatefulSet을 활용한 확장성 실험🧠 1단계: MinIO PVC 설정 및 기본 확장성 개념이 단계의 목적: PVC를 사용하여 MinIO의 스토리지를 동적으로 확장할 수 있음을 이해하고,PVC와 관련된 기본 설정을 다룹니다.MinIO는 StatefulSet으로 배포되며, **Persistent Volume (PV)**을 활용하여 데이터를 저장합니다.PVC는..

✅ 목표: Hubble을 사용하여 Cilium 기반의 MinIO 클러스터 내 네트워크 흐름을 실시간으로 추적하고,MinIO와 관련된 요청 흐름을 로그와 함께 통합하여 분석하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약Hubble CLI 및 UI를 통해 네트워크 흐름 추적MinIO와 클라이언트 간의 HTTP 요청 흐름 시각화로그 기반으로 요청 흐름 분석MinIO에서 발생하는 에러 및 지연을 추적하여 원인 분석🧠 1단계: Hubble CLI로 네트워크 흐름 추적이 단계의 목적: Hubble CLI를 사용해 Cilium 네트워크 내에서 MinIO로의 요청 흐름을 실시간으로 추적하는 방법을 실습합니다.# Hubble CLI 설치 및 활성화cilium hubble enable# MinIO로 향하는 H..

✅ 목표: Apache Spark에서 Executor 수를 조절하며 MinIO로 데이터를 저장할 때병렬성에 따른 성능 변화를 측정하고 최적의 리소스 설정을 도출해 봅니다.🔎 이번 글에서 수행할 작업 요약Spark Executor 병렬 구조 이해 및 리소스 설정 포인트 정리Executor 수를 조절하며 MinIO 업로드 테스트작업 처리 시간 및 S3 요청 수 비교실험 결과를 기반으로 적정 Executor 수 도출🧠 1단계: Spark Executor 구조와 리소스 설정 이해이 단계의 목적: Spark Executor가 어떤 역할을 수행하며,병렬성(Executor 수)이 데이터 처리에 어떤 영향을 주는지 이해합니다.Executor: Spark 작업 단위 실행 주체 (컨테이너 1개 = Executor 1개..

✅ 목표: MinIO가 사용하는 Persistent Volume의 성능을 측정하기 위해fio, ioping, dd 같은 도구를 활용하여 I/O 성능을 수치화하고 분석하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약테스트용 파드를 생성하고 PVC를 연결fio, ioping, dd 도구 설치 및 실행읽기/쓰기 IOPS 및 처리 속도 측정측정값을 기반으로 성능 병목 판단🧱 1단계: 테스트용 PVC와 파드 구성이 단계의 목적: MinIO에서 사용하는 PVC와 동일한 스토리지 클래스를 기준으로별도의 테스트 파드를 생성하여 성능 측정 환경을 준비합니다.# pvc-test-pod.yamlapiVersion: v1kind: Podmetadata: name: pvc-test-pod ..

✅ 목표: Apache Spark에서 MinIO(S3 호환)로 데이터를 업로드할 때,fs.s3a.fast.upload=true 설정을 적용하여 업로드 성능을 개선하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약Spark에서 S3A 기본 업로드 방식 이해fast.upload 옵션이 활성화되었을 때의 성능 변화 구조 설명Spark 작업에서 실제 옵션 적용 방법 실습업로드 처리 시간 비교 테스트🧠 1단계: 기본 업로드 방식 구조 이해이 단계의 목적: Spark가 S3A를 통해 데이터를 저장할 때,기본 업로드 흐름과 성능 병목이 발생하는 원인을 이해합니다.기본 구조:데이터가 작은 버퍼 단위로 업로드됨네트워크 호출이 잦고 병렬성이 낮음병목 원인:작은 객체가 잦은 PUT 요청으로 전송됨Buffer-to-..

🔹 Argo CD 운영 시 성능 최적화가 필요한 이유Argo CD는 GitOps 방식으로 Kubernetes 애플리케이션을 자동으로 배포하고 동기화하지만,운영 환경에서 대규모 애플리케이션을 관리할 경우 성능 저하가 발생할 수 있습니다. ✅ Argo CD 성능 최적화가 필요한 이유✔ 대규모 애플리케이션 배포 시 리소스 사용량 증가✔ Git 저장소 변경 감지 및 동기화 속도 최적화 필요✔ Argo CD의 API 서버 및 컨트롤러의 부하 최소화✔ Prometheus 및 Grafana를 활용한 실시간 모니터링 필요🔹 1. Argo CD 성능 최적화 전략Argo CD를 운영할 때, 다음과 같은 핵심 최적화 전략을 적용할 수 있습니다.✅ 1.1 Argo CD 컨트롤러의 리소스 최적화Argo CD의 Applica..

쿠버네티스 클러스터를 운영할 때, 리소스 사용량을 최적화하고 성능을 튜닝하는 것은 클러스터 안정성과 운영 비용 절감에 중요한 요소입니다.이 글에서는 쿠버네티스 환경에서 노드 및 Pod의 리소스를 효율적으로 관리하고 성능을 최적화하는 방법을 다룹니다. 📌 글에서 다루는 상황들  1. 리소스 요청(Request) 및 제한(Limit) 설정을 통한 클러스터 안정성 향상 2. Horizontal Pod Autoscaler(HPA) 및 Vertical Pod Autoscaler(VPA)를 활용한 동적 리소스 최적화 3. kubectl 및 모니터링 도구(Prometheus, Metrics Server)를 활용한 성능 분석 및 리소스 튜닝 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결..