YG Tech Blog

✅ 목표: MinIO의 성능 테스트와 스트레스 테스트를 통해,대규모 데이터 처리 시 발생할 수 있는 성능 문제를 식별하고, 최적화 방안을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO 성능 테스트 개념 이해MinIO 성능 테스트 도구 소개MinIO 스트레스 테스트 설정 및 실행성능 최적화 및 문제 해결을 위한 팁🧠 1단계: MinIO 성능 테스트 개념 이해이 단계의 목적: MinIO 성능 테스트의 중요성을 이해하고,성능 테스트를 통해 성능 병목을 찾아내는 방법을 배웁니다.성능 테스트는 MinIO 클러스터가 높은 부하에서 어떻게 동작하는지 평가하는 과정입니다.스트레스 테스트는 최대 부하를 시뮬레이션하여 시스템의 한계를 확인하는 과정입니다.성능 문제를 사전에 파악하고 최적화하기 위해서는 성능 테스..

✅ 목표: MinIO에서의 데이터 백업과 복구 전략을 설정하고,MinIO 오브젝트 스토리지에서 발생할 수 있는 데이터 손실에 대응하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO의 백업 및 복구 개념 이해MinIO의 백업 전략 설정 및 테스트MinIO의 복구 전략 설정 및 실습MinIO 데이터 백업 및 복구 자동화 방안🧠 1단계: MinIO의 백업 및 복구 개념이 단계의 목적: MinIO에서 데이터를 보호하기 위한 백업과 복구 전략을 이해하고,어떻게 데이터 손실을 방지할 수 있는지 배웁니다.MinIO 백업: 데이터를 주기적으로 백업하여 데이터 유실을 방지합니다.MinIO 복구: 데이터를 복구하려면 백업 파일을 MinIO에 다시 복원하는 방식으로 진행됩니다.백업 방법: MinIO에서 제..

✅ 목표: MinIO의 **PersistentVolumeClaim(PVC)**을 활용하여,MinIO 스토리지 확장성을 실험하고 PVC 기반의 확장성을 테스트하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약PVC 기반 MinIO 확장성 실험MinIO PVC의 리소스 할당과 확장성 테스트MinIO의 성능 측정 및 데이터 접근 최적화PVC와 StatefulSet을 활용한 확장성 실험🧠 1단계: MinIO PVC 설정 및 기본 확장성 개념이 단계의 목적: PVC를 사용하여 MinIO의 스토리지를 동적으로 확장할 수 있음을 이해하고,PVC와 관련된 기본 설정을 다룹니다.MinIO는 StatefulSet으로 배포되며, **Persistent Volume (PV)**을 활용하여 데이터를 저장합니다.PVC는..

✅ 목표: MinIO가 사용하는 Persistent Volume의 성능을 측정하기 위해fio, ioping, dd 같은 도구를 활용하여 I/O 성능을 수치화하고 분석하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약테스트용 파드를 생성하고 PVC를 연결fio, ioping, dd 도구 설치 및 실행읽기/쓰기 IOPS 및 처리 속도 측정측정값을 기반으로 성능 병목 판단🧱 1단계: 테스트용 PVC와 파드 구성이 단계의 목적: MinIO에서 사용하는 PVC와 동일한 스토리지 클래스를 기준으로별도의 테스트 파드를 생성하여 성능 측정 환경을 준비합니다.# pvc-test-pod.yamlapiVersion: v1kind: Podmetadata: name: pvc-test-pod ..

✅ 목표: Kubernetes 클러스터 내부에서 MinIO의 DNS 기반 네트워크 구조를 이해하고,Spark 등 워크로드가 s3a:// 방식으로 MinIO에 접근할 수 있는지 실제로 테스트해봅니다.🔎 이번 글에서 수행할 작업 요약MinIO 서비스의 DNS 구조 및 접근 주소 확인Spark 또는 테스트 파드에서 s3a:// 프로토콜로 접근 테스트Spark 설정에 필요한 핵심 fs.s3a.* 항목 정리 및 테스트🌐 1단계: MinIO 서비스 DNS 구조 확인이 단계의 목적: MinIO가 내부에서 어떤 DNS 주소로 노출되는지 확인하고,s3a:// 경로로 접근할 때 사용할 수 있는 주소 형식을 파악합니다.# MinIO 서비스 정보 확인kubectl get svc -n minio 예시 출력:NAME T..

✅ 목표: MinIO를 Helm으로 배포할 때, values.yaml을 수정해 커스터마이징을 적용하고로깅, 리소스 제한, 버킷 설정 등을 자신에게 맞게 구성하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO Helm Chart values.yaml 다운로드 및 구조 확인로그 출력 설정, 리소스 요청/제한, 버킷 구성 등 커스터마이징Helm Chart를 수정한 후 다시 배포변경 사항이 반영되었는지 확인📂 1단계: values.yaml 가져오기 및 구조 분석이 단계의 목적: MinIO 설치 시 사용하는 values.yaml 파일을 직접 가져와 수정 가능하도록 만들고,어떤 설정들이 가능한지 카테고리별로 구조를 파악합니다.# MinIO Helm Chart 저장helm show values bi..

✅ 목표: 로컬 환경(Docker Desktop Kubernetes)에 MinIO를 Helm으로 설치하고, 기본 버킷을 생성하여S3 호환 오브젝트 스토리지를 쿠버네티스에서 직접 운영할 수 있는 기반을 마련합니다.🔎 이번 글에서 수행할 작업 요약Helm 저장소 추가 및 MinIO 설치PVC와 서비스 등 MinIO 리소스 확인기본 버킷 생성 (mc CLI 사용)Helm uninstall 테스트로 상태 복원 확인🧱 1단계: Helm 저장소 추가 및 MinIO 설치이 단계의 목적: Helm 차트를 사용하여 MinIO를 빠르게 설치하고,Kubernetes에서 사용하는 리소스(Pod, PVC, Service 등)가 자동으로 생성되는 구조를 이해합니다.# Bitnami Helm 저장소 추가helm repo add..

쿠버네티스 환경에서는 Pod이 재시작되거나 다른 노드로 이동하더라도 데이터가 유지되어야 하는 경우가 많습니다.이를 위해 PersistentVolume(PV)와 PersistentVolumeClaim(PVC)를 활용하여 데이터를 지속적으로 보관하고, 필요할 때 다른 Pod에서도 동일한 데이터를 사용할 수 있도록 구성하는 방법을 다룹니다.이 글에서는 PVC를 이용한 데이터 지속성 보장과 볼륨 마이그레이션 전략을 소개합니다. 📌 글에서 다루는 상황들  1. PersistentVolumeClaim(PVC)를 활용하여 데이터를 유지하는 방법 2. Pod이 다른 노드에서 실행될 때 기존 데이터를 유지하는 방법 3. 볼륨 마이그레이션을 활용하여 스토리지 백엔드를 변경하는 방법 각 문제를 실무에서 바로 활용할 수 있..

쿠버네티스에서 애플리케이션이 재시작되거나 이동하더라도 데이터를 유지할 수 있도록 스토리지를 설정하는 것이 중요합니다.이를 위해 PersistentVolume(PV)과 PersistentVolumeClaim(PVC)을 활용하여 안정적인 데이터 저장소를 구성하는 방법을 다룹니다. 📌 글에서 다루는 상황들  1. PersistentVolume(PV) 및 PersistentVolumeClaim(PVC)을 활용한 데이터 저장 2. Pod에서 PVC를 마운트하여 데이터 유지 확인 3. PV와 PVC를 활용한 영구 스토리지 운영 전략 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ PersistentVolume(PV) 및 PersistentVolumeClaim..

쿠버네티스에서 StatefulSet은 상태를 유지해야 하는 애플리케이션을 배포할 때 필수적인 리소스입니다.Pod이 삭제되더라도 고유한 네트워크 ID와 데이터를 유지해야 하는 경우 StatefulSet을 활용해야 합니다.이 글에서는 StatefulSet을 활용하여 데이터 저장 및 복원 전략을 적용하는 방법을 다룹니다. 📌 글에서 다루는 상황들  1. StatefulSet을 활용한 상태 저장 애플리케이션 배포 2. PersistentVolumeClaim(PVC)을 활용한 데이터 저장 및 유지 3. StatefulSet의 Pod 복구 및 데이터 보존 전략 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ StatefulSet을 활용한 상태 저장 애플리케이..