YG Tech Blog

✅ 목표: MinIO의 성능 테스트와 스트레스 테스트를 통해,대규모 데이터 처리 시 발생할 수 있는 성능 문제를 식별하고, 최적화 방안을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO 성능 테스트 개념 이해MinIO 성능 테스트 도구 소개MinIO 스트레스 테스트 설정 및 실행성능 최적화 및 문제 해결을 위한 팁🧠 1단계: MinIO 성능 테스트 개념 이해이 단계의 목적: MinIO 성능 테스트의 중요성을 이해하고,성능 테스트를 통해 성능 병목을 찾아내는 방법을 배웁니다.성능 테스트는 MinIO 클러스터가 높은 부하에서 어떻게 동작하는지 평가하는 과정입니다.스트레스 테스트는 최대 부하를 시뮬레이션하여 시스템의 한계를 확인하는 과정입니다.성능 문제를 사전에 파악하고 최적화하기 위해서는 성능 테스..

✅ 목표: Kubernetes Operator를 사용하여 MinIO의 관리 작업을 자동화하고,배포 및 확장성 관리를 효율적으로 설정하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약Kubernetes Operator 개념 이해MinIO Operator 설치 및 설정MinIO 클러스터 배포 및 관리 자동화MinIO Operator를 활용한 확장성 관리 및 업그레이드 실습🧠 1단계: Kubernetes Operator 개념 이해이 단계의 목적: Kubernetes Operator의 개념을 이해하고,MinIO Operator를 사용하여 Kubernetes 환경에서 MinIO 관리를 자동화하는 방법을 배웁니다.Kubernetes Operator는 Kubernetes API를 확장하여, 애플리케이션 관리..

✅ 목표: MinIO에서 멀티 테넌시 환경을 구현하고,각 테넌시 별로 액세스 제어 및 보안을 강화하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약멀티 테넌시 환경에 대한 개념 이해MinIO에서의 액세스 제어 및 보안 설정테넌시별 리소스 분리 및 RBAC 설정보안 강화 및 실습을 통한 적용🧠 1단계: 멀티 테넌시 환경에 대한 개념 이해이 단계의 목적: 멀티 테넌시 환경에서 액세스 제어 및 보안 강화가 어떻게 적용되는지 이해합니다.멀티 테넌시란, 하나의 MinIO 인스턴스에서 여러 테넌시가 각기 다른 데이터를 저장하고 관리할 수 있도록 하는 방식입니다.각 테넌시는 독립적으로 데이터를 관리하며, 액세스 제어를 통해 다른 테넌시의 데이터를 조회하거나 수정할 수 없습니다.MinIO에서 멀티 테넌시를 구..

✅ 목표: MinIO에서 버전 관리 및 데이터 무결성 검사 기능을 설정하고,데이터의 무결성을 유지하며, 버전 관리를 통한 효율적인 데이터 관리 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO 버전 관리 기능 설정데이터 무결성 검사 및 복구 전략 설정버전 관리 기능을 활용한 데이터 복구 실습MinIO에서의 데이터 무결성 검사를 자동화하는 방법🧠 1단계: MinIO 버전 관리 기능 설정이 단계의 목적: MinIO의 버전 관리 기능을 설정하고,데이터를 변경하거나 삭제할 때 발생할 수 있는 문제를 예방하는 방법을 배웁니다.MinIO 버전 관리 기능은 데이터를 버전별로 저장하여, 이전 버전으로 복구할 수 있도록 합니다.버전 관리 설정을 활성화하면, 데이터를 삭제하거나 덮어쓰더라도 이전 버전으로 복..

✅ 목표: MinIO에서의 데이터 백업과 복구 전략을 설정하고,MinIO 오브젝트 스토리지에서 발생할 수 있는 데이터 손실에 대응하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO의 백업 및 복구 개념 이해MinIO의 백업 전략 설정 및 테스트MinIO의 복구 전략 설정 및 실습MinIO 데이터 백업 및 복구 자동화 방안🧠 1단계: MinIO의 백업 및 복구 개념이 단계의 목적: MinIO에서 데이터를 보호하기 위한 백업과 복구 전략을 이해하고,어떻게 데이터 손실을 방지할 수 있는지 배웁니다.MinIO 백업: 데이터를 주기적으로 백업하여 데이터 유실을 방지합니다.MinIO 복구: 데이터를 복구하려면 백업 파일을 MinIO에 다시 복원하는 방식으로 진행됩니다.백업 방법: MinIO에서 제..

✅ 목표: MinIO를 Kubernetes 환경에서 High Availability(HA) 방식으로 구성하여,MinIO 클러스터의 고가용성을 확보하고 장애 대응 및 데이터 복구 기능을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO 고가용성(HA) 구성 개념 이해MinIO StatefulSet을 사용하여 HA 클러스터 구성MinIO의 데이터 동기화 및 장애 대응 실험Cilium을 활용한 HA 환경에서의 네트워크 보안 제어🧠 1단계: MinIO 고가용성(HA) 구성 개념이 단계의 목적: MinIO의 고가용성(HA) 구성을 이해하고,여러 MinIO 인스턴스를 클러스터로 묶어 장애에 강한 스토리지 시스템을 만드는 방법을 배웁니다.MinIO High Availability는 데이터를 여러 노드에 복제하..

✅ 목표: MinIO의 **PersistentVolumeClaim(PVC)**을 활용하여,MinIO 스토리지 확장성을 실험하고 PVC 기반의 확장성을 테스트하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약PVC 기반 MinIO 확장성 실험MinIO PVC의 리소스 할당과 확장성 테스트MinIO의 성능 측정 및 데이터 접근 최적화PVC와 StatefulSet을 활용한 확장성 실험🧠 1단계: MinIO PVC 설정 및 기본 확장성 개념이 단계의 목적: PVC를 사용하여 MinIO의 스토리지를 동적으로 확장할 수 있음을 이해하고,PVC와 관련된 기본 설정을 다룹니다.MinIO는 StatefulSet으로 배포되며, **Persistent Volume (PV)**을 활용하여 데이터를 저장합니다.PVC는..

✅ 목표: Spark 작업 실행 시 발생할 수 있는 **S3 에러 (403, timeout 등)**을 분석하고,MinIO 로그를 통해 문제를 진단하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약Spark 작업에서 발생하는 일반적인 S3 에러 분석 (403, timeout 등)MinIO 로그에서 에러 메시지 추적 및 원인 분석S3 에러 해결을 위한 설정 방법 및 최적화Prometheus와 Grafana를 사용하여 S3 에러 모니터링 설정🧠 1단계: Spark 작업에서 발생하는 S3 에러이 단계의 목적: Spark 작업 실행 중 발생할 수 있는 주요 S3 에러들을 이해하고,이를 해결하기 위한 접근 방안을 마련합니다.403 Forbidden:자격 증명이 올바르지 않거나, 권한이 부족할 때 발생AWS..

✅ 목표: MinIO의 성능 지표를 Prometheus로 수집하고,Prometheus와 MinIO Exporter를 연동하여 /metrics 엔드포인트에서 성능 지표를 확인하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO Exporter 설치 및 설정Prometheus와 MinIO Exporter 연동MinIO /metrics 엔드포인트 확인Prometheus 대시보드에서 지표 확인🧠 1단계: MinIO Exporter 설치이 단계의 목적: MinIO Exporter를 설치하여, Prometheus에서 MinIO의 성능 지표를 수집할 수 있도록 설정합니다.# MinIO Exporter 설치 (Helm 사용)helm install minio-exporter \ --namespace m..

✅ 목표: Cilium의 L7 네트워크 정책을 활용하여,HTTP DELETE 요청을 차단하거나 특정 파드에서만 허용하는 보안 정책을 구성하고 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO 객체 삭제 요청의 위험성과 차단 필요성 이해Cilium L7 HTTP 정책을 활용한 DELETE 차단 구성허용된 파드와 차단된 파드 비교 테스트Hubble을 통해 정책 효과 시각화⚠️ 1단계: MinIO 객체 삭제 요청의 위험성이 단계의 목적: API 요청 중 DELETE 메서드가 미치는 영향과실무 환경에서 어떻게 잘못 사용될 수 있는지를 이해합니다.DELETE 요청은 버킷 또는 객체를 영구 삭제함버전 관리가 비활성화된 버킷은 복구 불가능잘못된 설정 시 누구나 curl로 DELETE 가능☑️ 이 때문에 네트워크..