YG Tech Blog

이 글에서는 쿠버네티스 환경에서 데이터를 영구적으로 저장하기 위한 핵심 개념인 PV(PersistentVolume)와 PVC(PersistentVolumeClaim)에 대해 상세히 알아보겠습니다. 특히 MinIO와 같은 스토리지 시스템에서 데이터 영속성을 확보하는 방법에 중점을 두고 설명하겠습니다.📌 PV와 PVC의 개념 이해하기✅ 쿠버네티스의 스토리지 문제쿠버네티스 환경에서는 컨테이너가 언제든지 재시작되거나 다른 노드로 이동할 수 있습니다. 이런 특성은 유연성과 확장성을 제공하지만, 데이터 저장에는 큰 도전이 됩니다. 기본적으로 컨테이너 내부에 저장된 데이터는 컨테이너가 삭제되면 함께 사라집니다.▶️ 예시: 컨테이너 재시작 시나리오MinIO 컨테이너가 오류로 재시작되면 내부 데이터가 모두 손실됨사용자..

이 글에서는 MinIO 환경에서 접근 키를 관리하는 방법과 보안 자격 증명에 대한 베스트 프랙티스를 알아보겠습니다. 쿠버네티스 환경에서 MinIO의 접근 키를 안전하게 생성, 관리, 교체하는 방법부터 보안을 강화하는 기법까지 자세히 살펴보겠습니다.📌 MinIO 접근 키의 이해✅ MinIO 접근 자격 증명 소개MinIO는 S3 호환 스토리지로 다음과 같은 접근 자격 증명 시스템을 사용합니다:액세스 키(Access Key): 사용자 ID 역할, 공개적으로 노출되어도 괜찮음시크릿 키(Secret Key): 비밀번호 역할, 절대 노출되어서는 안 됨정책(Policy): 사용자에게 부여되는 권한 규칙 집합이러한 자격 증명 시스템은 AWS S3의 IAM 시스템과 유사하게 작동합니다.✅ MinIO 사용자 유형MinI..

이 글에서는 쿠버네티스 환경에 설치된 MinIO에서 버킷을 생성하고 관리하는 방법을 알아보겠습니다. MinIO CLI(mc)와 웹 콘솔 두 가지 인터페이스를 모두 활용하여 버킷 생성, 정책 설정, 객체 업로드 및 다운로드 방법을 단계별로 살펴보겠습니다.📌 MinIO 관리 도구 이해하기✅ MinIO 관리 인터페이스 종류MinIO는 다양한 방법으로 관리할 수 있습니다:MinIO 웹 콘솔 - 직관적인 GUI 제공MinIO 클라이언트(mc) - 강력한 명령줄 도구AWS S3 호환 SDK - 다양한 프로그래밍 언어 지원REST API - 직접 API 호출 가능  ✅ MinIO 클라이언트(mc) 소개MinIO 클라이언트는 다음과 같은 특징이 있습니다:S3 호환 스토리지를 위한 현대적인 대체 CLIAWS CLI와 ..

이 글에서는 쿠버네티스 환경에서 StatefulSet을 사용하여 MinIO를 배포하고 설정하는 방법을 상세히 알아보겠습니다. MinIO의 프로덕션 수준 구성을 위한 YAML 파일 작성부터 실제 배포 과정까지 단계별로 살펴보며, 각 설정의 의미와 중요성을 이해할 수 있도록 설명하겠습니다.📌 StatefulSet으로 MinIO 구성의 중요성✅ 상태 유지의 필요성MinIO는 객체 스토리지 시스템으로, 데이터의 영속성과 신뢰성이 매우 중요합니다. 일반 Deployment와 달리 StatefulSet은 다음과 같은 이점을 제공합니다:고정된 포드 이름과 네트워크 식별자순차적인 배포, 스케일링, 업그레이드안정적인 네트워크 ID와 영구 스토리지✅ MinIO와 StatefulSet의 시너지MinIO는 분산 스토리지 시..

이 글에서는 MinIO의 기본 개념과 특징을 살펴보고, 쿠버네티스 환경에서 MinIO를 활용하는 방법에 대한 기초 지식을 다룹니다. S3 호환 오브젝트 스토리지란 무엇인지, MinIO가 어떤 장점을 제공하는지, 그리고 왜 쿠버네티스와 함께 사용하면 더욱 효과적인지에 대해 알아보겠습니다.📌 MinIO란 무엇인가?✅ MinIO의 정의와 역할MinIO는 고성능의 분산형 오브젝트 스토리지 시스템으로, Amazon S3(Simple Storage Service) API와 완벽하게 호환됩니다. 클라우드 네이티브 애플리케이션과 컨테이너화된 환경을 위해 특별히 설계되었으며, 쿠버네티스와 같은 오케스트레이션 플랫폼에서 원활하게 동작합니다.▶️ 주요 특징:Amazon S3 API와 100% 호환고성능 (단일 노드에서 초..

이 글에서는 쿠버네티스의 핵심 리소스인 Pod, Service, Deployment에 대해 자세히 살펴봅니다. MinIO와 Cilium 환경 구축의 기반이 되는 이 리소스들의 개념, 특성, 그리고 효과적인 활용 방법을 실제 예제와 함께 상세히 알아보겠습니다.📌 Pod: 쿠버네티스의 기본 배포 단위✅ Pod의 기본 개념과 특성Pod는 쿠버네티스에서 가장 작은 배포 단위로, 하나 이상의 컨테이너를 포함하는 그룹입니다. 대부분의 경우 하나의 Pod에는 하나의 컨테이너가 포함되지만, 밀접하게 관련된 여러 컨테이너가 함께 동작해야 하는 경우 하나의 Pod에 여러 컨테이너를 포함할 수 있습니다.▶️ Pod의 주요 특성:Pod 내 컨테이너들은 항상 같은 노드에서 실행됨동일한 네트워크 네임스페이스를 공유 (local..

✅ 목표: Spark 작업 실행 시 발생할 수 있는 **S3 에러 (403, timeout 등)**을 분석하고,MinIO 로그를 통해 문제를 진단하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약Spark 작업에서 발생하는 일반적인 S3 에러 분석 (403, timeout 등)MinIO 로그에서 에러 메시지 추적 및 원인 분석S3 에러 해결을 위한 설정 방법 및 최적화Prometheus와 Grafana를 사용하여 S3 에러 모니터링 설정🧠 1단계: Spark 작업에서 발생하는 S3 에러이 단계의 목적: Spark 작업 실행 중 발생할 수 있는 주요 S3 에러들을 이해하고,이를 해결하기 위한 접근 방안을 마련합니다.403 Forbidden:자격 증명이 올바르지 않거나, 권한이 부족할 때 발생AWS..

✅ 목표: MinIO를 Helm으로 배포할 때, values.yaml을 수정해 커스터마이징을 적용하고로깅, 리소스 제한, 버킷 설정 등을 자신에게 맞게 구성하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO Helm Chart values.yaml 다운로드 및 구조 확인로그 출력 설정, 리소스 요청/제한, 버킷 구성 등 커스터마이징Helm Chart를 수정한 후 다시 배포변경 사항이 반영되었는지 확인📂 1단계: values.yaml 가져오기 및 구조 분석이 단계의 목적: MinIO 설치 시 사용하는 values.yaml 파일을 직접 가져와 수정 가능하도록 만들고,어떤 설정들이 가능한지 카테고리별로 구조를 파악합니다.# MinIO Helm Chart 저장helm show values bi..

✅ 목표: 로컬 환경(Docker Desktop Kubernetes)에 MinIO를 Helm으로 설치하고, 기본 버킷을 생성하여S3 호환 오브젝트 스토리지를 쿠버네티스에서 직접 운영할 수 있는 기반을 마련합니다.🔎 이번 글에서 수행할 작업 요약Helm 저장소 추가 및 MinIO 설치PVC와 서비스 등 MinIO 리소스 확인기본 버킷 생성 (mc CLI 사용)Helm uninstall 테스트로 상태 복원 확인🧱 1단계: Helm 저장소 추가 및 MinIO 설치이 단계의 목적: Helm 차트를 사용하여 MinIO를 빠르게 설치하고,Kubernetes에서 사용하는 리소스(Pod, PVC, Service 등)가 자동으로 생성되는 구조를 이해합니다.# Bitnami Helm 저장소 추가helm repo add..