Data Engineering 107

EP09 [ MinIO S3 + Cilium 기초 과정 ] 스토리지 기초 개념 #1 | PV/PVC 완전 정복 - MinIO 데이터 영구 저장하기

이 글에서는 쿠버네티스 환경에서 데이터를 영구적으로 저장하기 위한 핵심 개념인 PV(PersistentVolume)와 PVC(PersistentVolumeClaim)에 대해 상세히 알아보겠습니다. 특히 MinIO와 같은 스토리지 시스템에서 데이터 영속성을 확보하는 방법에 중점을 두고 설명하겠습니다.📌 PV와 PVC의 개념 이해하기✅ 쿠버네티스의 스토리지 문제쿠버네티스 환경에서는 컨테이너가 언제든지 재시작되거나 다른 노드로 이동할 수 있습니다. 이런 특성은 유연성과 확장성을 제공하지만, 데이터 저장에는 큰 도전이 됩니다. 기본적으로 컨테이너 내부에 저장된 데이터는 컨테이너가 삭제되면 함께 사라집니다.▶️ 예시: 컨테이너 재시작 시나리오MinIO 컨테이너가 오류로 재시작되면 내부 데이터가 모두 손실됨사용자..

EP08 [ MinIO S3 + Cilium 기초 과정 ] MinIO 기본 설치 및 관리 #5 | MinIO 접근 키 관리 - 보안 자격 증명 관리 베스트 프랙티스

이 글에서는 MinIO 환경에서 접근 키를 관리하는 방법과 보안 자격 증명에 대한 베스트 프랙티스를 알아보겠습니다. 쿠버네티스 환경에서 MinIO의 접근 키를 안전하게 생성, 관리, 교체하는 방법부터 보안을 강화하는 기법까지 자세히 살펴보겠습니다.📌 MinIO 접근 키의 이해✅ MinIO 접근 자격 증명 소개MinIO는 S3 호환 스토리지로 다음과 같은 접근 자격 증명 시스템을 사용합니다:액세스 키(Access Key): 사용자 ID 역할, 공개적으로 노출되어도 괜찮음시크릿 키(Secret Key): 비밀번호 역할, 절대 노출되어서는 안 됨정책(Policy): 사용자에게 부여되는 권한 규칙 집합이러한 자격 증명 시스템은 AWS S3의 IAM 시스템과 유사하게 작동합니다.✅ MinIO 사용자 유형MinI..

EP07 [ MinIO S3 + Cilium 기초 과정 ] MinIO 기본 설치 및 관리 #4 | MinIO 버킷 관리 실습 - CLI와 웹 콘솔 마스터하기

이 글에서는 쿠버네티스 환경에 설치된 MinIO에서 버킷을 생성하고 관리하는 방법을 알아보겠습니다. MinIO CLI(mc)와 웹 콘솔 두 가지 인터페이스를 모두 활용하여 버킷 생성, 정책 설정, 객체 업로드 및 다운로드 방법을 단계별로 살펴보겠습니다.📌 MinIO 관리 도구 이해하기✅ MinIO 관리 인터페이스 종류MinIO는 다양한 방법으로 관리할 수 있습니다:MinIO 웹 콘솔 - 직관적인 GUI 제공MinIO 클라이언트(mc) - 강력한 명령줄 도구AWS S3 호환 SDK - 다양한 프로그래밍 언어 지원REST API - 직접 API 호출 가능  ✅ MinIO 클라이언트(mc) 소개MinIO 클라이언트는 다음과 같은 특징이 있습니다:S3 호환 스토리지를 위한 현대적인 대체 CLIAWS CLI와 ..

EP06 [ MinIO S3 + Cilium 기초 과정 ] MinIO 기본 설치 및 관리 #3 | StatefulSet으로 MinIO 구성하기 - 배포 및 설정 가이드

이 글에서는 쿠버네티스 환경에서 StatefulSet을 사용하여 MinIO를 배포하고 설정하는 방법을 상세히 알아보겠습니다. MinIO의 프로덕션 수준 구성을 위한 YAML 파일 작성부터 실제 배포 과정까지 단계별로 살펴보며, 각 설정의 의미와 중요성을 이해할 수 있도록 설명하겠습니다.📌 StatefulSet으로 MinIO 구성의 중요성✅ 상태 유지의 필요성MinIO는 객체 스토리지 시스템으로, 데이터의 영속성과 신뢰성이 매우 중요합니다. 일반 Deployment와 달리 StatefulSet은 다음과 같은 이점을 제공합니다:고정된 포드 이름과 네트워크 식별자순차적인 배포, 스케일링, 업그레이드안정적인 네트워크 ID와 영구 스토리지✅ MinIO와 StatefulSet의 시너지MinIO는 분산 스토리지 시..

EP05 [ MinIO S3 + Cilium 기초 과정 ] MinIO 기본 설치 및 관리 #2 | StatefulSet 작동 원리 - 쿠버네티스 상태 유지 워크로드 관리

이 글에서는 쿠버네티스 StatefulSet의 작동 원리와 MinIO와 같은 상태 유지가 필요한 워크로드의 관리 방법에 대해 살펴봅니다. Deployment와 StatefulSet의 차이점, StatefulSet의 특성과 구성 방법, 그리고 MinIO 분산 모드 배포를 위한 StatefulSet 활용법을 자세히 알아보겠습니다.📌 상태 유지(Stateful) 워크로드의 의미와 과제✅ 상태 비유지(Stateless) vs 상태 유지(Stateful) 워크로드쿠버네티스 환경에서 워크로드는 크게 두 가지 유형으로 분류됩니다.▶️ 상태 비유지(Stateless) 워크로드:모든 요청이 독립적으로 처리됨이전 요청이나 세션 정보를 저장할 필요 없음인스턴스를 언제든지 재시작, 교체, 스케일링해도 영향 없음예: 웹 서버..

EP04 [ MinIO S3 + Cilium 기초 과정 ] MinIO 기본 설치 및 관리 #1 | MinIO 개념 이해하기 - 엔지니어가 알아야 할 S3 호환 스토리지의 핵심

이 글에서는 MinIO의 기본 개념과 특징을 살펴보고, 쿠버네티스 환경에서 MinIO를 활용하는 방법에 대한 기초 지식을 다룹니다. S3 호환 오브젝트 스토리지란 무엇인지, MinIO가 어떤 장점을 제공하는지, 그리고 왜 쿠버네티스와 함께 사용하면 더욱 효과적인지에 대해 알아보겠습니다.📌 MinIO란 무엇인가?✅ MinIO의 정의와 역할MinIO는 고성능의 분산형 오브젝트 스토리지 시스템으로, Amazon S3(Simple Storage Service) API와 완벽하게 호환됩니다. 클라우드 네이티브 애플리케이션과 컨테이너화된 환경을 위해 특별히 설계되었으며, 쿠버네티스와 같은 오케스트레이션 플랫폼에서 원활하게 동작합니다.▶️ 주요 특징:Amazon S3 API와 100% 호환고성능 (단일 노드에서 초..

EP03 [ MinIO S3 + Cilium 기초 과정 ] 쿠버네티스 기초 개념 #3 | 네임스페이스로 리소스 효율적으로 관리하기

이 글에서는 쿠버네티스 네임스페이스의 개념과 이를 활용한 효율적인 리소스 관리 방법에 대해 알아봅니다. MinIO와 Cilium을 포함한 다양한 워크로드를 논리적으로 분리하고 관리하는 전략부터 네임스페이스 간 통신 제어까지, 구체적인 예시와 함께 살펴보겠습니다.📌 네임스페이스의 기본 개념과 필요성✅ 네임스페이스란 무엇인가?네임스페이스는 쿠버네티스 클러스터 내에서 리소스를 논리적으로 분리하는 가상 경계입니다. 동일한 물리적 클러스터를 여러 가상 클러스터로 나누어 사용할 수 있게 해주는 개념입니다.▶️ 기본 네임스페이스:# 클러스터의 기본 네임스페이스 확인kubectl get namespaces# 출력 예시:NAME STATUS AGEdefault Active ..

EP02 [ MinIO S3 + Cilium 기초 과정 ] 쿠버네티스 기초 개념 #2 | 쿠버네티스 핵심 리소스 활용법 - Pod, Service, Deployment

이 글에서는 쿠버네티스의 핵심 리소스인 Pod, Service, Deployment에 대해 자세히 살펴봅니다. MinIO와 Cilium 환경 구축의 기반이 되는 이 리소스들의 개념, 특성, 그리고 효과적인 활용 방법을 실제 예제와 함께 상세히 알아보겠습니다.📌 Pod: 쿠버네티스의 기본 배포 단위✅ Pod의 기본 개념과 특성Pod는 쿠버네티스에서 가장 작은 배포 단위로, 하나 이상의 컨테이너를 포함하는 그룹입니다. 대부분의 경우 하나의 Pod에는 하나의 컨테이너가 포함되지만, 밀접하게 관련된 여러 컨테이너가 함께 동작해야 하는 경우 하나의 Pod에 여러 컨테이너를 포함할 수 있습니다.▶️ Pod의 주요 특성:Pod 내 컨테이너들은 항상 같은 노드에서 실행됨동일한 네트워크 네임스페이스를 공유 (local..

EP01 [ MinIO S3 + Cilium 기초 과정 ] 쿠버네티스 기초 개념 #1 | Docker Desktop 쿠버네티스 특성 이해하기 - 엔지니어 관점에서

이 글에서는 Docker Desktop 쿠버네티스 환경의 특성과 제한사항, 그리고 실무 엔지니어 관점에서 이를 효과적으로 활용하는 방법에 대해 살펴봅니다. 특히 MinIO와 Cilium을 구축하기 위한 기반 환경으로서 Docker Desktop 쿠버네티스의 아키텍처적 특징과 최적화 방법을 상세히 알아보겠습니다.📌 Docker Desktop 쿠버네티스 소개✅ Docker Desktop 쿠버네티스란?Docker Desktop은 개발자들이 로컬 환경에서 컨테이너를 쉽게 실행할 수 있도록 해주는 도구로, 2018년부터 내장된 쿠버네티스 기능을 제공하고 있습니다. 이를 통해 별도의 복잡한 설정 없이 단일 노드 쿠버네티스 클러스터를 로컬에서 빠르게 시작할 수 있습니다.▶️ 활성화 방법: Docker Desktop..

📘 [MinIO & Cilium 기반 오브젝트 스토리지 연동 시리즈 #25] MinIO → 성능 테스트 및 스트레스 테스트 실습

✅ 목표: MinIO의 성능 테스트와 스트레스 테스트를 통해,대규모 데이터 처리 시 발생할 수 있는 성능 문제를 식별하고, 최적화 방안을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO 성능 테스트 개념 이해MinIO 성능 테스트 도구 소개MinIO 스트레스 테스트 설정 및 실행성능 최적화 및 문제 해결을 위한 팁🧠 1단계: MinIO 성능 테스트 개념 이해이 단계의 목적: MinIO 성능 테스트의 중요성을 이해하고,성능 테스트를 통해 성능 병목을 찾아내는 방법을 배웁니다.성능 테스트는 MinIO 클러스터가 높은 부하에서 어떻게 동작하는지 평가하는 과정입니다.스트레스 테스트는 최대 부하를 시뮬레이션하여 시스템의 한계를 확인하는 과정입니다.성능 문제를 사전에 파악하고 최적화하기 위해서는 성능 테스..

728x90