YG Tech Blog

이 글에서 다루는 개념Spark 기반의 데이터 파이프라인을 효율적으로 배포하고 운영하는 전략을 다룹니다.이번 글에서는 다음 내용을 학습합니다.Spark 데이터 파이프라인 배포 개요Spark 배포 모드별 장단점 (Standalone, YARN, Kubernetes)Airflow와 Spark 연동하여 파이프라인 자동화CI/CD를 활용한 Spark 파이프라인 배포Spark 작업 모니터링 및 유지보수 방법1️⃣ Spark 데이터 파이프라인 배포 개요📌 데이터 파이프라인 배포란?데이터를 수집 → 처리 → 저장하는 Spark 애플리케이션을 운영 환경에 배포하는 과정실시간 또는 배치 처리 방식에 따라 다른 배포 전략 적용📌 Spark 배포 방식 비교 배포 방식 설명 장점 단점 Standalone단일 Spar..

1️⃣ Kubernetes에서 Helm이 필요한 이유? Kubernetes에서 애플리케이션을 배포할 때, 여러 개의 YAML 파일을 관리해야 합니다. 예를 들어, 하나의 애플리케이션을 배포하려면 다음과 같은 리소스를 정의해야 합니다. 📌 기본 배포 구성 요소 • deployment.yaml → 애플리케이션 배포 • service.yaml → 네트워크 연결 (Service) • ingress.yaml → 도메인 연결 (Ingress) • configmap.yaml → 환경 변수 관리 ✅ 파일이 많아질수록 배포 및 관리가 어려워집니다.✅ Helm을 사용하면 하나의 Chart로 여러 개의 Kubernetes 리소스를 손쉽게 관리할 수 있습니다.  2️⃣ Helm이란? 📌 Helm은 Kubernetes 애플..