YG Tech Blog

최근 로컬 개발 환경에서 워크플로우 관리 도구인 Apache Airflow를 사용해보고자, Apple M1 Pro 환경(MacBook Pro, 16GB 메모리)에서 Minikube와 Helm을 이용해 설치한 경험을 공유합니다. 이 글에서는 Minikube 클러스터 생성부터 Helm 차트를 활용한 Airflow 설치, 그리고 웹 UI 접속 및 초기 관리자 계정 설정까지의 전체 과정을 단계별로 정리합니다.1. Minikube 클러스터 생성먼저, Apple M1 Pro 환경에서 Docker 드라이버를 이용해 2노드 클러스터를 생성합니다.클러스터 생성 시, 총 7680MB 메모리와 4개의 CPU를 할당했습니다.다음 커맨드를 터미널에 입력합니다:minikube start --driver=docker --kuber..

1. Apache Airflow란? Apache Airflow는 워크플로우(Workflow) 및 데이터 파이프라인을 관리하는 오픈소스 오케스트레이션 도구입니다.주요 역할은 다음과 같습니다. ✅ 워크플로우 정의 및 실행 • DAG(Directed Acyclic Graph, 방향성 비순환 그래프) 기반으로 작업(Task) 간 실행 순서를 정의하고 자동화 • Python을 사용하여 코드 기반으로 워크플로우 작성 ✅ 스케줄링 및 모니터링 • 특정 주기(Cron, Time-based) 또는 이벤트 기반으로 작업 실행 • 실행 상태(성공, 실패, 재시도 등) 모니터링 및 로깅 제공 ✅ 확장성과 유연성 • AWS, GCP, Kubernetes 등 다양한 실행 환경과 연동 가능 • CeleryExecutor, Kube..