scheduler 2

[Airflow 가이드 ep.5] 1부 개념과 설정 #5 | Airflow 기본 설정값 airflow.cfg 완전 해부

이 글에서는 Airflow의 핵심 구성 파일인 airflow.cfg를 심층적으로 분석합니다. 각 섹션별 중요 설정 옵션들을 살펴보고, 실무에서 자주 수정하게 되는 설정들과 성능 최적화를 위한 팁을 알아봅니다. 초보자도 이해할 수 있는 설명과 함께 실제 운영 환경에서 활용할 수 있는 구체적인 예시를 제공합니다.📌 airflow.cfg 개요✅ airflow.cfg 파일이란?airflow.cfg는 Airflow의 모든 구성 요소와 동작 방식을 정의하는 중앙 설정 파일입니다. Airflow를 처음 초기화할 때 자동으로 생성되며, 기본적으로 $AIRFLOW_HOME 디렉토리 아래에 위치합니다.# airflow.cfg 파일 위치 확인ls -la $AIRFLOW_HOME/airflow.cfg# 또는 다음 명령으로 ..

[Airflow 가이드 ep.3] 1부 개념과 설정 #3 | Airflow 주요 구성요소: Scheduler, Webserver, Worker, DB

이 글에서는 Airflow의 핵심 아키텍처와 주요 구성요소들을 상세히 알아봅니다. Scheduler, Webserver, Worker, Metadata Database 등 Airflow를 구성하는 각 컴포넌트의 역할과 상호작용 방식을 이해하고, 각 구성요소가 어떻게 동작하는지 살펴보겠습니다.📌 Airflow 아키텍처 개요✅ Airflow의 기본 아키텍처Airflow는 다음과 같은 주요 구성요소로 이루어진 분산 시스템입니다:Web Server: 사용자 인터페이스(UI) 제공Scheduler: DAG와 태스크 스케줄링 담당Worker: 실제 태스크 실행 담당Metadata Database: Airflow의 상태 정보 저장DAG Directory: DAG 파일 저장소   ✅ 컴포넌트 간 상호작용Airflow..

728x90