YG Tech Blog

이 글에서는 Airflow DAG 작성의 고급 기법인 Branching, SubDAG, Dynamic DAG에 대해 알아봅니다. 기본적인 DAG 구조를 넘어 더 복잡하고 유연한 워크플로우를 구현하는 방법을 실전 예제와 함께 살펴보겠습니다. 다양한 비즈니스 로직을 Airflow에 효과적으로 구현하기 위한 전략을 배워보세요.📌 Branching 이해하기Airflow에서 Branching은 조건에 따라 다른 경로로 워크플로우를 분기하는 기능입니다. 데이터 처리 파이프라인에서 상황에 맞게 다른 작업을 수행해야 할 때 유용합니다.✅ BranchPythonOperator의 기본 원리BranchPythonOperator는 Python 함수의 반환값에 따라 워크플로우의 다음 경로를 결정합니다.  from airflo..

이 글에서는 Airflow DAG 파일을 작성하는 기본 방법에 대해 알아봅니다. DAG 파일의 기본 구조와 필수 파라미터들을 상세히 살펴보고, 실제 예제를 통해 DAG 작성법을 익혀보겠습니다. 초보자도 쉽게 이해할 수 있도록 각 요소를 하나씩 설명합니다.📌 DAG 파일의 기본 구조✅ DAG 파일이란?DAG(Directed Acyclic Graph) 파일은 Airflow에서 워크플로우를 정의하는 Python 파일입니다. 이 파일은 작업(Task)과 작업 간의 의존성(Dependencies)을 정의하여 워크플로우의 실행 순서와 방식을 결정합니다.DAG 파일은 기본적으로 다음과 같은 구조를 갖습니다:필요한 라이브러리 임포트기본 인자(default_args) 정의DAG 객체 인스턴스 생성Task 정의Task ..

이 글에서는 워크플로 자동화의 개념과 Apache Airflow가 등장하게 된 배경, 그리고 Airflow의 기본 개념에 대해 알아봅니다. 데이터 파이프라인 자동화의 필요성부터 Airflow가 제공하는 주요 기능까지, 초보자도 이해할 수 있도록 상세히 설명합니다.📌 워크플로 자동화란 무엇인가?✅ 워크플로 자동화의 정의워크플로 자동화란 일련의 작업들을 사전에 정의된 규칙과 조건에 따라 자동으로 실행되도록 구성하는 것을 말합니다. 이는 반복적인 작업을 줄이고, 인적 오류를 최소화하며, 작업의 효율성과 신뢰성을 높이는 데 큰 도움이 됩니다.▶️ 실무 예시: 매일 아침 데이터베이스에서 데이터를 추출하여 가공하고, 분석한 결과를 이메일로 보내는 작업을 생각해 보세요. 이 모든 과정을 매번 수동으로 처리한다면, ..

🔥 들어가며 클라우드 마이그레이션에서 가장 중요한 요소 중 하나는 **데이터 이전(Data Migration)**입니다.데이터는 기업의 핵심 자산이며, 마이그레이션 과정에서 데이터 손실, 성능 저하, 다운타임 증가 등의 문제가 발생할 수 있습니다. 이번 글에서는 RDBMS(관계형 데이터베이스), NoSQL, Object Storage(파일/오브젝트 저장소) 이전 전략을 다루고,각 데이터 유형별 이전 방법과 고려해야 할 핵심 요소를 설명하겠습니다. 🏗 데이터 마이그레이션 전략 개요 데이터 마이그레이션을 수행할 때 고려해야 할 요소는 크게 3가지입니다. 1️⃣ 데이터 유형(RDBMS, NoSQL, Object Storage) – 기존 데이터베이스 및 저장소 분석2️⃣ 이전 방식(온라인 vs. 오프라인) ..

오늘날 데이터는 기업의 핵심 자산입니다. 하지만 원본 데이터(raw data)는 다양한 소스에서 생성되며, 그대로 사용할 수 없는 경우가 많습니다. 이를 해결하기 위해 ETL(Extract, Transform, Load) 프로세스가 사용됩니다. 이 글에서는 ETL이 무엇인지, 왜 중요한지, 그리고 실무에서 어떻게 활용되는지 자세히 알아보겠습니다.  📌 1. ETL이란? ETL은 Extract(추출) → Transform(변환) → Load(적재) 의 약자로, 데이터를 가져와서 가공한 후 원하는 데이터 저장소에 저장하는 과정을 의미합니다. 🔹 ETL의 기본 개념 ✔ Extract (추출): 다양한 원천 시스템에서 데이터를 가져옴✔ Transform (변환): 데이터를 정제, 가공, 변환하여 원하는 형식..