YG Tech Blog

이 글에서는 Airflow의 핵심 구성 파일인 airflow.cfg를 심층적으로 분석합니다. 각 섹션별 중요 설정 옵션들을 살펴보고, 실무에서 자주 수정하게 되는 설정들과 성능 최적화를 위한 팁을 알아봅니다. 초보자도 이해할 수 있는 설명과 함께 실제 운영 환경에서 활용할 수 있는 구체적인 예시를 제공합니다.📌 airflow.cfg 개요✅ airflow.cfg 파일이란?airflow.cfg는 Airflow의 모든 구성 요소와 동작 방식을 정의하는 중앙 설정 파일입니다. Airflow를 처음 초기화할 때 자동으로 생성되며, 기본적으로 $AIRFLOW_HOME 디렉토리 아래에 위치합니다.# airflow.cfg 파일 위치 확인ls -la $AIRFLOW_HOME/airflow.cfg# 또는 다음 명령으로 ..

이 글에서 다루는 개념Apache Spark를 활용한 데이터 엔지니어링에서 성능 최적화, 유지보수성 향상, 안정적인 데이터 처리를 위한 Best Practices를 다룹니다.이번 글에서는 다음 내용을 학습합니다.Spark 데이터 엔지니어링 Best Practices 개요데이터 읽기/쓰기 성능 최적화메모리 및 실행 최적화 (Shuffle, Partitioning)모니터링 및 디버깅 기법데이터 파이프라인 유지보수 전략1️⃣ Spark 데이터 엔지니어링 Best Practices 개요📌 Spark 성능 최적화를 위한 핵심 전략 최적화 대상  주요 기법 데이터 읽기/쓰기CSV 대신 Parquet/ORC 포맷 사용실행 계획 최적화cache(), persist() 사용메모리 최적화적절한 repartition()..

📌 개요 이 글에서는 FastAPI + PostgreSQL + pgvector를 활용한 대규모 벡터 검색 성능 최적화 방법을 다룹니다.✅ pgvector의 HNSW(Hierarchical Navigable Small World) 인덱스를 활용한 검색 속도 개선✅ 대량 벡터 데이터 처리 및 검색 최적화✅ Kubernetes에서 FastAPI의 Auto Scaling 적용 🚀 1. pgvector의 성능 최적화를 위한 HNSW 인덱스 적용 pgvector는 벡터 검색을 최적화하기 위해 L2 distance (유클리드 거리), Cosine similarity, Inner product 등의 방법을 지원합니다.HNSW(Hierarchical Navigable Small World) 인덱스를 활용하면 대규모 ..

1️⃣ Kubernetes 클러스터 성능 튜닝이 중요한 이유? Kubernetes는 자동 확장(Auto-Scaling), 셀프 힐링(Self-Healing), 서비스 디스커버리(Service Discovery) 등의 기능을 제공하지만,기본 설정만으로는 최적의 성능을 보장하지 않습니다.특히 리소스 과사용, 네트워크 병목, 불필요한 로깅 등으로 인해 클러스터 성능이 저하될 수 있습니다. ✅ 성능 튜닝을 통해 얻을 수 있는 이점✔ CPU & 메모리 사용량 최적화 → Pod 리소스 사용 조정✔ 네트워크 지연 시간 단축 → CNI 플러그인 설정 최적화✔ 불필요한 로깅 제거 → Fluentd, Loki 등의 로깅 최적화✔ 빠른 스케일링 → HPA & Cluster Autoscaler 성능 개선 이 글에서는 Kube..

1️⃣ Kubernetes에서 CI/CD를 최적화해야 하는 이유? 기본적인 CI/CD 파이프라인을 사용하면 GitHub Actions + ArgoCD를 활용하여 애플리케이션을 배포할 수 있습니다.하지만 실무에서는 CI/CD를 더욱 최적화하여 배포 속도를 높이고, 안전성을 강화하는 것이 중요합니다. ✅ CI/CD 최적화가 필요한 이유✔ 배포 속도 최적화 → 빌드 및 배포 시간을 단축✔ GitOps 기반 배포 안정성 강화 → Git 상태와 Kubernetes를 동기화✔ 배포 승인 및 롤백 자동화 → 안전한 배포 및 빠른 복구 지원✔ 다중 환경(dev, staging, prod) 배포 자동화  이 글에서는 GitHub Actions + ArgoCD를 활용하여 Kubernetes CI/CD 파이프라인을 더욱 최..