YG Tech Blog

이 글에서는 Airflow의 핵심 구성 파일인 airflow.cfg를 심층적으로 분석합니다. 각 섹션별 중요 설정 옵션들을 살펴보고, 실무에서 자주 수정하게 되는 설정들과 성능 최적화를 위한 팁을 알아봅니다. 초보자도 이해할 수 있는 설명과 함께 실제 운영 환경에서 활용할 수 있는 구체적인 예시를 제공합니다.📌 airflow.cfg 개요✅ airflow.cfg 파일이란?airflow.cfg는 Airflow의 모든 구성 요소와 동작 방식을 정의하는 중앙 설정 파일입니다. Airflow를 처음 초기화할 때 자동으로 생성되며, 기본적으로 $AIRFLOW_HOME 디렉토리 아래에 위치합니다.# airflow.cfg 파일 위치 확인ls -la $AIRFLOW_HOME/airflow.cfg# 또는 다음 명령으로 ..

이번 글에서는 쿠버네티스 환경에서 데이터베이스 모니터링의 중요성과 구체적인 방법을 알아보겠습니다. 특히 가장 널리 사용되는 관계형 데이터베이스인 MySQL과 PostgreSQL을 중심으로, 성능 지표 수집부터 분석, 알림 설정까지 체계적인 모니터링 시스템 구축 방법을 다루겠습니다. Prometheus와 Grafana를 활용한 실시간 모니터링으로 데이터베이스 성능 병목 현상을 조기에 발견하고, 서비스 안정성을 높이는 데 필요한 실질적인 지식을 제공하겠습니다.📌 데이터베이스 모니터링의 중요성데이터베이스는 대부분의 애플리케이션에서 가장 중요한 구성 요소 중 하나이며, 시스템 성능과 안정성에 직접적인 영향을 미칩니다.✅ 데이터베이스 장애가 미치는 영향데이터베이스 성능 저하나 장애는 전체 애플리케이션에 심각한 ..

이 글에서 다루는 개념Python에서는 SQL을 활용하여 데이터베이스를 다룰 수 있으며,이를 위해 내장 모듈인 sqlite3와 강력한 ORM 라이브러리인 SQLAlchemy를 사용할 수 있습니다.이번 글에서는 다음 내용을 학습합니다.SQLite 데이터베이스 사용법 (sqlite3 모듈)기본 SQL 명령어 (SELECT, INSERT, UPDATE, DELETE)SQLAlchemy를 활용한 ORM(Object-Relational Mapping)데이터베이스 연결과 테이블 생성, CRUD 연산1️⃣ SQLite 데이터베이스란?SQLite는 가벼운 파일 기반 데이터베이스로, 별도의 서버 설치 없이 사용 가능합니다.Python에서는 sqlite3 모듈을 사용하여 SQLite 데이터베이스를 쉽게 다룰 수 있습니다...

이 글에서는 PostgreSQL pgvector를 활용하여 대규모 벡터 데이터를 효율적으로 저장하고 관리하는 방법을 다룹니다.특히, 샤딩(Sharding), 테이블 파티셔닝(Partitioning), 메모리 최적화(shared_buffers, work_mem 등) 을 통해 성능을 극대화하는 방법을 설명합니다. ✅ 대량 벡터 데이터를 저장하는 방법 (샤딩 & 파티셔닝 적용)✅ PostgreSQL 메모리 최적화 (shared_buffers, work_mem)✅ 빠른 검색을 위한 저장소 엔진 및 인덱싱 전략 🚀 1. 대량 벡터 데이터 저장 전략: 샤딩(Sharding) vs 파티셔닝(Partitioning) 벡터 데이터는 보통 수십만~수억 개 이상의 벡터를 저장해야 합니다.PostgreSQL에서 효율적인 데..