YG Tech Blog

✅ 목표: MinIO에서 버전 관리 및 데이터 무결성 검사 기능을 설정하고,데이터의 무결성을 유지하며, 버전 관리를 통한 효율적인 데이터 관리 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO 버전 관리 기능 설정데이터 무결성 검사 및 복구 전략 설정버전 관리 기능을 활용한 데이터 복구 실습MinIO에서의 데이터 무결성 검사를 자동화하는 방법🧠 1단계: MinIO 버전 관리 기능 설정이 단계의 목적: MinIO의 버전 관리 기능을 설정하고,데이터를 변경하거나 삭제할 때 발생할 수 있는 문제를 예방하는 방법을 배웁니다.MinIO 버전 관리 기능은 데이터를 버전별로 저장하여, 이전 버전으로 복구할 수 있도록 합니다.버전 관리 설정을 활성화하면, 데이터를 삭제하거나 덮어쓰더라도 이전 버전으로 복..

✅ 목표: MinIO에서의 데이터 백업과 복구 전략을 설정하고,MinIO 오브젝트 스토리지에서 발생할 수 있는 데이터 손실에 대응하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약MinIO의 백업 및 복구 개념 이해MinIO의 백업 전략 설정 및 테스트MinIO의 복구 전략 설정 및 실습MinIO 데이터 백업 및 복구 자동화 방안🧠 1단계: MinIO의 백업 및 복구 개념이 단계의 목적: MinIO에서 데이터를 보호하기 위한 백업과 복구 전략을 이해하고,어떻게 데이터 손실을 방지할 수 있는지 배웁니다.MinIO 백업: 데이터를 주기적으로 백업하여 데이터 유실을 방지합니다.MinIO 복구: 데이터를 복구하려면 백업 파일을 MinIO에 다시 복원하는 방식으로 진행됩니다.백업 방법: MinIO에서 제..

1️⃣ 개요 CronJob은 Kubernetes에서 주기적으로 실행되는 작업을 자동화하기 위한 리소스입니다.작업의 반복 주기를 정의할 때 사용하는 방식이 바로 Cron 표현식입니다. 하지만 표현식의 오해, 잘못된 설정, 타임존 미반영 등으로 인해 원하지 않는 시간에 작업이 실행되거나 누락되는 경우가 자주 발생합니다. 이 글에서는 CronJob의 시간 설정을 정확히 이해하고, 표현식 작성과 운영 시 주의할 점을 다룹니다. 2️⃣ Cron 표현식의 구조# 형식: 분 시 일 월 요일# 예시: "0 3 * * 1" → 매주 월요일 오전 3시 필드 순서의미범위분 (Minute)작업 실행 시각 (분 단위)0~59시 (Hour)작업 실행 시각 (시 단위, 24시간제)0~23일 (Day of Month)매월 며칠에 실..

1️⃣ 개요 Kubernetes에서는 일회성 작업은 Job,주기적으로 반복 실행되는 작업은 CronJob 리소스를 통해 실행할 수 있습니다. 하지만 아래와 같은 상황에서 혼란이 생길 수 있습니다: • 주기적 실행이 필요한데 Job을 계속 수동 생성하고 있음 • 반복성이 없는 작업인데 CronJob으로 구성됨 • 반복 실행 중 일부 작업이 누락되거나 중복 실행됨 이 글에서는 Job과 CronJob의 선택 기준과 함께,Job을 CronJob으로 전환할 때 고려해야 할 전략을 설명합니다. 2️⃣ 리소스 선택 기준 비교항목JobCronJob목적한 번만 실행되는 작업반복적으로 실행되는 작업실행 방식수동 생성 또는 자동화 도구로 실행일정(schedule)에 따라 자동 실행실패 시 대응재시도 횟수 설정 필요Job 내..

쿠버네티스에서는 반복적으로 실행되는 배치 작업(예: 로그 정리, 데이터 백업, 리포트 생성 등)을 자동화하는 것이 중요합니다.이를 위해 Job과 CronJob을 활용하여 일회성 및 주기적인 배치 작업을 실행하는 방법과 장애 발생 시 복구 전략을 다룹니다. 📌 글에서 다루는 상황들  1. Job을 사용하여 일회성 배치 작업 실행 및 장애 발생 시 재시도 설정 2. CronJob을 활용하여 주기적인 작업 자동화 및 실패한 작업 복구 전략 3. kubectl을 활용한 Job 및 CronJob 상태 모니터링 및 로그 분석 방법 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ Job을 사용하여 일회성 배치 작업 실행 및 장애 발생 시 재시도 설정 ❓ 문제 ..

쿠버네티스에서 일회성 또는 주기적인 작업을 실행할 때 Job과 CronJob을 사용합니다.Job은 한 번 실행되고 완료되는 작업, CronJob은 스케줄에 따라 반복 실행되는 작업을 정의할 수 있습니다.이 글에서는 Job 및 CronJob을 활용하여 주기적 작업을 실행하는 방법을 다룹니다. 📌 글에서 다루는 상황들  1. Job을 활용한 일회성 작업 실행 2. CronJob을 활용한 주기적인 작업 실행 3. Job 및 CronJob의 실패 처리 및 재시도 전략 적용 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ Job을 활용한 일회성 작업 실행 ❓ 문제 상황 운영팀에서 특정 데이터를 백업하는 일회성 작업을 실행해야 합니다.이 작업은 한 번만 실행..

쿠버네티스에서 CronJob은 정해진 일정에 따라 자동으로 작업을 실행하는 데 유용하지만, 실행 이력을 관리하고 스케줄을 최적화하는 것이 중요합니다.이번 글에서는 CronJob 실행 이력을 모니터링하는 방법과 예약 스케줄을 최적화하는 방법을 다룹니다. 📌 글에서 다루는 상황들 1️⃣ CronJob 실행 이력 관리 및 모니터링2️⃣ 시간대(timezone) 설정 및 예약 스케줄 최적화 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ CronJob 실행 이력 관리 및 모니터링 ❓ 문제 상황 운영팀에서 CronJob이 정상적으로 실행되고 있는지 모니터링하고 실행 이력을 유지해야 하는 요구사항이 생겼습니다.기본적으로 최근 실행된 Job 이력을 확인할 수 ..

쿠버네티스에서 Job은 일회성 작업을 실행하는 데 사용되지만, 여러 개의 작업을 병렬로 실행하거나 실패한 작업을 자동으로 재시도해야 하는 경우가 많습니다.이번 글에서는 여러 개의 작업을 병렬로 실행하는 방법과 Job 실패 시 재시도(backoffLimit)를 설정하는 방법을 다룹니다. 📌 글에서 다루는 상황들 1️⃣ 여러 개의 작업을 병렬로 실행하는 Job 설정2️⃣ Job 실패 시 재시도(backoffLimit) 및 완료 보장 설정 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ 여러 개의 작업을 병렬로 실행하는 Job 설정 ❓ 문제 상황 운영팀에서 여러 개의 작업을 동시에 실행해야 하는 요구사항이 생겼습니다.각 작업은 서로 독립적으로 실행되어야..

쿠버네티스에서 Job과 CronJob은 일회성 또는 주기적인 작업을 자동으로 실행하는 데 필수적인 리소스입니다.이번 글에서는 Job을 활용하여 특정 작업을 한 번 실행하는 방법과CronJob을 사용하여 정해진 일정에 따라 작업을 실행하는 방법을 다룹니다. 📌 글에서 다루는 상황들 1️⃣ Job을 활용한 일회성 작업 실행2️⃣ CronJob을 활용한 주기적 작업 실행 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ Job을 활용한 일회성 작업 실행 ❓ 문제 상황 운영팀에서 특정 데이터베이스 마이그레이션 스크립트를 한 번만 실행하는 작업을 수행해야 합니다.이 작업은 성공적으로 완료되면 자동으로 종료되어야 합니다. • Job의 이름은 db-migrati..

이 글에서는 PostgreSQL pgvector 기반 벡터 검색 시스템을 Airflow와 Kubernetes를 활용하여 자동화하는 방법을 다룹니다.특히, Airflow로 벡터 데이터를 자동 업데이트하고, Kubernetes CronJob & HPA(Auto Scaling)를 적용하여 운영을 최적화하는 실무적인 방법을 정리합니다. ✅ Airflow를 활용한 벡터 데이터 자동 업데이트 및 관리✅ Kubernetes CronJob을 활용한 주기적 벡터 데이터 백업 & 최적화✅ HPA(Auto Scaling) 적용으로 AI 검색 시스템의 자동 확장 🚀 1. Airflow를 활용한 벡터 데이터 자동 업데이트 🔹 1️⃣ Airflow를 활용하는 이유  ✅ AI 검색 시스템에서 벡터 데이터는 지속적으로 추가 & ..