YG Tech Blog

쿠버네티스에서는 Taint & Toleration을 활용하여 특정 노드에서만 DaemonSet을 실행할 수 있습니다.이번 글에서는 Taint를 적용하여 특정 노드에서만 DaemonSet이 배포되도록 설정하는 방법을 다룹니다. 📌 글에서 다루는 상황들 1️⃣ 특정 노드에서만 실행되도록 Taint & Toleration 설정2️⃣ 특정 노드에서만 실행되는 DaemonSet 배포 검증 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ 특정 노드에서만 실행되도록 Taint & Toleration 설정 ❓ 문제 상황 운영팀에서 모니터링 에이전트를 특정 노드에서만 실행해야 하는 요구사항이 생겼습니다.클러스터의 모든 노드가 아니라, 특정 노드에만 Pod이 실행되..

이 글에서는 PostgreSQL pgvector를 기반으로 한 AI 검색 시스템을 확장하고 운영하는 방법을 다룹니다.특히, 트래픽 증가에 대비한 확장 전략, Multi-Region 배포, 장애 복구(Failover) 및 성능 최적화 방안을 중심으로 설명합니다. ✅ 벡터 검색 시스템의 트래픽 확장 전략 (수평/수직 확장)✅ Multi-Region 데이터베이스 배포 및 글로벌 서비스 운영✅ 고가용성을 위한 장애 복구 및 Failover 전략 🚀 1. pgvector 기반 AI 검색 시스템의 확장 전략 AI 검색 시스템은 사용량이 증가할수록 데이터베이스 부하가 증가하기 때문에 확장성이 중요합니다.확장 방식에는 수직 확장(Vertical Scaling) 과 수평 확장(Horizontal Scaling) 이 있..

이 글에서는 대규모 벡터 데이터를 효율적으로 저장하고 검색 성능을 최적화하는 방법을 다룹니다.특히, 벡터 데이터 압축(Quantization), 차원 축소(PCA, Autoencoder), 클라우드 비용 최적화 전략을 중심으로 실무적인 접근법을 설명합니다. ✅ 벡터 데이터 압축(Quantization)을 활용한 저장 공간 절약✅ 차원 축소(PCA, Autoencoder)로 검색 성능 개선✅ 클라우드 환경에서 벡터 데이터 비용 절감 전략 🚀 1. 벡터 데이터 최적화가 필요한 이유 벡터 데이터는 일반적으로 1536차원(OpenAI), 768차원(Hugging Face) 등 매우 고차원이므로, 저장 비용 및 검색 속도 최적화가 필수적입니다. ✅ 대규모 벡터 데이터가 초래하는 문제점 문제점설명해결책저장 공간 ..

이 글에서는 LangChain과 pgvector를 활용하여 RAG(Retrieval-Augmented Generation) 기반 AI 챗봇을 구축하는 방법을 다룹니다.특히, 문서를 벡터화하여 pgvector에 저장하고, AI 챗봇이 문서를 검색하여 답변을 생성하는 시스템을 구현하는 과정을 정리합니다. ✅ LangChain + pgvector를 활용한 AI 챗봇 구축✅ RAG 기반 문서 검색을 통해 더욱 정밀한 AI 답변 생성✅ FastAPI를 활용한 AI 챗봇 API 개발 및 최적화 🚀 1. RAG(Retrieval-Augmented Generation) 기반 AI 챗봇이란? RAG는 AI가 단순히 답변을 생성하는 것이 아니라, 먼저 벡터 검색을 수행하여 관련 문서를 찾은 후 답변을 생성하는 방식입니다..

쿠버네티스에서 StatefulSet은 Pod을 순차적으로 배포하고, 롤링 업데이트 시에도 순서를 유지하는 특징이 있습니다.이번 글에서는 StatefulSet의 Pod이 순차적으로 생성되도록 설정하는 방법과 롤링 업데이트 전략을 적용하는 방법을 다룹니다. 📌 글에서 다루는 상황들 1️⃣ Pod을 순차적으로 배포하도록 설정2️⃣ StatefulSet 업데이트 시 순차적 롤링 업데이트 적용 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ Pod을 순차적으로 배포하도록 설정 ❓ 문제 상황 운영팀에서 데이터베이스, 메시지 브로커, 분산 애플리케이션과 같은 서비스가 올바르게 실행되려면 Pod이 순차적으로 생성되어야 하는 요구사항이 생겼습니다.각 Pod은 이전..

쿠버네티스에서 DaemonSet은 클러스터의 모든 노드에서 동일한 Pod을 실행하는 데 사용됩니다.이번 글에서는 DaemonSet을 활용하여 모든 노드에서 로그 수집, 모니터링, 시스템 에이전트 등을 배포하는 방법을 다룹니다. 📌 글에서 다루는 상황들 1️⃣ 모든 노드에서 실행되는 DaemonSet Pod 배포2️⃣ 특정 노드에서만 실행되도록 DaemonSet을 제한 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ 모든 노드에서 실행되는 DaemonSet Pod 배포 ❓ 문제 상황 운영팀에서 클러스터 내 모든 노드에서 로그 수집 및 모니터링 에이전트를 실행해야 하는 요구사항이 생겼습니다.각 노드마다 하나의 Pod이 실행되어야 하며, 새로운 노드가 ..

쿠버네티스에서 StatefulSet은 Pod이 재시작되거나 이동하더라도 데이터를 유지해야 하는 경우에 사용됩니다.이번 글에서는 PersistentVolumeClaim(PVC)을 활용하여 StatefulSet의 데이터가 유지되도록 설정하는 방법을 다룹니다. 📌 글에서 다루는 상황들 1️⃣ PersistentVolumeClaim을 사용하여 각 Pod의 데이터 유지2️⃣ 재시작 후에도 데이터가 유지되는지 검증 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ PersistentVolumeClaim을 사용하여 각 Pod의 데이터 유지 ❓ 문제 상황 운영팀에서 각 StatefulSet Pod이 데이터를 저장하고, Pod이 재시작되더라도 데이터를 잃지 않도록 ..

쿠버네티스에서 StatefulSet은 Pod 간 고유한 식별자를 유지해야 하는 애플리케이션을 배포하는 데 사용됩니다.이번 글에서는 StatefulSet을 활용하여 기본적인 배포를 설정하는 방법과 Headless Service를 이용하여 개별 Pod의 고유 호스트네임을 유지하는 방법을 다룹니다. 📌 글에서 다루는 상황들 1️⃣ 기본적인 StatefulSet 배포2️⃣ Headless Service를 이용한 고유 호스트네임 유지 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ 기본적인 StatefulSet 배포 ❓ 문제 상황 운영팀에서 각 Pod에 고유한 네트워크 ID를 유지하면서도 순차적으로 배포되는 애플리케이션을 구성해야 하는 요구사항이 생겼습니다..

쿠버네티스에서 ServiceAccount(서비스 계정)는 Pod가 특정 역할을 수행할 때 필요한 권한을 부여하는 핵심 요소입니다.이번 글에서는 ServiceAccount를 생성하여 Pod에 적용하는 방법과 Pod가 특정 네임스페이스에서만 권한을 가지도록 설정하는 방법을 다룹니다. 📌 글에서 다루는 상황들 1️⃣ 특정 Pod이 사용할 수 있는 ServiceAccount 설정2️⃣ Pod에게 특정 네임스페이스 내 권한을 부여하는 RoleBinding 적용 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ 특정 Pod이 사용할 수 있는 ServiceAccount 설정 ❓ 문제 상황 운영팀에서 특정 애플리케이션이 실행되는 Pod가 API 서버와 상호작용할 ..

쿠버네티스에서는 ClusterRole과 ClusterRoleBinding을 활용하여 클러스터 전체에서 권한을 관리할 수 있습니다.이번 글에서는 ClusterRole을 활용하여 특정 사용자에게 클러스터 전체 리소스 관리 권한을 부여하는 방법과여러 네임스페이스에서 동일한 권한을 적용하는 방법을 다룹니다. 📌 글에서 다루는 상황들 1️⃣ 클러스터 전체에서 리소스 관리 권한 부여 (ClusterRole)2️⃣ 여러 네임스페이스에 적용하는 ClusterRoleBinding 각 문제를 실무에서 바로 활용할 수 있도록 Manifest 템플릿과 예상 결과 값을 제공합니다. 1️⃣ 클러스터 전체에서 리소스 관리 권한 부여 (ClusterRole) ❓ 문제 상황 운영팀에서 운영 관리자가 클러스터 전체에서 모든 네임스페이..