YG Tech Blog

1️⃣ 개요 StatefulSet을 사용하여 대규모 데이터를 효율적으로 관리하려면, 단순한 리더-팔로워(Replica) 방식만으로는 한계가 있습니다.특히, 데이터가 지속적으로 증가하고, 높은 트래픽을 처리해야 하는 경우 Sharding(샤딩) 기법이 필수적입니다. 이번 글에서는 StatefulSet에서 Sharding을 적용하는 방법과, 데이터베이스(MongoDB, Elasticsearch, Kafka) 및 분산 시스템에서의 샤딩 활용 전략을 설명하겠습니다. 🚀 2️⃣ Sharding(샤딩)이란? 📌 Sharding(샤딩)의 개념Sharding은 데이터를 여러 개의 작은 단위(Shard)로 나누어 저장하고 관리하는 기술입니다.이를 통해 수평 확장(Scalability) 이 가능해지고, 대규모 데이터베..

이 글에서는 PostgreSQL pgvector를 활용하여 대규모 벡터 데이터를 효율적으로 저장하고 관리하는 방법을 다룹니다.특히, 샤딩(Sharding), 테이블 파티셔닝(Partitioning), 메모리 최적화(shared_buffers, work_mem 등) 을 통해 성능을 극대화하는 방법을 설명합니다. ✅ 대량 벡터 데이터를 저장하는 방법 (샤딩 & 파티셔닝 적용)✅ PostgreSQL 메모리 최적화 (shared_buffers, work_mem)✅ 빠른 검색을 위한 저장소 엔진 및 인덱싱 전략 🚀 1. 대량 벡터 데이터 저장 전략: 샤딩(Sharding) vs 파티셔닝(Partitioning) 벡터 데이터는 보통 수십만~수억 개 이상의 벡터를 저장해야 합니다.PostgreSQL에서 효율적인 데..