YG Tech Blog

이 글에서는 Apache Kafka의 기본 개념, 탄생 배경과 문제 해결 목적을 알아보겠습니다. 분산 시스템의 메시지 처리에 관심 있는 분들에게 Kafka가 왜 중요한지, 그리고 어떤 특징을 가지고 있는지 명확히 이해할 수 있도록 도와드립니다.📌 Kafka의 정의와 핵심 특징Kafka는 LinkedIn에서 개발되어 2011년 오픈소스로 공개된 분산 이벤트 스트리밍 플랫폼입니다. 간단히 말하면, Kafka는 다양한 시스템 간에 대용량 데이터를 안정적으로 주고받을 수 있게 해주는 메시징 시스템입니다. ✅ Kafka의 세 가지 핵심 기능데이터 스트림 발행(publish)과 구독(subscribe) - 다른 시스템에서 발생한 이벤트를 실시간으로 주고받을 수 있습니다데이터 스트림 저장 - 내구성 있게 데이터를 ..

이 글에서 다루는 개념Apache Spark의 MLlib은 대규모 데이터에서 머신러닝 모델을 학습하고 예측하는 라이브러리입니다.이번 글에서는 다음 내용을 학습합니다.Spark MLlib 개념 및 아키텍처PySpark를 활용한 데이터 전처리선형 회귀(Linear Regression) 모델 학습랜덤 포레스트(Random Forest) 모델 활용Spark ML Pipelines을 사용한 머신러닝 워크플로우 구성1️⃣ Spark MLlib이란?📌 Spark MLlib이란?대용량 데이터를 병렬 분산 처리하여 머신러닝을 수행하는 Spark 라이브러리데이터프레임 기반의 ML API(pyspark.ml) 제공📌 MLlib에서 지원하는 주요 알고리즘 모델  설명 선형 회귀연속형 값을 예측하는 모델로지스틱 회귀분류(..

이 글에서 다루는 개념Apache Spark는 대용량 데이터를 빠르게 처리할 수 있는 분산 컴퓨팅 프레임워크입니다.이번 글에서는 다음 내용을 학습합니다.Apache Spark 개념 및 아키텍처PySpark 설치 및 환경 설정Spark DataFrame을 활용한 데이터 처리Spark SQL을 활용한 데이터 분석RDD(Resilient Distributed Dataset)와 DataFrame 비교1️⃣ Apache Spark란?📌 Apache Spark란?대용량 데이터를 병렬 분산 처리하는 프레임워크Hadoop보다 100배 빠른 메모리 기반 연산 가능머신러닝, 스트리밍 데이터 처리 등 다양한 기능 지원📌 Spark 주요 개념  개념 설명 RDDSpark의 기본 데이터 구조 (Resilient Distr..

이 글에서는 대규모 벡터 데이터를 효율적으로 저장하고 검색 성능을 최적화하는 방법을 다룹니다.특히, 벡터 데이터 압축(Quantization), 차원 축소(PCA, Autoencoder), 클라우드 비용 최적화 전략을 중심으로 실무적인 접근법을 설명합니다. ✅ 벡터 데이터 압축(Quantization)을 활용한 저장 공간 절약✅ 차원 축소(PCA, Autoencoder)로 검색 성능 개선✅ 클라우드 환경에서 벡터 데이터 비용 절감 전략 🚀 1. 벡터 데이터 최적화가 필요한 이유 벡터 데이터는 일반적으로 1536차원(OpenAI), 768차원(Hugging Face) 등 매우 고차원이므로, 저장 비용 및 검색 속도 최적화가 필수적입니다. ✅ 대규모 벡터 데이터가 초래하는 문제점 문제점설명해결책저장 공간 ..

이 글에서는 AI 모델을 활용하여 pgvector에 저장된 벡터 데이터를 분석하는 방법을 다룹니다.특히, 이상 탐지(Anomaly Detection), 추천 시스템, 벡터 데이터 패턴 분석을 중심으로 활용법을 정리합니다. ✅ AI를 활용한 벡터 데이터 이상 탐지 (Anomaly Detection)✅ 벡터 데이터를 활용한 추천 시스템 구축✅ 차원 축소(PCA, t-SNE) 기법을 활용한 벡터 데이터 시각화 🚀 1. 벡터 데이터를 AI로 분석하는 이유 벡터 데이터는 일반적인 SQL 기반 분석과 다르게, AI 모델을 활용한 패턴 분석이 필수적입니다.특히, 유사도 기반 검색을 활용하여 데이터 이상 탐지, 추천 시스템, 클러스터링을 수행할 수 있습니다. ✅ AI 벡터 분석 주요 활용 사례분석 유형설명이상 탐지 ..

이 글에서는 실시간 스트리밍 데이터를 PostgreSQL pgvector와 연동하여 벡터 검색 시스템을 구축하는 방법을 다룹니다.특히, Kafka 또는 Apache Pulsar를 활용하여 벡터 데이터를 지속적으로 저장하고, 실시간으로 AI 검색에 활용하는 전략을 설명합니다. ✅ Kafka 또는 Pulsar를 활용한 실시간 벡터 데이터 삽입✅ pgvector와 스트리밍 데이터를 연동하여 실시간 검색 시스템 구축✅ 성능 최적화를 위한 벡터 데이터 배치 처리 전략 🚀 1. 실시간 스트리밍 데이터와 pgvector를 연동하는 이유 ✅ 실시간 벡터 검색 시스템 구축 시 고려해야 할 사항1️⃣ AI 검색 시스템에서 데이터는 계속해서 추가 & 업데이트됨2️⃣ 배치(Batch) 처리 방식보다 실시간(Streaming..

이 글에서는 PostgreSQL pgvector의 벡터 검색 성능을 최적화하는 방법을 다룹니다.특히, HNSW(Hierarchical Navigable Small World)와 IVFFlat(Indexed Flat) 인덱스 비교,병렬 쿼리(Parallel Query), Query Caching을 활용한 검색 속도 개선 방법까지 실무적으로 적용할 수 있도록 정리합니다. ✅ HNSW vs IVFFlat 인덱스 비교 및 벡터 검색 최적화✅ Parallel Query, Query Caching을 활용한 검색 속도 개선✅ PostgreSQL pgvector 성능 튜닝 (work_mem, parallel_workers_per_gather) 🚀 1. 벡터 검색 성능 최적화 개요 PostgreSQL pgvector는..