YG Tech Blog

이 글에서는 RAG 시스템에서 사용자 질문을 어떻게 벡터로 변환하고,그 벡터가 문서와 어떤 방식으로 매칭되는지를 실제 원리와 예시를 통해 쉽게 설명합니다.🎯 오늘의 주제 요약“사용자 질문도 벡터로 바꾼 다음,이미 저장된 문서 벡터들과 비교해서가장 유사한 것(top-k)을 고른다.”이 과정을 정확히 이해하면 RAG 검색기의 작동 방식이 명확해집니다.🔢 Step 1: 사용자 질문 → 벡터로 변환사용자가 "상품 정보를 담고 있는 테이블이 뭐야?"라고 질문하면,이 문장은 아래처럼 벡터로 변환됩니다. (예시)[0.124, -0.554, 0.223, ..., 0.039] # 1536차원의 벡터➡️ 이 벡터는 embedding.embed_query()를 통해 생성됩니다.🧠 Step 2: 문서 벡터들과 거리 계..

이 글에서는 RAG의 핵심 기술 중 하나인 **Embedding(임베딩)**의 개념을 설명하고,왜 우리가 문서를 벡터로 바꾸는지, 그것이 어떤 방식으로 검색에 활용되는지를 쉽게 풀어드립니다.🤔 임베딩이란 무엇인가요?“문장이나 단어를 숫자의 집합으로 바꾸는 것”언어 모델은 텍스트 그 자체를 이해하지 못합니다.따라서 우리가 사용하는 문장이나 단어를 숫자(벡터)로 바꿔줘야 컴퓨터가 비교하거나 검색할 수 있습니다.🎯 Embedding의 핵심 목적 목적 설명 🧠 의미를 담은 벡터 생성“상품 이름이 뭐야?” 와 “제품 명이 뭐지?”를 비슷한 벡터로 표현🔍 검색을 가능하게 함질문 벡터와 문서 벡터 간의 거리를 계산해 유사도 검색📦 LLM에 정보 전달“이 질문과 관련 있는 문서”를 찾아서 LLM에게 넘겨줌?..

이 글에서는 RAG 시스템을 구성하는 핵심 요소(Component) 4가지를 소개하고,이들이 어떻게 상호작용하며 전체 검색-생성 흐름을 만드는지 알기 쉽게 정리해드립니다.✨ RAG 시스템 전체 흐름 요약먼저 전체 그림을 한눈에 보고 시작하겠습니다.[사용자 질문] ↓[문서 검색기 Retriever] ↓ ⟵ 벡터화된 문서 저장소(VectorDB)[선택된 문서 + 질문] ↓[LLM (GPT-3.5/4 등)] ↓[최종 답변 생성]핵심 키워드: 검색기(Retriever) + 언어 모델(LLM) + 문서 저장소(VectorDB)📦 RAG 구성 요소 4가지✅ 1. 문서 임베딩 & 벡터스토어 (Vector Store)역할: 텍스트 문서(예: metadata.json) → 숫..

이 글에서는 AI 모델을 사용하여 문장을 벡터(Embedding)로 변환하고, pgvector를 활용하여 AI 검색 시스템을 구축하는 방법을 다룹니다.✅ OpenAI text-embedding-ada-002 및 Hugging Face sentence-transformers 활용✅ 임베딩 벡터를 pgvector에 저장하고, 유사한 검색 결과 반환✅ FastAPI를 이용해 벡터 검색 API 구축 🚀 1. AI 모델을 활용한 벡터 변환(Embedding) 1️⃣ AI 임베딩 모델이란? 임베딩(Embedding)은 텍스트, 이미지, 음성 등의 데이터를 벡터 형태로 변환하는 기술입니다.이 벡터는 유사한 의미를 가지는 데이터끼리 가까운 위치에 배치되도록 학습됩니다. ✅ AI 검색 시스템에서 임베딩 활용 방식1️⃣..