YG Tech Blog

이 글에서 다루는 개념Apache Spark를 활용하면 대용량 데이터를 기반으로 실시간 추천 시스템을 구축할 수 있습니다.이번 글에서는 다음 내용을 학습합니다.추천 시스템 개념 및 Spark의 ALS(Alternating Least Squares) 알고리즘PySpark MLlib을 사용한 협업 필터링(Collaborative Filtering)사용자 기반 및 아이템 기반 추천 모델 구축실시간 추천 시스템 구현1️⃣ 추천 시스템 개념📌 추천 시스템이란?사용자에게 맞춤형 콘텐츠(영화, 음악, 상품 등)를 추천하는 기술**협업 필터링(Collaborative Filtering)**과 콘텐츠 기반 추천(Content-Based Filtering) 방식이 있음📌 추천 시스템 유형 추천 방식 설명 협업 필터링..

이 글에서 다루는 개념Apache Spark의 GraphX는 대용량 그래프 데이터를 분석하는 라이브러리입니다.이번 글에서는 다음 내용을 학습합니다.Spark GraphX 개념 및 아키텍처PySpark GraphFrames 설치 및 환경 설정그래프 데이터 생성 및 시각화PageRank 알고리즘을 활용한 중요 노드 분석연결된 컴포넌트(Connected Components) 분석1️⃣ Spark GraphX란?📌 Spark GraphX란?그래프 데이터를 병렬 분산 처리하는 Spark 라이브러리SNS 네트워크 분석, 추천 시스템, 웹 페이지 랭킹(PageRank) 계산 등에 활용RDD 기반의 GraphX와 DataFrame 기반의 GraphFrames 제공📌 GraphX 주요 개념  개념 설명 Vertex..

이 글에서는 AI 모델을 활용하여 pgvector에 저장된 벡터 데이터를 분석하는 방법을 다룹니다.특히, 이상 탐지(Anomaly Detection), 추천 시스템, 벡터 데이터 패턴 분석을 중심으로 활용법을 정리합니다. ✅ AI를 활용한 벡터 데이터 이상 탐지 (Anomaly Detection)✅ 벡터 데이터를 활용한 추천 시스템 구축✅ 차원 축소(PCA, t-SNE) 기법을 활용한 벡터 데이터 시각화 🚀 1. 벡터 데이터를 AI로 분석하는 이유 벡터 데이터는 일반적인 SQL 기반 분석과 다르게, AI 모델을 활용한 패턴 분석이 필수적입니다.특히, 유사도 기반 검색을 활용하여 데이터 이상 탐지, 추천 시스템, 클러스터링을 수행할 수 있습니다. ✅ AI 벡터 분석 주요 활용 사례분석 유형설명이상 탐지 ..