YG Tech Blog

이 글에서 다루는 개념Apache Spark의 MLlib을 활용하여 대량의 데이터를 분석하고 이상값(Anomaly)을 탐지하는 방법을 배웁니다.이번 글에서는 다음 내용을 학습합니다.이상 탐지(Anomaly Detection) 개념PySpark MLlib을 활용한 이상 탐지 모델 구축이상 탐지를 위한 통계적 기법 및 머신러닝 기법 비교Spark Streaming을 활용한 실시간 이상 탐지1️⃣ 이상 탐지(Anomaly Detection)란?📌 이상 탐지란?정상적인 패턴에서 벗어난 데이터를 식별하는 기술금융 사기 탐지, 네트워크 보안, 산업 장비 이상 감지, 품질 관리 등에 활용📌 이상 탐지 기법 비교 방식 설명 통계적 기법평균, 표준편차를 활용한 이상 탐지 (IQR, Z-score 등)머신러닝 기반이..

이 글에서는 AI 모델을 활용하여 pgvector에 저장된 벡터 데이터를 분석하는 방법을 다룹니다.특히, 이상 탐지(Anomaly Detection), 추천 시스템, 벡터 데이터 패턴 분석을 중심으로 활용법을 정리합니다. ✅ AI를 활용한 벡터 데이터 이상 탐지 (Anomaly Detection)✅ 벡터 데이터를 활용한 추천 시스템 구축✅ 차원 축소(PCA, t-SNE) 기법을 활용한 벡터 데이터 시각화 🚀 1. 벡터 데이터를 AI로 분석하는 이유 벡터 데이터는 일반적인 SQL 기반 분석과 다르게, AI 모델을 활용한 패턴 분석이 필수적입니다.특히, 유사도 기반 검색을 활용하여 데이터 이상 탐지, 추천 시스템, 클러스터링을 수행할 수 있습니다. ✅ AI 벡터 분석 주요 활용 사례분석 유형설명이상 탐지 ..