YG Tech Blog

이 글에서 다루는 개념Apache Spark의 MLlib을 활용하여 대량의 데이터를 분석하고 이상값(Anomaly)을 탐지하는 방법을 배웁니다.이번 글에서는 다음 내용을 학습합니다.이상 탐지(Anomaly Detection) 개념PySpark MLlib을 활용한 이상 탐지 모델 구축이상 탐지를 위한 통계적 기법 및 머신러닝 기법 비교Spark Streaming을 활용한 실시간 이상 탐지1️⃣ 이상 탐지(Anomaly Detection)란?📌 이상 탐지란?정상적인 패턴에서 벗어난 데이터를 식별하는 기술금융 사기 탐지, 네트워크 보안, 산업 장비 이상 감지, 품질 관리 등에 활용📌 이상 탐지 기법 비교 방식 설명 통계적 기법평균, 표준편차를 활용한 이상 탐지 (IQR, Z-score 등)머신러닝 기반이..

이 글에서 다루는 개념Apache Spark를 활용하면 대용량 데이터를 기반으로 실시간 추천 시스템을 구축할 수 있습니다.이번 글에서는 다음 내용을 학습합니다.추천 시스템 개념 및 Spark의 ALS(Alternating Least Squares) 알고리즘PySpark MLlib을 사용한 협업 필터링(Collaborative Filtering)사용자 기반 및 아이템 기반 추천 모델 구축실시간 추천 시스템 구현1️⃣ 추천 시스템 개념📌 추천 시스템이란?사용자에게 맞춤형 콘텐츠(영화, 음악, 상품 등)를 추천하는 기술**협업 필터링(Collaborative Filtering)**과 콘텐츠 기반 추천(Content-Based Filtering) 방식이 있음📌 추천 시스템 유형 추천 방식 설명 협업 필터링..

이 글에서 다루는 개념Apache Spark의 MLlib은 대규모 데이터에서 머신러닝 모델을 학습하고 예측하는 라이브러리입니다.이번 글에서는 다음 내용을 학습합니다.Spark MLlib 개념 및 아키텍처PySpark를 활용한 데이터 전처리선형 회귀(Linear Regression) 모델 학습랜덤 포레스트(Random Forest) 모델 활용Spark ML Pipelines을 사용한 머신러닝 워크플로우 구성1️⃣ Spark MLlib이란?📌 Spark MLlib이란?대용량 데이터를 병렬 분산 처리하여 머신러닝을 수행하는 Spark 라이브러리데이터프레임 기반의 ML API(pyspark.ml) 제공📌 MLlib에서 지원하는 주요 알고리즘 모델  설명 선형 회귀연속형 값을 예측하는 모델로지스틱 회귀분류(..

이 글에서는 AI 모델을 활용하여 pgvector에 저장된 벡터 데이터를 분석하는 방법을 다룹니다.특히, 이상 탐지(Anomaly Detection), 추천 시스템, 벡터 데이터 패턴 분석을 중심으로 활용법을 정리합니다. ✅ AI를 활용한 벡터 데이터 이상 탐지 (Anomaly Detection)✅ 벡터 데이터를 활용한 추천 시스템 구축✅ 차원 축소(PCA, t-SNE) 기법을 활용한 벡터 데이터 시각화 🚀 1. 벡터 데이터를 AI로 분석하는 이유 벡터 데이터는 일반적인 SQL 기반 분석과 다르게, AI 모델을 활용한 패턴 분석이 필수적입니다.특히, 유사도 기반 검색을 활용하여 데이터 이상 탐지, 추천 시스템, 클러스터링을 수행할 수 있습니다. ✅ AI 벡터 분석 주요 활용 사례분석 유형설명이상 탐지 ..