YG Tech Blog

ㄹㅎ

좋습니다 YG님,말씀하신 두 가지 포인트를 반영하여 아래와 같이 문서를 완전 보완 버전으로 재구성했습니다:보완사항 반영: 1. 전체 처리 플로우도 마크다운 플로우로 시각화 2. A안/B안에 대한 장단점을 개발 단계와 운영 단계로 나누어 명확히 정리 3. 기존 메시지 스키마, 샘플 메시지, 이미지 처리 흐름도 포함⸻[Kafka 기반 이미지 메타데이터 처리 시스템 - 아키텍처 및 메시지 정의 문서]⸻1. 문서 목적 • Kafka 기반 이미지/메타데이터 처리 구조 정의 • FastAPI 및 FastStream 기반 아키텍처 구성안 제시 • Kafka 메시지 구조 표준화 • 이미지 저장 방식 및 처리 위치 설계 기준 마련⸻2. 전체 처리 플로우[사용자 or Airflow] ↓[HTTP 요청 or DAG 실행]..

이 글에서는 전통적인 메시지 큐(RabbitMQ, ActiveMQ 등)와 Apache Kafka 간의 핵심적인 차이점을 살펴봅니다. 아키텍처, 성능, 활용 사례, 데이터 처리 방식 등 여러 측면에서 두 시스템을 비교하여 각각 어떤 상황에서 더 적합한지 이해할 수 있도록 도와드립니다.📌 메시지 큐와 Kafka: 개념 비교메시지 큐와 Kafka는 모두 애플리케이션 간 비동기 통신을 지원하는 미들웨어지만, 근본적인 설계 철학과 목적에 차이가 있습니다. ✅ 메시지 큐(Message Queue)란?애플리케이션 간 메시지를 전달하는 중간 저장소 역할주로 작업 부하 분산, 비동기 처리, 시스템 간 결합도 감소를 위해 설계AMQP(Advanced Message Queuing Protocol)와 같은 표준 프로토콜 기..

이 글에서는 Apache Kafka의 기본 개념, 탄생 배경과 문제 해결 목적을 알아보겠습니다. 분산 시스템의 메시지 처리에 관심 있는 분들에게 Kafka가 왜 중요한지, 그리고 어떤 특징을 가지고 있는지 명확히 이해할 수 있도록 도와드립니다.📌 Kafka의 정의와 핵심 특징Kafka는 LinkedIn에서 개발되어 2011년 오픈소스로 공개된 분산 이벤트 스트리밍 플랫폼입니다. 간단히 말하면, Kafka는 다양한 시스템 간에 대용량 데이터를 안정적으로 주고받을 수 있게 해주는 메시징 시스템입니다. ✅ Kafka의 세 가지 핵심 기능데이터 스트림 발행(publish)과 구독(subscribe) - 다른 시스템에서 발생한 이벤트를 실시간으로 주고받을 수 있습니다데이터 스트림 저장 - 내구성 있게 데이터를 ..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.