YG Tech Blog

운영 환경에서 로그 및 메타데이터는 단순 검색만으로 끝나지 않습니다.감사, 법적 보존, 보안 사고 대응, R&D 분석 등을 위해장기적이고 변경 불가능한 방식으로 안전하게 보존되어야 하며,이와 동시에 검색 가능한 상태를 유지하는 것이 중요합니다. 이번 글에서는 MinIO 기반 Searchable Snapshot 구조에 보안성과 컴플라이언스 기능을 더하는 전략을 정리합니다. 📦 보안 및 규정 대응이 필요한 상황 예시상황필요 기능전자금융감독원, ISMS, SOC2 등 대응데이터 변경 불가, 장기 보존사고 조사 및 감사 대응원본 스냅샷 보존 + 추적 가능고의적 삭제 방지오브젝트 삭제 제한 (Object Lock)실수 복구 대비버전 관리로 과거 상태 복원 가능개인정보 암호화 저장저장 시점에서 암호화 적용 필요..

지난 글에서는 MinIO 기반의 Searchable Snapshot을 다른 OpenSearch 클러스터로 복원하는 방법과 DR 구조를 알아보았습니다.이제는 Searchable Snapshot 구조를 운영 환경에서 실제로 빠르게 활용할 수 있도록 만드는 검색 성능 최적화 전략에 대해 다뤄보겠습니다. 📌 전제 상황snapshot은 MinIO에 저장됨 (storage_type: remote_snapshot)검색 쿼리는 remote object storage에서 데이터를 읽어옴OpenSearch는 로컬 캐시와 node role을 통해 이를 최적화할 수 있음 🧩 주요 성능 영향 요소요소설명📡 네트워크 대역폭MinIO와 OpenSearch 간 I/O 속도📦 MinIO 스토리지 성능HDD vs SSD, 분..

이전 글에서 우리는 Searchable Snapshot + MinIO + SLM + ILM 조합을 통해로그 데이터를 자동 백업하고 검색 가능한 형태로 저장하는 구조를 완성했습니다. 이번 글에서는 이 구조를 기반으로, 재해 복구(Disaster Recovery) 및 멀티 클러스터 복원 전략을 설계하는 방법을 소개합니다. 💥 왜 DR 구조가 필요한가? 운영 중인 클러스터가 장애나 삭제, 혹은 심각한 성능 저하로 인해 사용 불가능할 경우,백업된 데이터를 다른 OpenSearch 클러스터에 빠르게 복원할 수 있어야 합니다. 🔁 기존 구조 요약운영 클러스터: snapshot을 MinIO에 저장 (SLM 자동화)MinIO: 중앙 오브젝트 스토리지 (S3 호환)DR 클러스터: 필요 시 MinIO로부터 snap..

앞서 우리는 Searchable Snapshot을 직접 생성하고 복원하여 원격에서 검색하는 방법까지 살펴봤습니다.하지만 운영 환경에서는 매번 수동으로 API를 호출하기보다는, 자동으로 snapshot을 생성하고 관리하는 것이 필요합니다. 이번 글에서는 OpenSearch의 Snapshot Lifecycle Management(SLM) 기능을 사용하여,정기적으로 Searchable Snapshot을 만들고, 기존 인덱스를 remote searchable 형태로 전환하는 전체 과정을 소개합니다. 📌 왜 SLM이 필요한가?항목설명💼 자동화수동 API 호출 없이 자동으로 snapshot 생성🧹 관리 용이성snapshot 보존 주기, 이름 규칙, 실패 알림 등 설정 가능🔁 ILM 연계특정 시점에 인덱스를..

지난 포스트에서는 기존 Warm Tier를 제거하고, MinIO 기반 Searchable Snapshot 구조로 전환하는 방법을 정리했습니다.이번 글에서는 실제로 이렇게 저장된 Searchable Snapshot을 어떻게 원격에서 검색하는지 실습을 통해 자세히 알아보겠습니다. 🧩 전제 조건: 환경 구성 요약OpenSearch 2.x 이상repository-s3 플러그인 설치됨minio 오브젝트 스토리지 준비됨버킷에 snapshot이 이미 존재함 (logs-snap-202308)snapshot은 remote_snapshot 으로 복원됨 지난 포스트에서 설명한 구조를 그대로 이어받습니다. 🔁 1. 스냅샷 복원 (remote_snapshot 설정) 먼저, 원격 스냅샷을 복원하되, 로컬로 가져오지 않고 바..

운영 로그 데이터가 점점 늘어나면서, 과거에는 흔히 사용하던 Hot-Warm-Cold 아키텍처도 진화할 필요가 생겼습니다. 최근에는 Warm Tier 노드 없이도 장기 데이터를 검색 가능하게 해주는 “Searchable Snapshot” 기능이 등장하며, MinIO와 OpenSearch를 함께 사용하는 사례가 늘고 있습니다. 이번 글에서는 기존 Warm Tier를 제거하고, MinIO 오브젝트 스토리지를 기반으로 Searchable Snapshot 구조를 도입하는 방법을 총체적으로 정리합니다. 📌 왜 Warm Tier를 Searchable Snapshot으로 대체해야 할까? 기존 구조Hot Tier (NVMe SSD) → Warm Tier (HDD) → Cold Tier Warm Tier는 상대적으..