[11편] 벡터 데이터 백업 & 복원 (데이터 유실 방지 및 관리)

📌 개요

 

이 글에서는 PostgreSQL pgvector의 벡터 데이터를 안정적으로 백업하고 복원하는 방법을 다룹니다.

특히, 백업 자동화, 데이터 유실 방지, AWS S3 또는 Kubernetes CronJob을 활용한 자동 백업 전략까지 실무에 맞게 정리합니다.

 

✅ 벡터 데이터를 보호하는 백업 전략 (pg_dump, WAL, PITR)

✅ AWS S3 또는 Kubernetes CronJob을 활용한 자동 백업

✅ 벡터 데이터의 손실 없이 빠른 복원 방법

 

---

🚀 1. PostgreSQL 벡터 데이터 백업 전략

 

벡터 데이터는 대량으로 저장되므로 데이터 손실을 방지하기 위한 강력한 백업 전략이 필요합니다.

 

✅ PostgreSQL에서 벡터 데이터를 백업하는 주요 방법

백업 방법설명추천 사용 사례

pg_dump	데이터베이스를 파일로 내보내는 방식	소규모 데이터, 주기적 백업
WAL(Write-Ahead Logging)	변경 로그를 지속적으로 저장	실시간 데이터 보호
PITR(Point-in-Time Recovery)	특정 시점으로 데이터 복원	장애 발생 시 데이터 복구
S3 또는 GCS로 자동 백업	클라우드 스토리지를 활용한 원격 백업	장기 보관 및 장애 대비

 

 

---

🚀 2. pg_dump를 이용한 벡터 데이터 백업

 

1️⃣ pg_dump로 전체 데이터베이스 백업

 

pg_dump는 PostgreSQL 데이터베이스를 파일로 내보내는 가장 기본적인 백업 방법입니다.

 

📌 전체 데이터베이스 백업 (.sql 파일)

pg_dump -U postgres -h localhost -d ragdb > ragdb_backup.sql

📌 압축된 백업 (.tar 파일)

pg_dump -U postgres -h localhost -d ragdb -F t > ragdb_backup.tar

 

✅ 자동 백업을 위해 크론잡(CronJob) 추가

echo "0 2 * * * pg_dump -U postgres -h localhost -d ragdb > /backup/ragdb_$(date +\%Y\%m\%d).sql" | crontab -

위 설정은 매일 새벽 2시에 백업을 수행합니다.

 

---

2️⃣ 특정 테이블(벡터 데이터)만 백업

 

벡터 데이터(embeddings 테이블)만 백업하는 경우:

pg_dump -U postgres -h localhost -d ragdb -t embeddings > embeddings_backup.sql

 

📌 벡터 데이터만 복원

psql -U postgres -h localhost -d ragdb < embeddings_backup.sql

✅ 이 방식은 벡터 데이터가 자주 변경되는 경우 효율적입니다.

 

---

🚀 3. WAL(Write-Ahead Logging) 및 PITR(Point-in-Time Recovery)

 

pg_dump는 정기 백업에는 적합하지만, 데이터베이스 장애 발생 시 실시간 복구는 어렵습니다.

이를 해결하기 위해 WAL(Write-Ahead Logging)과 PITR을 활용합니다.

 

1️⃣ WAL 활성화

 

📌 PostgreSQL postgresql.conf에서 WAL 설정 변경

wal_level: "replica"
archive_mode: "on"
archive_command: "cp %p /var/lib/postgresql/archive/%f"

✅ 이 설정을 적용하면 PostgreSQL이 모든 변경 사항을 WAL 로그로 기록하여 장애 발생 시 복구 가능

 

---

2️⃣ PITR(포인트 인 타임 복구)

 

PITR은 특정 시점으로 데이터를 복원하는 기능으로, 실무에서 장애 복구 시 매우 유용합니다.

 

📌 PITR을 위해 WAL 백업

pg_basebackup -D /var/lib/postgresql/basebackup -Ft -z -P

 

📌 특정 시점으로 복원

pg_restore -U postgres -h localhost -d ragdb -t embeddings --data-only --restore-time="2024-03-01 10:30:00"

✅ PITR을 활용하면 특정 시점의 데이터로 롤백 가능

 

---

🚀 4. AWS S3 또는 Kubernetes CronJob을 활용한 자동 백업

 

1️⃣ AWS S3에 자동 백업

 

클라우드 스토리지(S3)에 벡터 데이터를 자동 백업하면 데이터 유실을 방지할 수 있습니다.

 

📌 S3 CLI를 사용하여 백업 업로드

pg_dump -U postgres -h localhost -d ragdb | gzip > ragdb_backup.sql.gz
aws s3 cp ragdb_backup.sql.gz s3://my-postgres-backups/

✅ 이제 AWS S3에 데이터가 안전하게 저장됩니다.

 

---

2️⃣ Kubernetes CronJob을 활용한 자동 백업

 

Kubernetes 환경에서는 CronJob을 사용하여 주기적인 백업을 자동화할 수 있습니다.

 

📌 Kubernetes backup-cronjob.yaml

apiVersion: batch/v1
kind: CronJob
metadata:
  name: pgvector-backup
  namespace: database
spec:
  schedule: "0 3 * * *"  # 매일 새벽 3시에 백업 실행
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: pgvector-backup
            image: postgres:14
            command:
            - "/bin/sh"
            - "-c"
            - "pg_dump -U postgres -h postgresql.database.svc.cluster.local -d ragdb | gzip > /backup/ragdb_backup.sql.gz"
            volumeMounts:
            - name: backup-volume
              mountPath: /backup
          restartPolicy: OnFailure
          volumes:
          - name: backup-volume
            persistentVolumeClaim:
              claimName: backup-pvc

 

📌 Kubernetes에서 CronJob 적용

kubectl apply -f backup-cronjob.yaml -n database

✅ 이제 Kubernetes가 자동으로 PostgreSQL 백업을 실행합니다.

 

---

📌 5. 최종 정리

 

✅ 벡터 데이터를 보호하는 백업 전략 (pg_dump, WAL, PITR)

✅ AWS S3 또는 Kubernetes CronJob을 활용한 자동 백업 설정

✅ 벡터 데이터의 손실 없이 빠른 복원 방법 (pg_restore)