YG Tech Blog

✅ 목표: Apache Spark에서 Executor 수를 조절하며 MinIO로 데이터를 저장할 때병렬성에 따른 성능 변화를 측정하고 최적의 리소스 설정을 도출해 봅니다.🔎 이번 글에서 수행할 작업 요약Spark Executor 병렬 구조 이해 및 리소스 설정 포인트 정리Executor 수를 조절하며 MinIO 업로드 테스트작업 처리 시간 및 S3 요청 수 비교실험 결과를 기반으로 적정 Executor 수 도출🧠 1단계: Spark Executor 구조와 리소스 설정 이해이 단계의 목적: Spark Executor가 어떤 역할을 수행하며,병렬성(Executor 수)이 데이터 처리에 어떤 영향을 주는지 이해합니다.Executor: Spark 작업 단위 실행 주체 (컨테이너 1개 = Executor 1개..

✅ 목표: MinIO가 사용하는 Persistent Volume의 성능을 측정하기 위해fio, ioping, dd 같은 도구를 활용하여 I/O 성능을 수치화하고 분석하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약테스트용 파드를 생성하고 PVC를 연결fio, ioping, dd 도구 설치 및 실행읽기/쓰기 IOPS 및 처리 속도 측정측정값을 기반으로 성능 병목 판단🧱 1단계: 테스트용 PVC와 파드 구성이 단계의 목적: MinIO에서 사용하는 PVC와 동일한 스토리지 클래스를 기준으로별도의 테스트 파드를 생성하여 성능 측정 환경을 준비합니다.# pvc-test-pod.yamlapiVersion: v1kind: Podmetadata: name: pvc-test-pod ..

✅ 목표: Apache Spark에서 MinIO(S3 호환)로 데이터를 업로드할 때,fs.s3a.fast.upload=true 설정을 적용하여 업로드 성능을 개선하는 방법을 실습합니다.🔎 이번 글에서 수행할 작업 요약Spark에서 S3A 기본 업로드 방식 이해fast.upload 옵션이 활성화되었을 때의 성능 변화 구조 설명Spark 작업에서 실제 옵션 적용 방법 실습업로드 처리 시간 비교 테스트🧠 1단계: 기본 업로드 방식 구조 이해이 단계의 목적: Spark가 S3A를 통해 데이터를 저장할 때,기본 업로드 흐름과 성능 병목이 발생하는 원인을 이해합니다.기본 구조:데이터가 작은 버퍼 단위로 업로드됨네트워크 호출이 잦고 병렬성이 낮음병목 원인:작은 객체가 잦은 PUT 요청으로 전송됨Buffer-to-..

✅ 목표: Cilium을 활용한 DNS 요청의 안정성 확보와 CoreDNS의 성능 최적화를 통해,MinIO와 같은 서비스의 DNS 응답 시간 단축 및 안정성 향상을 실습합니다.🔎 이번 글에서 수행할 작업 요약Cilium DNS-aware 기능 활성화 및 설정CoreDNS의 성능 최적화를 위한 설정 변경DNS 안정성 테스트 및 성능 비교Cilium을 활용한 네트워크 요청 흐름 제어🧠 1단계: Cilium DNS-aware 기능 활성화이 단계의 목적: Cilium의 DNS-aware 기능을 활성화하여,DNS 요청을 패킷 수준에서 처리할 수 있도록 설정합니다.# Cilium DNS-aware 기능을 활성화하는 설정 확인kubectl -n kube-system get configmap cilium-confi..

✅ 목표: Kubernetes 클러스터 내부에서 MinIO의 DNS 기반 네트워크 구조를 이해하고,Spark 등 워크로드가 s3a:// 방식으로 MinIO에 접근할 수 있는지 실제로 테스트해봅니다.🔎 이번 글에서 수행할 작업 요약MinIO 서비스의 DNS 구조 및 접근 주소 확인Spark 또는 테스트 파드에서 s3a:// 프로토콜로 접근 테스트Spark 설정에 필요한 핵심 fs.s3a.* 항목 정리 및 테스트🌐 1단계: MinIO 서비스 DNS 구조 확인이 단계의 목적: MinIO가 내부에서 어떤 DNS 주소로 노출되는지 확인하고,s3a:// 경로로 접근할 때 사용할 수 있는 주소 형식을 파악합니다.# MinIO 서비스 정보 확인kubectl get svc -n minio 예시 출력:NAME T..