YG Tech Blog

Reservation 스케줄링이 필요한 이유 HPC 및 GPU 클러스터에서는 특정 시점에 반드시 실행해야 하는 Job이 존재합니다. 예를 들어 연구 프로젝트에서 매주 정해진 시간에 데이터 처리 파이프라인을 실행하거나, 제품 시연(Demo) 또는 긴급 분석 작업을 사전에 예약해야 하는 경우가 있습니다. 이때 단순 큐잉 기반 스케줄링만으로는 원하는 시간에 Job 실행을 보장하기 어렵습니다. 이미 다른 Job이 자원을 점유하고 있다면 우선순위가 높더라도 즉시 실행되지 못하기 때문입니다. 이러한 문제를 해결하는 기법이 바로 **Reservation 기반 자원 예약 스케줄링(Resource Reservation Scheduling)**입니다. Reservation의 개념과 원리 Reservation은 관리자가 ..

Job Dependency 관리의 필요성 HPC 및 GPU 클러스터에서는 단일 Job이 독립적으로 실행되는 경우보다, 여러 Job이 순차적 또는 병렬적으로 연결된 Workflow로 실행되는 경우가 훨씬 많습니다. 예를 들어 딥러닝 학습 파이프라인은 데이터 전처리 → 모델 학습 → 평가 → 배포 단계로 이어집니다. 이때 전처리가 끝나기 전에 학습 Job이 시작되면 실패하거나 잘못된 결과가 발생합니다. 따라서 운영자는 Job 간 의존성(Dependency)을 정의하고, 이를 기반으로 Workflow Scheduling을 설계해야 합니다. 이는 단순 스케줄링을 넘어, 전체 AI/HPC 워크플로우를 안정적으로 실행하는 핵심 요소입니다. Slurm에서의 Job Dependency Slurm은 기본적으로 --de..

Backfilling이 중요한 이유 HPC와 GPU 클러스터에서는 대규모 Job이 큐에 쌓이면서 자원 대기 시간이 길어지는 경우가 많습니다. 예를 들어 128개의 GPU가 필요한 Job이 제출되면, 스케줄러는 필요한 모든 자원이 확보될 때까지 기다려야 합니다. 그런데 이 대기 시간 동안 일부 노드는 비어 있는 상태로 남아 있게 됩니다. 이때 작은 Job이나 짧은 Job을 먼저 채워 넣어 자원을 활용하는 기법이 바로 Backfilling입니다. 즉, “큰 Job이 시작되기 전 남는 자원과 시간을 활용하여 다른 Job을 끼워 넣는 방식”입니다. 이를 통해 자원 활용률을 높이고, 전체 클러스터 처리량(Throughput)을 극대화할 수 있습니다. Backfilling의 기본 원리 Backfilling의 핵심..

왜 Gang Scheduling이 필요한가 HPC와 대규모 GPU 클러스터에서는 단일 Job이 수십~수천 개의 노드와 GPU를 동시에 필요로 합니다. 특히 딥러닝 분산 학습(예: Transformer 기반 모델)이나 MPI(Message Passing Interface) 기반 과학 계산에서는 Job이 모든 프로세스가 동시에 시작하지 않으면 정상적으로 진행되지 않습니다. 한 노드에서만 리소스가 준비되고 다른 노드가 대기하면 전체 Job이 지연되거나 Deadlock 상태에 빠집니다. 이 문제를 해결하기 위해 Gang Scheduling과 Co-Scheduling 기법이 사용됩니다. 두 방식 모두 “여러 태스크를 하나의 그룹(Gang)으로 묶어 동시에 실행”하도록 하는 전략이지만, 접근 방식과 목적에는 차이가..

Topology-Aware Scheduling의 필요성 HPC나 대규모 GPU 클러스터 환경에서 단순히 “GPU 몇 개”라는 요청만으로 Job을 스케줄링하는 것은 충분하지 않습니다. 특히 NVIDIA NVLink, NVSwitch, CPU의 NUMA(Node-Local Memory Access) 구조가 얽힌 복잡한 하드웨어 토폴로지에서는 **리소스의 위치(Locality)**가 성능을 좌우합니다.예를 들어 동일한 8개 GPU 서버라도 NVLink로 직접 연결된 GPU 쌍에 Job을 배치하는 경우와 PCIe Root Complex를 여러 번 거쳐야 하는 경우는 통신 지연(latency)과 대역폭 차이에서 20~40% 이상의 성능 차이가 발생합니다. 실제 딥러닝 학습에서는 AllReduce 통신 패턴이 빈번..

HPC에서 스케줄링이 중요한 이유 HPC 클러스터는 수십, 수백 명의 사용자가 동시에 Job을 제출합니다.GPU와 CPU는 한정된 자원이고, 연구자는 누구나 가능한 한 빨리 결과를 얻고 싶어 합니다.이 상황에서 운영자가 자원을 수동으로 분배할 수는 없습니다. 따라서 Slurm과 같은 스케줄러가 자동으로 자원 분배와 Job 실행 순서를 관리해야 합니다. 스케줄링 정책은 단순히 “누가 먼저 제출했는가”의 문제가 아니라, GPU와 CPU 자원의 효율적 활용여러 사용자 간 공정성 유지클러스터 전체 생산성 극대화를 목표로 합니다. Slurm 스케줄링 정책의 주요 개념 Slurm은 다양한 정책을 조합해 사용자가 원하는 자원 분배 전략을 만들 수 있습니다. 1. FIFO (First In, First Out) 기..

왜 HPC 파일시스템 모니터링이 중요한가 HPC 클러스터에서 CPU와 GPU는 연산을 담당하지만, 파일시스템은 데이터의 혈관과도 같습니다. 데이터가 원활히 공급되지 않으면 연산 자원은 아무리 많아도 제 역할을 하지 못합니다. 특히 대규모 딥러닝 학습이나 시뮬레이션 환경에서는 I/O 병목으로 GPU가 idle 상태에 빠지는 일이 자주 발생합니다. 따라서 운영자는 단순히 GPU와 네트워크만 살피는 것이 아니라, 병렬 파일시스템(Lustre, GPFS/IBM Spectrum Scale)의 상태와 성능을 면밀히 모니터링해야 합니다. 이를 통해 데이터 병목을 사전에 발견하고, 연구자들이 “GPU가 놀고 있다”는 불만을 줄일 수 있습니다. Lustre 파일시스템 모니터링 Lustre는 HPC 환경에서 가장 널리 ..

GPU 모니터링이 중요한 이유 HPC와 딥러닝 클러스터의 핵심은 GPU입니다. 하지만 고가의 GPU가 항상 100% 활용되는 것은 아닙니다. 많은 경우 모델 구조, 데이터 파이프라인, 네트워크 병목 등으로 인해 GPU 사용률이 낮아지고, 이는 곧 자원 낭비로 이어집니다. 운영자의 역할은 단순히 GPU를 배치하는 것에서 끝나지 않습니다. 실제 Job이 실행될 때 GPU가 어떻게 사용되고 있는지, 병목이 어디에서 발생하는지 파악해야 효율적인 클러스터 운영이 가능합니다. 이를 위해 가장 많이 활용되는 도구가 바로 nvidia-smi와 **DCGM(Data Center GPU Manager)**입니다. nvidia-smi – 가장 직관적인 GPU 모니터링 nvidia-smi는 NVIDIA 드라이버에 기본 포함..

왜 네트워크 모니터링이 중요한가 HPC/GPU 클러스터는 노드 간 통신이 매우 빈번합니다. 단일 서버라면 CPU와 GPU 자원만으로 성능을 판단할 수 있겠지만, 수십·수백 대의 노드가 함께 학습을 수행하는 분산 학습 환경에서는 네트워크 성능이 전체 속도의 발목을 잡는 경우가 많습니다. 특히 MPI 기반의 병렬 연산이나 NCCL을 활용한 GPU 간 통신은 **대역폭(bandwidth)**과 **지연시간(latency)**에 민감합니다. 따라서 네트워크 병목을 신속히 파악할 수 있는 모니터링 도구는 HPC 운영자에게 필수입니다. 이번 글에서는 대표적인 세 가지 툴, ifstat, iperf, ethtool을 살펴보겠습니다. ifstat – 인터페이스 실시간 트래픽 확인 ifstat는 네트워크 인터페이스별 ..

스토리지가 HPC 성능의 숨은 열쇠 HPC/GPU 클러스터를 운영하다 보면 많은 분들이 CPU 사용률이나 GPU 점유율만 주로 살펴보곤 합니다. 하지만 실제로 Job이 느려지는 원인의 상당수는 스토리지 I/O 병목 때문입니다. 딥러닝 학습 Job이 데이터 로딩에서 오래 걸리는 경우수천 개의 작은 파일을 동시에 읽을 때 성능 저하가 발생하는 경우병렬 파일시스템(Lustre, BeeGFS 등)에서 특정 노드만 지연이 발생하는 경우 이 모든 상황은 I/O 성능 모니터링으로 원인을 찾을 수 있습니다. 이번 글에서는 Linux에서 흔히 사용하는 세 가지 도구, iostat, iotop, sar을 중심으로 HPC 환경에서 스토리지를 진단하는 방법을 다뤄보겠습니다. iostat – 디스크 I/O 성능 측정 iost..