[GPU 장애 분석 Xid 137 + 145] RLW_RXPIPE Interrupt & Nonfatal Retry — NVLink Rx 파이프라인 이벤트

 

🧠 로그 개요 (Overview)

2025-10-12T18:37:46.098195+09:00 gsvp-msi-gpu052 kernel:
NVRM: Xid (PCI:0000:db:00): 137, pid=202344, name=pt_nccl_watchdg, RLW_RXPIPE interrupt hit on link 0 on GPU0: PRIV Error
2025-10-12T18:37:46.098193+09:00 gsvp-msi-gpu052 kernel:
NVRM: Xid (PCI:0000:db:00): 145, pid=202344, name=pt_nccl_watchdg, RLW_RXPIPE Nonfatal XC0 i0 Link 00 (0x04080006 0x00000008 0x00000000 0x00000000 0x00000000 0x00000000)

 

• 공통 정보
  • Bus-ID 0000:db:00.0 → GPU index 5 (B200 모델)
  • pid/name = 202344/pt_nccl_watchdg → PyTorch NCCL Watchdog 프로세스
  • 두 Xid가 동일 시간 대 기록됨 → 하나의 NVLink Rx Pipeline 이벤트로 간주
• Xid 137 : NVLink Rx Pipe privilege exception 발생
• Xid 145 : 동일 링크에서 재시도(retry) 과정 중 비치명적 Non-fatal 신호

 

---

 

📍 1. 현상 (Symptoms)

 

• GPU 5번 (NVLink Link 0) 에서 137 → 145 순으로 연속 로그 기록
• NCCL 워크로드는 중단 없이 진행되었으며 성능 저하나 Job Fail 없음
• 시스템 또는 VM 레벨 영향 없음

 

---

 

🔍 2. 분석 과정 (Investigation)

 

 

① 문제 GPU 식별

nvidia-smi

| GPU 5 | Bus-Id 00000000:DB:00.0 | PID 202344 | /usr/bin/python |

→ Xid 로그와 PID 매칭 → GPU index 5 확인

 

 

② NVLink 상태 점검

nvidia-smi nvlink -s -i 5

GPU 5: NVIDIA B200
    Link 0-17: 50 GB/s (모두 Active)

→ 모든 링크 정상 대역폭, 하드웨어 링크 다운 아님

 

 

③ 커널 로그 주변 상관 분석

journalctl -k --since "2025-10-12 18:35:00" --until "2025-10-12 18:40:00" | grep -Ei "Xid|NVRM|nvlink"

 

• 137 → 145 순으로 1회성 이벤트 기록
• 다른 Xid (79, 109 등) 동반 없음

 

 

④ NCCL 레벨 확인 (선택)

export NCCL_DEBUG=INFO
export NCCL_DEBUG_SUBSYS=INIT,NET,GRAPH

 

• 동일 타임스탬프에 NCCL WARN/timeout 로그 없음 → 소프트 리커버리 완료

 

---

 

⚙️ 3. 원인 (Root Cause)

 

• NVLink Rx Pipeline Privilege Error (PRIV Error)
  • NCCL 통신 중 NVLink 하드웨어가 register transaction 예외를 감지
• 드라이버 내부 비치명적 복구 절차 (Non-fatal Retry)
  • 하드웨어 레벨에서 재시도 트리거 → Xid 145 기록
• GPU Reset 또는 링크 Down 없음
  • 소프트웨어 레벨 복구 성공, 작업 지속

 

---

 

 

🧩 4. 조치 및 대응 (Actions)

 

✅ 현재 상태 (Observed Outcome)

• 단일 시간대 1회성 이벤트
• GPU 5번 및 워크로드 정상 진행
• nvidia-smi nvlink -s -i 5 결과 모든 링크 Active (50 GB/s)
• 추가 Xid 이벤트 (79, 109 등) 미발생

 

 

🧭 권장 운영 조치 (Operational Guidance)

 

1️⃣ 재발 모니터링

sudo journalctl -k | grep "E[Xx]id (PCI:0000:db:00)"

 

• 동일 GPU 또는 Link 0 반복 발생 시 추적 지속

 

2️⃣ NVLink 상태 확인 (580 이상 환경)

nvidia-smi nvlink -i 5 --status

 

• 각 링크의 대역폭(50 GB/s)과 Active 여부를 직접 확인

 

3️⃣ DCGM 기반 헬스체크

sudo dcgmi diag -r 3
sudo dcgmi health

 

• NVLink integrity, ECC, PCIe 상태 등 종합 진단 수행

 

4️⃣ 지속 발생 시 조치

 

• 드라이버 및 NVSwitch FW 버전 정렬 확인
• 콜드 리부트로 하드웨어 레벨 초기화
• 특정 포트에서 반복 발생 시 하드웨어 점검 또는 교체

 

---

 

📈 5. 검증 결과 (Verification)

sudo journalctl -k | grep "E[Xx]id (PCI:0000:db:00)"
# 출력 없음 → 동일 Bus-ID에서 Xid 137/145 재발 없음

nvidia-smi nvlink -i 5 --status
# 모든 링크 Active / 50 GB/s 유지

✅ NVLink 링크 Active

✅ GPU reset / NCCL timeout 미발생

✅ 워크로드 지속 정상, 성능 저하 없음