[GPU 장애 분석 | NVSW] knvlinkUpdatePostRxDetectLinkMask_IMPL: Failed to update Rx Detect Link mask!

 

🧠 로그 개요 (Overview)

 

이 로그는 NVIDIA NVLink 서브시스템이 GPU ↔ NVSwitch 간 링크 상태를 업데이트하지 못했을 때 발생하는

커널 레벨 NVRM 경고 로그입니다.

NVRM: knvlinkUpdatePostRxDetectLinkMask_IMPL: Failed to update Rx Detect Link mask!

이 메시지는 NVLink 포트가 Rx Detect 단계에서 감지 실패하거나,

PCIe 버스 리셋 이후 NVLink 재초기화가 완료되지 않았을 때 주로 발생합니다.

 

GPU 초기화가 완료되지 못하면, KubeVirt의 virt-handler가 GPU를 VM에 attach하는 과정에서

libvirt 초기화 실패(LibvirtError) 를 일으키며

VM이 실제로 기동되지 않습니다.

 

---

 

📍 1. 현상 (Symptoms)

 

• 환경
  • 물리 노드는 GPU를 직접 사용하지 않고 Kubernetes 워커노드로 동작
  • GPU는 VM 내부에서 passthrough 방식으로 사용
  • VM은 KubeVirt 기반으로 생성되며 Slurm job은 VM 내부에서 실행
• 발생 로그
  • Host 커널 로그:

2025-10-10T22:25:01.838131+09:00 gsvp-msi-gpu031 kernel: NVRM: knvlinkUpdatePostRxDetectLinkMask_IMPL: Failed to update Rx Detect Link mask!

 

• virt-handler 로그:

LibvirtError: internal error: Unknown PCI header type '127' for device '0000:ed:00.0'

 

• 현상 요약
  • VM 생성 요청이 들어갔으나 VMI는 생성되지 않음
  • virt-handler pod에서 GPU attach 시점에 libvirt 초기화 실패
  • VM 상태는 “Stopped” 또는 “Waiting”으로 유지됨
• 영향
  • 해당 GPU가 할당된 VM 기동 불가
  • 동일 노드의 GPU 스케줄링 지연 가능

 

---

 

🔍 2. 분석 과정 (Investigation)

 

 

① virt-handler 로그 확인 (노드 단위)

kubectl get pods -n kubevirt -l kubevirt.io=virt-handler
kubectl logs -n kubevirt virt-handler-gsvp-msi-gpu031

 

• virt-handler는 DaemonSet으로 각 노드에 1개씩 실행되어
• VMI lifecycle과 libvirt 연동을 담당함
• 해당 노드의 handler 로그에서 GPU 초기화 실패 확인:

LibvirtError: internal error: Unknown PCI header type '127' for device '0000:ed:00.0'

 

• GPU 장치 초기화 중 PCIe 헤더 판독 실패
• SyncFailed 이벤트는 handler 내부에서 발생했으며 VMI는 생성되지 않음
• VM 객체는 존재하지만 libvirt attach 단계에서 실패

 

 

② VirtualMachine (VM) 리소스 상태 확인

kubectl get vm -n <namespace>
kubectl describe vm <VM_NAME> -n <namespace>

 

• 선언된 VM 스펙은 정상이나, 상태(Status)가 Stopped 또는 Waiting
• 이벤트에는 VMI 생성 관련 실패 메시지가 포함됨

 

 

③ 호스트 커널 로그 확인

journalctl -k -n 300 | grep -i nvrm

 

• NVLink 관련 에러 반복 발생:

NVRM: knvlinkUpdatePostRxDetectLinkMask_IMPL: Failed to update Rx Detect Link mask!

 

• → GPU ↔ NVSwitch 간 링크 감지 실패로 장치가 “partial initialized” 상태

 

 

④ GPU 및 PCIe 상태 점검

nvidia-smi -L
nvidia-smi -q -d NVLINK | grep -E "Link [0-9]+:|Errors"
lspci -vvv | grep -i nvidia -A 10

 

• GPU 디바이스는 PCIe 상에서 존재하지만 NVLink는 Inactive
• NVLink bring-up 실패 → GPU attach 시점에서 libvirt 오류 발생

 

---

 

⚙️ 3. 원인 (Root Cause)

 

• NVLink 감지(Rx Detect) 단계 실패
• GPU ↔ NVSwitch 간 링크가 재형성되지 않아 NVLink 상태 갱신 실패
• libvirt attach 타이밍 불일치
• GPU 초기화 완료 전에 VM attach 시도가 발생하여 PCI 헤더 판독 오류 발생
• PCIe bus hot reset 불완전
• GPU가 논리적으로 인식되지만 NVLink bring-up 미완료 상태로 남음

 

---

 

🧩 4. 조치 및 대응 (Actions)

 

 

✅ 실제 해결 방법 (Confirmed Resolution)

 

• 콜드 리부트 (Cold Reboot)
  • 물리 노드의 전원을 완전히 차단 후 재기동
  • PCIe 및 NVLink가 하드웨어 레벨에서 완전 재초기화됨
  • VM(VMI)은 삭제하지 않았으며, 호스트 재기동 후 GPU 자동 복구됨

sudo shutdown -h now
# 전원 OFF → ON 이후 상태 확인
nvidia-smi -q -d NVLINK | grep Active

 

• 모든 NVLink 링크 Active, VM 정상 기동 확인

 

---

 

🧭 참고용 대체 조치 (Alternative / Workaround)

 

본 케이스에서는 수행하지 않았으나, 유사 증상 시 시도 가능한 일반 조치

 

 

1. GPU 드라이버 재적재

sudo systemctl stop nvidia-persistenced
sudo rmmod nvidia_uvm nvidia_drm nvidia_modeset nvidia
sudo modprobe nvidia nvidia_modeset nvidia_drm nvidia_uvm
sudo systemctl start nvidia-persistenced

 

• 일부 환경에서 NVLink 복구 가능하나 근본적 해결책은 아님.

1. 버전 정렬 점검
   • NVSwitch FW, GPU FW, Driver 간 버전 호환성 확인
   • 커널 업데이트 후 발생 시 드라이버 rollback 고려

 

---

 

📈 5. 검증 결과 (Verification)

 

• 호스트

nvidia-smi
nvidia-smi -q -d NVLINK | grep Active

 

• → NVLink Active 상태 확인, 커널 로그에서 재발 없음
• VM
  • VM 기동 완료 (kubectl get vm → Running)
  • GPU passthrough 정상 작동 (nvidia-smi 정상 응답)