说明:以下内容基于 NVIDIA 官方 Xid 错误参考文档、NVIDIA CUDA Toolkit 文档、DCGM 以及主流数据中心运维实践整理,属于服务器 GPU error 的专业诊断与处置通用知识(非实时联网抓取结果)。

一、什么是服务器 GPU error
服务器 GPU error 是指在 NVIDIA / AMD 数据中心级 GPU(如 A100、H100、H200、L40S、MI250 等)运行或空闲状态下,硬件、固件、驱动或运行时报出的异常与错误码。它既可能是偶发的软件层错误(如 CUDA 非法访问、显存页错误),也可能是硬件级故障(如 GPU 掉卡、ECC 不可纠正错误、NVLink 链路故障)。在 AI 训练/推理集群中,GPU error 直接影响作业稳定性与集群利用率。
二、常见 GPU error 分类与含义(NVIDIA 体系)
1)Xid 错误(最核心):由 GPU 驱动记录在 kernel log(dmesg / /var/log/messages) 中,格式为 NVRM: Xid (PCI:BDF): xx。关键 Xid 含义包括:
Xid 79:GPU fallen off the bus,GPU 从 PCIe 总线消失,通常为硬件/供电/散热/链路严重故障,需重启节点并考虑 RMA。
Xid 48:Double Bit ECC Error(DBE),显存不可纠正错误,已导致计算结果损坏,属于高优先级故障,通常需更换 GPU。
Xid 63 / 64:显存 Row Remapping 失败或达到上限,表明显存颗粒退化,需监控并计划更换。
Xid 13 / 31 / 43:GPU GPU reset 失败 或卡处于错误状态,常见于驱动异常或固件问题。
Xid 44 / 45 / 46:ECC 重映射相关错误,涉及显存行替换异常。
Xid 74 / 76:NVLink 错误,多卡互联链路出现硬件或训练异常,影响多卡 all-reduce 性能与正确性。
Xid 95:GPU 进入错误状态,无法恢复,需 重启或重新上电。
Xid 119 / 120 / 122:PCIe 链路降级或 PCI replay / bad TLP 错误,提示插槽、 riser 卡或供电问题。
Xid 140 / 143:温度过高触发的 过热保护/硬件热事件。
2)CUDA error:应用层报出的错误,如 illegal memory access、CUDA_ERROR_ECC_UNCORRECTABLE、unknown error / misaligned address。这类错误不一定是硬件故障,也可能是框架(PyTorch/ TensorFlow)或算子 Bug,需要与 Xid 结合判断。
3)ECC / 显存错误:Single Bit ECC(SBE) 可纠正,属可容忍告警;Uncorrectable ECC(UCCE) 不可纠正,属严重故障。
4)温度与功耗异常:GPU 温度高于阈值(通常 90℃ 以上触发 throttling)、功耗持续接近或达到 TDP 上限、fan 转速异常,都会伴随性能下降和 error。
5)PCIe / 拓扑异常:链路宽度从 x16 降为 x8 / x4、重传率升高、IOMMU/ACS 配置冲突,导致吞吐下降甚至通信超时。
三、常见根因分析
1)硬件类:GPU 显存颗粒老化、PCB 脱焊或过温损伤、PCIe riser / 背板接触不良、供电(PSU / 12VHPWR 线缆)不稳、NVLink bridge 松动或氧化、服务器电源与导轨散热通道设计缺陷。
2)环境与散热类:机房进风温度过高、冷通道/热通道管理失效、防尘网堵塞、GPU 散热器导热硅脂/垫片失效、整机风道受阻导致局部 hotspot。
3)软件与配置类:GPU 驱动与内核不匹配、GPU 固件(FW)版本过旧、vBIOS 异常、CUDA 版本与框架不兼容、NUMA / PCIe ACS 配置错误、容器直通(vfio-pci / nvidia-container-toolkit)配置错误、MIG 配置残留。
4)业务负载类:超大模型显存溢出、非法显存访问、算子 Bug、长时间高负载下累积 ECC 错误、多进程争用导致超时。
四、专业诊断流程(推荐顺序)
第 1 步:确认状态与错误码。使用 nvidia-smi -q 查看温度、功耗、ECC 计数、Retired Pages、Remapped Rows、Fan 转速;用 nvidia-smi dmon 观察实时指标;用 dmesg -T | grep -iE "xid|nvrm|gpu" 抓取 Xid 记录。
第 2 步:区分是硬件还是软件错误。若仅有 CUDA illegal access 而 无 Xid、无 ECC、温度正常,优先排查代码、数据与框架版本;若出现 Xid 48 / 63 / 79 / 140,优先按硬件故障处理。
第 3 步:压测复现与隔离。使用 dcgmi diag -r 3(DCGM 官方诊断工具)执行压力测试与 ECC 测试;或运行 gpu-burn、nvbandwidth、p2pBandwidthLatencyTest 复现;对多卡机器可逐卡隔离故障卡。
第 4 步:检查链路与环境。使用 nvidia-smi topo -m 检查 NVLink 状态 与 PCIe 拓扑;用 setpci / lspci 确认 链路宽度与速率是否降级;检查机房进风温度、风扇转速、机箱防尘网。
第 5 步:取证与上报。生成 nvidia-bug-report.sh 日志包,保留 dmesg、systemd journal、DCGM 遥测,用于与硬件厂商或 OEM(如 Dell、HPE、Supermicro、浪潮、新华三)进行 RMA 判责。
五、标准化处置与预防措施
1)紧急处置:作业中断时先保存 checkpoint、将节点drain 出调度(Kubernetes 中可标记为 unschedulable / cordon),避免错误扩散影响训练任务。
2)软件侧处置:升级或回滚 GPU 驱动、CUDA、vBIOS、GPU FW 至厂商推荐稳定版本;重置 GPU(nvidia-smi --gpu-reset)(需无进程占用);必要时冷重启整机。
3)硬件侧处置:对 Xid 79 / 48 / 140 等硬错误,先重新插拔 GPU、更换供电与 riser 卡,清洁金手指与散热接触面;仍复现则进入 RMA 更换流程。
4)监控与预警:在集群层面部署 DCGM Exporter + Prometheus + Grafana,对 Temperature、Power、ECC SBE/UCCE、Xid 事件、NVLink 错误计数 设置阈值告警,做到故障早期预警。
5)运维规范:建立GPU 健康巡检 SOP(每日/每周 dcgmi diag)、备件与热备池、故障卡自动隔离策略,以及训练任务断点续训机制,以降低 GPU error 对生产的影响。
六、快速判障速查表
Xid 48 → 不可纠正 ECC → 高优先级,通常更换 GPU;Xid 63/64 → 显存行重映射失败 → 监控并计划更换;Xid 79 → 掉卡 → 检查供电、散热、PCIe 链路后 RMA;Xid 74/76 → NVLink 故障 → 检查互联桥接与固件;Xid 140 → 过热 → 检查风道、进风温度、散热接触;仅 CUDA illegal access → 优先排查代码与显存溢出。
七、核心结论
服务器 GPU error 的本质是硬件、散热、供电、固件、驱动与负载共同作用的结果。专业处置的关键在于:先分类(软件 or 硬件)、再定位(Xid 与 ECC 为准)、后闭环(修复、监控、隔离、预案)。对于 Xid 48 / 63 / 79 / 140 等硬错误应视为高优先级硬件故障,优先停机隔离与更换;对于 CUDA 非法访问 等软错误应优先排查代码与显存配置。只有把监控告警 + 标准诊断 SOP + 备件与隔离策略组合起来,才能在大规模 GPU 集群中把 GPU error 对业务的影响降到最低。

查看详情

查看详情