这两天客户反馈程序跑到一半异常了，然后查看dmesg日志有打印有很多nvswitch的12028的致命错误信息，还有Xid 94 和 137的错误信息，相关Xid 错误信息可以在这个笔记里面进行查询核对：https://...
nvidia的nvidia-peermem模块通常是配合驱动参数NVreg_RegistryDwords一起使用，作用是强制启用 GPU 对等映射，让GPU 间通信直接进行，避免CPU的介入从而降低CPU负载，且不占用主...
DCGM (Data Center GPU Manager) 是 NVIDIA 提供的一个用于数据中心 GPU 管理和监控的工具集，提供了以下功能1.GPU 行为监控 2.GPU 配置管理 3.GPU 策略监督 4.GP...
Xid 消息是来自 NVIDIA 驱动程序的错误报告，会打印到操作系统的内核日志或事件日志中。Xid 消息表明发生了普遍的 GPU 错误，通常是因为驱动程序错误地对 GPU 进行了编程，或者是因为发送给 GPU 的指令出...
NVIDIA HPC SDK是一套综合的编译器、库和工具，用于GPU加速HPC建模和仿真应用。随着对运行Linux的NVIDIA gpu和x86-64、OpenPOWER或Arm cpu的支持，NVIDIA HPC SD...
NVIDIA HPC-X 是一个综合软件包，包括消息传递接口 （MPI）、对称分层内存 （SHMEM） 和分区全局地址空间 （PGAS） 通信库以及各种加速包。这个功能齐全、经过测试和打包的工具包使 MPI 和 SHME...
日常在一些程序中进行GPU调用，这些cuda程序异常崩溃的时候，有时会遇到掉卡掉驱动、没有进程但是显存被占用的情况，这个时候我们可以通过以下命令来尝试进行处理。如果是掉卡的话可以使用lspci查看下主板上还能否检测到GP...
MIG通过虚拟地将单个物理GPU划分为更小的独立实例，这项技术涉及GPU虚拟化，GPU的资源，包括CUDA内核和内存，被分配到不同的实例。这些实例彼此隔离，确保在一个实例上运行的任务不会干扰其他实例。使用MIG，每个实例...
我们在k8s使用英伟达GPU时想让POD自动挂载我们需要部署nvidia-device-plugin组件，如何部署使用可以查看我之前的笔记：https://sulao.cn/post/975英伟达的device plug...
目前市面上有很多GPU共享技术，在GPU共享的模式下，在用户态共享和内核态进行共享是不一样的，根据以下视图，越往底层，共享对用户的影响越小，安全性也能对应提升。下面我就来简单介绍下目前GPU共享的一些技术1.CUDA劫持...
由于containerd下配置nvidia-container-runtime比较繁琐，所以写了脚本去自动修改使用python修改config.toml文件首先需要安装toml模块pip3 install toml然后就...
