在没有 cert-manager 的情况下，你需要手动申请证书、创建 Kubernetes Secret，并在证书到期前重复这一流程，过程繁琐且容易出错。cert-manager 的核心价值在于：自动化：它会自动向 Le...
这两天客户反馈程序跑到一半异常了，然后查看dmesg日志有打印有很多nvswitch的12028的致命错误信息，还有Xid 94 和 137的错误信息，相关Xid 错误信息可以在这个笔记里面进行查询核对：https://...
在做具体操作之前我们来了解下ACS，ACS是指PCI访问控制服务（PCI Access Control Service），是一种在启用VT-d（I/O虚拟化技术）时用于控制PCI设备访问权限的机制，属于BIOS芯片组配置...
nvidia的nvidia-peermem模块通常是配合驱动参数NVreg_RegistryDwords一起使用，作用是强制启用 GPU 对等映射，让GPU 间通信直接进行，避免CPU的介入从而降低CPU负载，且不占用主...
目前交付场景中我们常做一些内核和驱动参数优化，主要有内核加载nvidia_peermem，还有一些驱动调节参数，NVreg_EnableStreamMemOPs， NVreg_RegistryDwords，NVreg_E...
前天有台客户的服务器自动重启了，接到通知后我对服务器进行了排查分析，顺便记录下这次排查的过程，登录重启的服务器我们首先就是需要确认的是重启的时间journalctl --list-boots 0 46204d44f10a...
今天客户有块磁盘识别容量大小异常，于是尝试关机插拔磁盘试试，插拔完重启使用mount -a进行挂载的时候出现了以下报错mount: /mnt/data1: wrong fs type, bad option, bad s...
周末遇到一个问题，就是由于我ubuntu22.04安装的内核版本比较老，是5.15.0-88-generic这个版本，然后发现linux-libc-dev这个软件被升级了，我们使用命令查看跟内核版本不一致，这个包是lin...
最近监控有需求要监控计算网络，也就是infiniband网络，目前已有dcgm-exporter和node-exporter，就看看infiniband是否也有类似的expoter可以用来监控，于是查了下InfiniBa...
nvidia-smi 是 NVIDIA 提供的 GPU 管理工具，用于监控 GPU 使用情况和调整 GPU 状态。它支持 Linux 和 Windows 系统，安装 NVIDIA 驱动后即可使用。我们可以通过nvidia...
我目前测试多机多卡的nccl-tests测试都是使用的同一个编译脚本，编译的参数都是一致，所以今天这个问题很奇怪，我在使用openmpi+nccl-tests多机多卡测试有以下输出，然后程序就结束了。A compress...
今天遇到一个节点卡住的问题，登录就一直卡着，直到好半天登录上去，查看dmesg日志，发现打印了以下错误信息从上述日志分析到时状态切换超时的问题，然后检查GPU状态，发现GPU未开启持久模式这种情况下可能是由于GPU在无任...
今天在告警信息中查看到了hardware slow_down DA:00.0，第一反应是硬件降速了，对于目前集群情况来说第一时间想到的就是GPU降速我们可以根据提供的bus_id进行检查看看是什么设备lspci | gr...
我们此前使用k8s的国外软件仓库安装k8s，但有时会遇到国际线路不稳定，无法正常安装的情况，那么今天我们就来看看如何切换到使用国内镜像仓库来安装k8s，记录下以免后面又需要到处找。原来添加k8s官方的软件仓库的方式如下，...
实际之前我们记录过好几次证书更新的操作，但是往回翻看就觉得有点乱，今天就再次更新一下证书的更新步骤，同时为了后面规范写作，所以写一下影响范围，这样就能够清晰的翻看更新证书的注意事项。默认k8s的证书是1年的有效期，根证书...
这边此前用四块SSD盘做了raid10，后面想改成raid5，然后通过以下操作，RAID5阵列已经创建成功，正在重建中，显示"spare rebuilding"，但是这个重建时间有点久，所以我们通过查找资料获取了一些方式...
DCGM (Data Center GPU Manager) 是 NVIDIA 提供的一个用于数据中心 GPU 管理和监控的工具集，提供了以下功能1.GPU 行为监控 2.GPU 配置管理 3.GPU 策略监督 4.GP...
今天安装cuda12.04失败了，以前安装cuda基本都没有出现过失败的情况，那么我就拉看看今天安装失败打印的错误吧，错误信息如下[INFO]: Setting toolkit=true [INFO]: Adding d...