日常在一些程序中进行GPU调用，这些cuda程序异常崩溃的时候，有时会遇到掉卡掉驱动、没有进程但是显存被占用的情况，这个时候我们可以通过以下命令来尝试进行处理。如果是掉卡的话可以使用lspci查看下主板上还能否检测到GP...
之前我们有记录过一个笔记，是docker环境下通过查看到的进程PID号来查找到拥有该进程的POD，具体可以查看我之前的笔记：https://sulao.cn/post/922近期基本都在将docker环境切换到conta...
MIG通过虚拟地将单个物理GPU划分为更小的独立实例，这项技术涉及GPU虚拟化，GPU的资源，包括CUDA内核和内存，被分配到不同的实例。这些实例彼此隔离，确保在一个实例上运行的任务不会干扰其他实例。使用MIG，每个实例...
我们在k8s使用英伟达GPU时想让POD自动挂载我们需要部署nvidia-device-plugin组件，如何部署使用可以查看我之前的笔记：https://sulao.cn/post/975英伟达的device plug...
目前市面上有很多GPU共享技术，在GPU共享的模式下，在用户态共享和内核态进行共享是不一样的，根据以下视图，越往底层，共享对用户的影响越小，安全性也能对应提升。下面我就来简单介绍下目前GPU共享的一些技术1.CUDA劫持...
在 vGPU 模式下，GPU 上的内存是静态分区的，但计算能力在共享 GPU 的 VM 之间分时共享。在这种模式下，当虚拟机在 GPU 上运行时，它“拥有” GPU 的所有计算能力，但只能访问其共享的 GPU 内存。在 ...
由于自己的云服务器内存只有1G，今天在编译软件的时候直接报错提示内存不足的相关报错，所以记录下增加swap交换分区的方法，之前没记录的，这次记录下，下次方便使用。dd if=/dev/zero of=/swap bs=1...
上次笔记我们介绍过迈络思品牌的RDMA网卡驱动的安装，这里我们来就学习并记录下RDMA网卡的配置，之前的笔记我们可以查看：https://sulao.cn/post/974之前是到重启openibd服务来加载新的驱动程序...
由于经常使用k8s，所以在遇到退出码含义的时候经常要去查询，所以记录到博客上方便进行查找对应的含义关系。 当一个容器达到 Exited 状态时，Docker 会在日志中报告一个退出码，告诉你容器发生...
默认的Linux发行版中的内核配置都会开启tmpfs，映射到了/dev/下的shm目录，这个就是共享内存目录，可以通过df命令查看，例如在pod中我们查看默认就是64M。/dev/shm/是linux下一个非常有用的目录...
NCCL（NVIDIA Collective Communications Library）是由 NVIDIA 开发的一种高性能的多 GPU 通信库，用于在多个 NVIDIA GPU 之间实现快速的数据传输和协同计算。它...
Linux内核提供了两个版本即cgroup v1和cgroup v2cgroup是Linux内核提供的一种机制，用于限制、记录和隔离进程组的资源使用。它可以控制CPU、内存、IO等系统资源的分配和使用，并且支持动态调整资...
目前的工作中会经常用到etcd，使用etcdctl命令有时感觉不是很方便的处理后续数据，所以记录下使用python操作etcd的一些常用方法使用python操作etcd获取单个key会返回data和meta两个值，如果是...
目前这个问题只出现centos7上，因为centos7带的glic库版本较低导致程序升级以后，POD启动时报错。容器运行时是我们自己的，看到直接执行该文件直接报错/usr/bin/orion-container-runt...
prometheus 是一个基于golang 编写，编译后的软件包，不依赖于任何的第三方依赖。用户只需要下载对应平台的二进制包，解压并且添加基本的配置即可正常启动Prometheus Server我们首先需要准备一些部署...
Supervisor是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具，不支持Windows系统。它可以很方便的监听、启动、停止、重启一个或多个进程。因为superv...