gpu-burn是一款GPU压力测试工具，今天就来介绍下如何安装和使用gpu-burn。首先我们我先去拉取源码包，地址是：https://github.com/wilicc/gpu-burn，目前也支持部分操作系统的二进...
我们通常看到发布的开源模型都会有写10b,17b,100b等等这些数字，这些都是指的模型参数规模，现在大模型参数从原来的亿级暴增至几百亿，这些由于现在gpu性能的大幅提升以及应用对模型的性能需求，导致了参数规模爆发式增长...
日常在一些程序中进行GPU调用，这些cuda程序异常崩溃的时候，有时会遇到掉卡掉驱动、没有进程但是显存被占用的情况，这个时候我们可以通过以下命令来尝试进行处理。如果是掉卡的话可以使用lspci查看下主板上还能否检测到GP...
MIG通过虚拟地将单个物理GPU划分为更小的独立实例，这项技术涉及GPU虚拟化，GPU的资源，包括CUDA内核和内存，被分配到不同的实例。这些实例彼此隔离，确保在一个实例上运行的任务不会干扰其他实例。使用MIG，每个实例...
目前市面上有很多GPU共享技术，在GPU共享的模式下，在用户态共享和内核态进行共享是不一样的，根据以下视图，越往底层，共享对用户的影响越小，安全性也能对应提升。下面我就来简单介绍下目前GPU共享的一些技术1.CUDA劫持...
在 vGPU 模式下，GPU 上的内存是静态分区的，但计算能力在共享 GPU 的 VM 之间分时共享。在这种模式下，当虚拟机在 GPU 上运行时，它“拥有” GPU 的所有计算能力，但只能访问其共享的 GPU 内存。在 ...
在ubuntu上安装显卡驱动有几种方式，可以使用图形界面的方式安装，也可以使用命令行来安装，我们这里主要来讲使用命令行的方式安装，安装的方式也有两种，分为在线安装和离线安装。安装的时候推荐关掉图形化界面，进入终端模式进行...
最近有需要使用nvml调用底层显卡信息的需求，所以查了下python有相关的模块pynvml可以使用，下面就直接看看一些基本使用的方法首先我们安装这个模块pip install nvidia-ml-py3然后使用时我们需...
我们在安装linux图像化界面时，开机启动以后Xorg运行起来后自动占用英伟达显卡，在某些使用GPU的情况下会让程序运行失败所以我们需要关闭Xorg对GPU的占用，具体操作如下我们首选需要关闭图形化界面，使用如下命令in...
GPU开启了持久模式以后，即使没有活动的客户端，NVIDIA驱动程序也会保持加载状态，这样可以很大程度减少与运行依赖程序的加载时间，适用于所有的CUDA产品。Persistence-M (Persistence Mode...
在使用单机多卡的时候我们会经常遇到一些GPU的操作，例如查询当前有几块GPU卡，GPU卡名字，如何在torch中使用多卡等问题，下面我们先进行一些基础的学习，这里不再赘述如何安装torch，可以看我之前的笔记。一些常用的...
整个部署过程花了四五天终于部署好了，操作过程记录下，其实只差一步一直没找到相关资料，所以搞了这么多天，再做一遍估计也就2-3小时就能弄好建议安装kvm宿主机使用ubuntu20.04，省去了配置vifo的麻烦，20.04...
之前安装了一个较老版本的显卡驱动，然后执行nvidia-smi命令发现不能识别显卡名字，然后进行卸载./NVIDIA-Linux-x86_64-xxx.run --uninstall用上述命令一般都能卸载完，但是再安装的...
现在工作中经常接触pytorch，tensorflow等AI框架，记录下安装注意事项GPU测试方法1.tensorflow可以在https://tensorflow.google.cn/install页面查看安装说明，注...
我们在linux系统中使用GPU时有时遇到了坏卡的情况，我们希望能够自动不使用坏掉的卡，也就是让系统和程序自动跳过不使用GPU卡，我们需要将GPU卡标记为驱逐状态，那么今天我们就来介绍下如何标记指定的GPU卡为驱逐状态。...