LoRA模型说明和作用

此前没有了解过LoRA模型，可以能是由于接触的比较偏底层，最近接触所以查了一些资料并记录下来，接下来让我们来了解下LoRA模型是什么，并且它有哪些作用。

首先LoRA我称之为模型，实际这是个很主观的叫法，LoRA（Low-Rank Adaptation，低秩适配）不是完整大模型，只是一套极小的增量权重文件，不能单独运行，必须依附一个基础底模（Base Model）才能加载使用。

冻结开源大模型主体权重，只训练少量低秩矩阵参数，参数量通常只有底模的 0.1%~5%，训练、存储、加载成本极低。

目前有基于很多开源 LLaMA、Qwen、Mistral、Llama 3 等通用开源底座模型，给通用大模型补充垂直专业知识、专属话术、专业推理逻辑，通用对话能力保留，专业精度大幅提升。

当然也有图和视频模型等公开的权重，也是不更改底座模型的能力，增加专属形象特征，切换 LoRA 就能快速换画风。

带LoRA标识的文件不是完整模型，是配套微调增量权重，全部依托开源基础模型二次训练产出。

它的优势是训练成本低、分发体积小、可多LoRA组合使用，不会永久破坏基础底座。

暂时没有上一篇

nvidia-peermem和dmabuf两种GDR方式的区别