首发日期 2024-08-22, 以下为原文内容:

本文介绍将 PCIE 设备 (显卡) 透传给 QEMU/KVM 虚拟机的一种方法,基于 Linux 内核的 vfio-pci 功能.透传 (pass through) 之后, 虚拟机内可以直接操作 (使用) 显卡硬件, 就像物理机那样,几乎没有虚拟化的性能损失.

这里是 穷人小水滴, 专注于 穷人友好型 低成本技术.

相关文章:

• 《香橙派: 在容器 (podman) 中运行 x11 图形界面》

• 《自制神之嘴: fish-speech 容器镜像 (文本转语音 AI 大模型)》

目录

1 显卡透传简介

虚拟机 (virtual machine) 顾名思义, 一台计算机的各种硬件设备都是虚拟的:CPU 是虚拟的, 内存是虚拟的, 硬盘, 网卡, 显卡, 键盘/鼠标/显示器, .. .这些全都是用软件虚拟的.比如著名的开源虚拟机软件 QEMU 里面就有模拟各种硬件设备的程序代码:https://www.qemu.org/

软件虚拟能够提供很高的灵活度和弹性, 能够实现很多物理硬件难以做到的,玩的很花的操作.但是软件虚拟有一个很大的缺点: 性能差. 软件虚拟的损耗比较高,速度通常只有物理硬件设备的几分之一, 甚至有时候降低很多个数量级.

人们又总是想既要又要, 想要虚拟机的灵活, 又想要物理机的高速, 怎么办 ?简单, 双方混合一下: 一部分用软件虚拟, 另一部分不虚拟, 这不就行了 ?

PCIE 设备透传就是这样一种技术, 可以将一个物理 PCIE 设备直接分配给某个虚拟机,由这个虚拟机独占并直接操作这个硬件设备.这种技术常用于 显卡 (GPU) 的透传, 因为透传显卡的效果很显著.

通过透传, 一台虚拟机就不再是纯软件虚拟的, 通过放弃一部分虚拟化的好处,在虚和不虚之间达到一种平衡.

2 详细过程

物理机操作系统: ArchLinux

参考资料: https://wiki.archlinux.org/title/PCI_passthrough_via_OVMF

主要硬件:

• CPU: AMD r5-5600g

• GPU: Intel Arc A770 (16GB)

2.1 安装虚拟机软件 (QEMU, libvirt, virt-manager)

安装相关软件包 (执行命令):

然后将自己加入 libvirt 用户组 (获得使用权限):

注意把 s2 换成自己的用户名.

2.2 配置 vfio-pci 内核参数 (GRUB)

• (1) 检查 IOMMU 是否启用.为了进行 PCIE 透传, 需要启用 IOMMU.IOMMU 是 CPU (或主板芯片组) 中的一个硬件, 能够管理 PCIE 设备对内存的访问.

• 比如此处显示 IOMMU (AMD-Vi) 已经启用.如果没有启用, 可能需要在主板的 BIOS 设置中启用, 或者在网上查找资料解决.

• (2) 检查 IOMMU 设备分组情况.首先将下列代码保存为 iommu-group.sh (文件名随意):

• 然后运行一下 (省略部分结果):

• 比如此处显示 A770 显卡位于 IOMMU Group 12 分组.

  位于同一个 IOMMU 分组中的设备, 只能整体全部分配给虚拟机.也就是说 IOMMU 分组不能拆分.所以, 如果同一个 IOMMU 分组里面还有别的设备, 就麻烦了.此处没有别的设备, 很好.

• (3) 配置 Linux 内核命令行参数.为了把显卡分配给虚拟机使用, 应该避免物理机上的驱动使用显卡,否则可能会造成冲突.

• 此处以引导程序 GRUB 举栗.如果使用别的引导程序, 具体细节可能不同, 但原理是一样的.编辑 GRUB 配置文件 /etc/default/grub:

• 改成这样 (省略部分结果):

• 也就是在 GRUB_CMDLINE_LINUX_DEFAULT 里面添加 vfio-pci.ids=8086:56a0.这表示给内核模块 vfio-pci 设置参数 ids.其中 8086:56a0 是设备的 PCI 编号, 在上一步查看 IOMMU 分组时可以获得.如果有多个设备, 以逗号 , 分隔, 比如 vfio-pci.ids=8086:56a0,103c:8136.

  然后重新生成 GRUB 配置文件:

重启计算机 (物理机).

重启之后检查配置是否生效:

以及:

比如此处表示 A770 目前使用 vfio-pci 内核驱动.

2.3 创建虚拟机并安装 ubuntu 22.04 (server)

下载 ubuntu 22.04 安装光盘镜像: https://ubuntu.com/download/server

这是下载的 iso 文件.

启动 libvirtd 服务:

然后打开 virt-manager:

这是一个方便使用的虚拟机管理 (libvirt) 图形界面.

右击 QEMU/KVM 在菜单中选择 New 开始创建虚拟机.

点击 Forward 下一步.

点击 浏览 选择安装光盘镜像.

点击左下角的 加号:

点击 浏览 选择本地目录:

点击 完成.

选择安装光盘镜像 iso 文件, 点击 Choose Volume 按钮.

下一步.

分配内存大小和 CPU 核心数, 下一步.

设置虚拟磁盘大小, 下一步.虚拟磁盘的大小在使用过程中动态分配, 所以设置的大一些也可以.

点击 完成, 开始安装 ubuntu 22.04:

启动界面, 选择第一项, 回车 (Enter) 键启动.

语言选项, 保持默认, 按回车键.

软件源配置 (用来下载软件包), 默认会自动检测. 按回车键确认.

磁盘分区配置, 保持默认, 按回车键.

设置用户名和密码. 此处设置的用户名为 a2, 按回车键确认.

选择安装 OpenSSH (Install OpenSSH server), 按回车键确认.

正在安装系统, 稍等.

安装完毕, 选择重启 (Reboot Now).

重启之后, 提示登录.

输入之前设置的用户名和密码, 登录成功.注意此处显示的虚拟机的 IP 地址 (192.168.122.140), 接下来会用到.

至此, ubuntu 22.04 操作系统在虚拟机内安装完毕.

2.4 配置 SSH 公钥登录

为了方便操作, 配置 SSH 登录虚拟机.

• (1) 在物理机生成 公钥 / 私钥 对:

• (2) 使用 ssh-copy-id 命令, 复制公钥到虚拟机:

• 此处虚拟机的 IP 地址是 192.168.122.140.输入用户的密码, 完成复制.

• (3) 编辑 SSH 配置文件:

• 改成类似这样:

尝试 SSH 连接:

如果正常登录, 说明配置成功.

2.5 分配显卡

首先 关闭虚拟机:

然后对虚拟机进行配置:

在 概况 > XML 里面, 选中这一部分, 删除:

然后点击 Apply 应用.

把左侧多余的硬件删除, 然后点击 添加硬件:

选择 A770 显卡, 点击 完成.

配置完毕, 如图.

启动虚拟机 (此时没有显示画面), 使用 SSH 登录. 安装软件包:

查看显卡信息:

说明透传成功.

3 测试

这些操作在虚拟机中进行. 首先更新一下系统:

然后:

3.1 安装 Intel GPU 驱动

参考资料: https://dgpu-docs.intel.com/driver/client/overview.html

• (1) 配置 apt 软件源:

• (2) 安装新的 (HWE) Linux 内核:

• (3) 安装 GPU 驱动软件包:

• 把自己加入 render 用户组:

重启虚拟机:

3.2 获取 GPU 信息

重启之后进行检查:

以及:

说明 GPU 驱动安装成功.

4 总结与展望

通过使用 Linux 内核的 vfio-pci 功能, 成功将显卡 A770 透传给 QEMU/KVM 虚拟机, 并在虚拟机中成功安装了 GPU 驱动.

本文演示了在虚拟机中安装 ubuntu 22.04 (server) 操作系统. 其实在虚拟机中安装 Windows 也是可以的, 同样能够安装显卡驱动并使用.

除了透传显卡, 根据实际需要, 也可以尝试透传别的 PCIE 设备.

显卡透传之后, 虚拟机内就可以直接操作显卡了, 通过安装驱动, 可以使用显卡的全部功能, 就像物理机一样.

本文使用 CC-BY-SA 4.0 许可发布.

本文使用 Bilibili-Markdown 工具进行格式化排版:https://www.bilibili.com/read/cv18986956/