云教室部署vgpu

1. 概述

本文以部署50用户vGPU云教室为范例，描述了朵拉云科技vGPU云教室的安装过程。本文档适用于使用朵拉云DoraCloud桌面虚拟化系统部署vGPU云教室、vGPU办公等应用场景。

1.1 云教室构成

一个50用户云教室的组网如下图：输入图片说明

云教室硬件包括：

50台学生机（云终端，显示器，键鼠）
1台教师PC机
一台服务器
一台交换机
一台路由器

云教室的软件系统包括：

朵拉云DoraCloud桌面虚拟化系统。部署在服务器上。
多媒体教学软件。部署在教师PC上。

一个典型的50用户的vGPU云教室的配置清单如下：

序号	产品名称	规格	数量	单位
1	服务器	Intel Xeon Gold 6148 2.4Ghz 20C/40T * 2 内存：156GB(DDR4-2666 32G * 8) SSD：1.92TB 企业级SSD * 1 硬盘：2TB 7.2K * 1 网卡：板载 2个1GbE LAN with Intel X722 电源：双电源显卡（如A16）	1	台
2	桌面云软件	朵拉云 DoraCLoud高级版：支持公用桌面、专用桌面；高可用；vGPU	50	用户授权
3	瘦终端	朵拉云云终端 DC20, ARM A55 四核2.0Ghz主频；内存1G DDR3；硬盘8G；VGA+HDMI（最大1920*1080）；1000M RJ45；3.5mm音频输入输出；4个USB2.0+2个USB3.0;三年质保;多协议配套显示器、键盘、鼠标。	50	台
4	教学软件	多媒体电子教学软件，支持屏幕广播，学生演示，文件收发，分组教学，作业提交	1	套
5	教师机	I3、4GB内存、500G硬盘、21.5寸显示器	1	台
6	交换机	48口千兆交换机	1	台
7	路由器	路由器，待机量在50-100用户	1	台

1.2 云教室配置规划

在开始云教室配置前，需要先做好配置的规划。云教室配置规划包括：网络规划、模板规划、其他规划。
网络规划定义了云教室的组网，主要参考用户单位的网络管理员的意见。
模板规划定义了云桌面使用的操作系统版本和应用软件清单，由云教室的用户需求决定。
其他规划定义了桌面池、用户、终端的编号和配置策略，方便云教室的管理员进行日常管理。

【网络规划】

一个教室的云终端、虚拟桌面、教师机必须在同一个局域网，并位于同一个VLAN内。以便进行教学广播。
网络内的IP地址推荐采用DHCP动态分配。建议的DHCP IP地址池设置为学生数目的3倍。DHCP的周期，建议配置为30-60分钟。并且DHCP Server支持原IP地址续约。以免IP变化引起连接中断的问题。比如：50用户云教室，终端需要50个地址，桌面虚拟机需要50个地址，再预留50个地址，作为备用。这样在重建桌面时有足够的空闲IP。
预留2个静态IP地址，分别留给物理服务器的 Proxmox 和 DoraCloud 管理系统。静态IP不应该出现在DHCP的IP地址池中。
在开始 DoraCloud 软件安装前，请务必确认网络已经配置好，并且开启了DHCP服务。
请就上述网络规划问题与云教室的管理员以及网络管理员沟通，并填写《云教室规划表》的相应内容，参见下图的内容。

【模板规划】

模板规划是确定桌面模板的Windows操作系统版本，以及应用软件的清单。一个云教室可以有多个桌面模板。
本文档作为范例的模板为Windows 10 64位操作系统，安装的应用软件有：Office、QQ、极域学生端。

输入图片说明

【其他规划】

DoraCloud桌面云系统中还有其他一些配置，包括桌面池、用户、缺省账号等。这些规划可以使用缺省配置，或者根据管理员的要求调整。

1.3 云教室部署前准备工作

在云教室部署过程中，需要准备一台笔记本电脑，最好有互联网连接，以便于朵拉云科技工程师进行远程协助的部署。
在您开始云教室的软件部署前，需要检查【硬件准备】、【软件准备】、【网络准备】已经准备就绪。

1.3.1 【硬件准备】

完成服务器的硬件安装。如果服务器放置在教室内，服务器与学生机（云终端、显示器）能够分别开关机。避免下课时关学生机，服务器也被断电的情况出现。
完成云终端的硬件安装。含显示器、键盘、鼠标的硬件安装。
完成教师机硬件安装，教师机预装了Windows操作系统。
一台笔记本电脑用于调试，一个空闲的U盘，容量在8G以上。
确认服务器的硬件配置足够满足50用户的云教室需求。
50用户按照人均4G内存规划，典型硬件配置为：

内存： 256GB
SSD ： 1.92TB 企业级固态盘

1.3.2 【软件准备】

服务器虚拟化
proxmox 下载
桌面虚拟化
DoraCloud V3.4 for proxmox 下载
云终端管理
云终端管理软件 TCManager 下载
教学软件
VDClass 云教室管理软件下载
教学软件
极域多媒体电子教室软件请从附带的光盘下载安装程序
桌面模板
DoraCloud支持在线模板仓库。如果项目现场不具备在线下载模板的条件，可以事先下载模板，到现场从本地恢复桌面模板。

模板的离线恢复方法参见链接

应用软件
具体请咨询用户的云教室管理员。请云教室的管理员提供所需应用软件的安装程序。

1.3.3 【网络准备】

将服务器、教师机、所有的云终端与交换机连接。
如果配置有路由器，将路由器的LAN口与交换机连接，并按照规划表的要求，设置路由器的LAN网络地址为：10.2.242.254；LAN网络内启用DHCP服务，IP地址范围为10.2.242.11-10.2.242.60，DHCP分配的网关为 10.2.242.254，分配的DN为114.114.114.114。路由器的WAN口，根据云教室的联网要求进行配置，比如设置为PPoE拨号到运营商的网络，或者DHCP Client模式直接接入校园网。参见下图左侧。

输入图片说明

如果用户单位的网络可以在路由器或者三层交换机为云教室划出一个VLAN和子网，则直接把云教室配置的交换机与上行的端口连接。根据本文的规划，需要用户单位的管理员在上级网络设备上划出一个VLAN，并配置网关为10.2.242.254。 DHCP可以由上级交换机（路由器）提供。参见上图右侧。
如果单位的网络可以提供VLAN和子网，但是不愿意为云教室启用DHCP，我们可以在服务器上启用DHCP服务。还有一些云教室要求使用静态IP分配方式。

将笔记本有线网口与交换机连接，有线网卡配置成DHCP。如果云教室的网络不能连接互联网，建议将笔记本通过手机热点连接互联网，以便于远程协助进行云教室的调测。如下图

输入图片说明

我们在笔记本上检查一下，是否获取到地址段为10.2.242.x动态IP地址。然后ping一下网关地址 10.2.242.254。如果云教室的网络可以连接互联网，ping一下 baidu.com，确认互联网连接正常。如果云教室的网络不能连接互联网，请开启手机热点，笔记本通过手机热点联网，以便于远程协助进行云教室的部署。
★注意1：开始部署前，请确保已经按照云教室的网络规划，预留了网段和IP资源，并开启DHCP服务。
★注意2：为了提高远程支持的效率，请务必准备好互联网连接，以便于朵拉云工程师远程协助部署。

1.3.4 开始云教室的安装之旅

如果您已经确认按照上述要求完成了【硬件准备】、【软件准备】、【网络准备】，您可以开始下一步的安装过程。
朵拉云云教室的安装过程包括以下几个环节，各环节的大致耗时如下表。

ID	内容	耗时	章节	备注
1	proxmox系统的安装	10分钟	第2章
2	安装DoraCloud桌面虚拟化系统	5分钟	第3章
3	DoraCloud的初始化设置	5分钟	第4章
4	创建和编辑桌面模板	不确定	第5章	在模板中安装应用软件是管理员例行维护工作之一。我们建议现场部署人员与云教室管理员一起安装应用软件。
5	配置桌面池	20分钟	第6章	正常情况下，10分钟可以创建30-60个桌面。
6	用户和群组	3分钟	第7章
7	教师机和云终端	5分钟	第8章
8	云教室验收测试	30分钟	第9章
9	常见问题处理	120分钟	第10章

2. Proxmox系统安装

如果您的项目购买了【朵拉云科技云教室的远程部署服务】，您可以在完成本章节内容后，请求朵拉云科技的工程师进行远程安装部署工作。远程部署时间约为1-2小时。

下面描述实现上述要求的详细的安装过程。

2.1通过U盘启动盘安装proxmox

Rufus/Venoty/UltraIOS制作Proxmox7.4.1系统U盘启动盘

以Rufus为例：链接

2.2通过ipmi安装proxmox

浏览器远程登录ipmi管理页面，挂载iso，进行安装impi的登录账户密码询问服务器提供商启动java控制台安装proxmox

3. Proxmox VE更新源并升级

3.1 一键升级脚本

在PVE的shell中，执行如下脚本，即可完成如下三个操作： 1.将源更新为 USTC 的源。 2.执行 apt update 更新当前包更新 3.执行 apt dist-upgrade 执行版本升级

curl -o- http://vdi.doracloud.cn:9000/software/pveupdate.sh |bash

更新完成后reboot重启PVE 更新USTC源更新完后重启

3.2修改默认存储方式

将缺省安装的 local-lvm 存储改成目录机制，提升io性能

1.登录 PVE web界面，在数据中心->存储中，选择 local-lvm，然后点击删除。删除lvm

2.通过命令删除 lvm，新建lvm，并创建文件系统。

# 一键复制即可
pvesh delete /storage/local-lvm

umount /dev/pve/data

lvremove /dev/pve/data -y

vgdisplay pve | grep Free | awk '{print "lvcreate -l " $5 " -n data pve -y"}' |bash

mkfs.xfs /dev/pve/data
mkdir /mnt/data
mount /dev/pve/data /mnt/data

echo "/dev/pve/data /mnt/data xfs defaults 0 0" >> /etc/fstab

pvesm add dir data --path=/mnt/data

命令行删除lvm

3.3安装显卡驱动

适用于NVIDIA 显卡的安装过程（要求显卡支持 NVIDIA GRID vGPU技术） 1.修改Proxmox的安装源，并执行更新。安装 pve-headers、dkms等包。

curl -o- http://www1.deskpool.com:9000/software/gpu01.sh |bash

执行gpu01

2.启动IO-MMU

curl -o- http://www1.deskpool.com:9000/software/gpu02.sh |bash

执行gpu02 执行脚本后，会自动重启服务器。

3.安装nvidia vGPU显卡驱动。

以下脚本安装GRID 16.5(535.161.05)的驱动

curl -o- http://www1.deskpool.com:9000/software/gpu03.sh |bash

执行gpu03 执行脚本后，会自动重启服务器。

4.驱动安装后，系统重启，然后执行 nvidia-smi查看显卡状态。

nvidia-smi

查看显卡状态

5.执行 sriov-manage 激活SR-IOV

cat >/etc/systemd/system/sriov.service <<EOF
[Unit]
Description=Enable NVIDIA SR-IOV
After=network.target nvidia-vgpud.service nvidia-vgpu-mgr.service
Before=pve-guests.service
[Service]
Type=oneshot
ExecStartPre=/bin/sleep 30
ExecStart=/usr/lib/nvidia/sriov-manage -e ALL
[Install]
WantedBy=multi-user.target

EOF

systemctl daemon-reload

systemctl enable sriov.service

systemctl start sriov.service

6.执行激活SR-IOV后，需要通过 mdevctl types 命令，查询vGPU类型。如果可以查询到mdev类型，证明激活成功。

由于sriov-manage命令对显卡的SR-IOV的启用，不会持久化。为了使显卡重启启动后，还能自动启动SR-IOV，需要定义一个服务。

mdevctl types

自动启用SR-IOV

4. 安装DoraCloud

4.1 在线安装 DoraCloud

cd /var/lib/vz/dump; wget -qO- https://dl.doracloud.cn/dpinstall.pl --referer https://doracloud.cn | perl

在线安装DoraCloud 自动恢复后，然后浏览器登录 DoraCloud 管理后台，输入账号 admin DoraCloud，登录后台。查看IP登录后台

4.2. DoraCloud的初始化设置

登录DoraCloud后台；用户密码：admin DoraCloud DoraCloud用户密码根据配置向导，完成DoraCloud的初始化配置。 DoraCloud开始向导选择Proxmox，输入Proxmox服务器ip地址、用户名密码配置存储，建议虚拟机都存放在SSD盘选择存储创建新的DoraCloud集群和加入已有的DoraCloud集群，由于这里是一台服务器单节点，则选择创建新集群创建新的集群配置用户数据库，本地or域。这里选择本地。为防止动态ip不被同时占用，给DoraCloud更改一个固定ip。设置静态IP