基于Proxmox VE + Ceph部署超融合云桌面系统

1.概述

1.1 超融合架构技术优势

超融合基础设施（HCI）通过将计算、存储、网络资源整合到标准化服务器节点中，实现：

资源池化：Proxmox VE提供统一的虚拟化管理平台
线性扩展：Ceph分布式存储支持按需增加节点
高可用性：自动故障检测与虚拟机迁移（HA）
成本优化：x86标准硬件替代专用存储设备

1.2 超融合系统的网络

1.2.1 Ceph的网络结构

Ceph的网络结构如下图。

输入图片说明 Ceph的网络包括 Public Network 和 Cluster Network 。

Public Network ：用于客户端、OSD、Ceph Monitor、Ceph MDS之间的通信。

Cluster Network ：用于Ceph OSD之间的复制、心跳。将这些通信从Public Network中分离出来。

Ceph网络的配置建议为：

1、Public Network 和 Cluster Network至少采用10Gbps的网络。

2、Public Network 和 Cluster Network可以用一个物理网络，如果有条件，可以将两者分开。这样当OSD需要重建时，会有大量的数据复制的流量，不会影响Public Network的流量。

1.2.2 Proxmox VE的网络结构

Proxmox VE的网络包括几个网络： Management Network：PVE的管理网络是第一个网桥（vmbr0）的IP地址。 Cluster Network：用于PVE节点之间的心跳。业务网络：虚拟机通信的网络。包括vmbr0，也包括其他网桥。

1.2.3 超融合系统的网络配置

物理服务器配置4个千兆，2个万兆，1个管理口。配置如下：

输入图片说明

两个千兆，做端口聚合，用于管理和业务。

两个千兆，做端口聚合，用于PVE Cluster Network。

两个万兆，做端口聚合，用于存储网络，承载Ceph Cluster Network和Ceph Public Network。

2.超融合部署准备

2.1 硬件和网络准备

服务器三台

480G SSD RAID1

1.92TB SSD * 3 直通

千兆*4

万兆*2

千兆管理口

网络设备

两台万兆交换机

两台千兆交换机

输入图片说明

连接方式为：

1、万兆交换机作为核心，相互之间做堆叠。

2、千兆交换机上联到万兆。

2.2 软件准备

Proxmox VE 8.4.x 版本安装包。
DoraCloud 安装包

2.3 网络规划

ID	服务器	管理IP	集群	存储	BMC
1	PVE01	192.168.4.81	10.0.0.1/10.0.1.1	10.1.0.1	192.168.4.91
2	PVE02	192.168.4.82	10.0.0.2/10.0.1.2	10.1.0.2	192.168.4.92
3	PVE03	192.168.4.83	10.0.0.3/10.0.1.3	10.1.0.3	192.168.4.93

3.超融合部署过程

3.1 三台服务器安装Proxmox VE

三台服务器安装Proxmox VE 7.4，设置固定主机名，IP地址。

PVE01 192.168.4.81

PVE02 192.168.4.82

PVE03 192.168.4.83

3.2 Proxmox VE换源，并升级。

通过如下脚本切换源，并升级到最新版本。在三台服务器上执行。

curl -o- http://vdi.doracloud.cn:9000/software/pveupdate.sh |bash

三台服务器配置 NTP 时间同步。

#安装ntp服务
apt install ntpdate -y

#与阿里云时间服务器时间同步，内网也可指定时间同步服务器（具体操作百度）
echo "0 0 * * 6     ntpdate ntp1.aliyun.com" >> /var/spool/cron/crontabs/root

3.3 配置 PVE 的网络

auto lo
iface lo inet loopback

auto ens18
iface ens18 inet manual

auto ens19
iface ens19 inet manual

auto ens20
iface ens20 inet static
        address 10.0.0.1/24
#cluster-link0

auto ens21
iface ens21 inet static
        address 10.0.1.1/24
#cluster-link1

auto ens22
iface ens22 inet manual

auto ens23
iface ens23 inet manual

auto bond0
iface bond0 inet manual
        bond-slaves ens18 ens19
        bond-miimon 100
        bond-mode balance-alb

auto bond1
iface bond1 inet static
        address 10.1.0.1/24
        bond-slaves ens22 ens23
        bond-miimon 100
        bond-mode balance-alb

auto vmbr0
iface vmbr0 inet static
        address 192.168.4.81/24
        gateway 192.168.4.1
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0

source /etc/network/interfaces.d/*

在Proxmox VE中的网络配置如下图：输入图片说明

核实服务器之间的带宽，确保网络质量满足部署ceph的要求

#安装iperf
apt install iperf

#测试server-1和server-2之间的带宽

#server-1作为服务端
iperf -s

#server-2作为客户端,10.0.0.1 和 10.1.0.1 为sever-1的存储网络 与 集群网络
iperf -c 10.0.0.1

iperf -c 10.1.0.1