独服 Proxmox VE 配置 NAT 使虚拟机共用一个公网 IP

[[so-you-start]] 的独立服务器本来安装了 Ubuntu 20.04，后来想想为了充分利用 CPU 和内存，不如安装一个 [[Proxmox VE]] 然后在其基础之上再安装 Ubuntu 或者其他的系统测试。So you Start 通过后台安装 Proxmox 的过程比较简单，我直接使用了后台的 Proxmox VE 6 模板安装了 Proxmox。

So you Start 其他独立服务器提供商通常只会提供一个公网 IP，其他的 failover IP 可能需要购买（So you Start 可以使用 1.5$ 购买一个），如果不想多花这个购买 IP 的钱，可以配置 Proxmox VE 的虚拟机走 NAT，共用宿主机 Proxmox VE 的 IP，做一下端口转发。实际在一些 VPS 提供商那边也能看到 [[NAT VPS]]，这类型的 VPS 就是共用同一个 IP 的 VPS，这一类的 VPS 通常比较便宜，但是可用的端口数量有限。

完成下文的配置之后大致的网络拓扑图是这样的：

前提知识

在继续下文之前有一些前提知识需要了解，否则会理解起来有些困难。

Linux Bridge

Linux Bridge 一般翻译成网桥，相当于一个软件实现的交换机。

如果要配置成 NAT 网络，Proxmox VE 上所有的虚拟机共享一个网桥 vmbr1，通过 vmbr1 访问外部网络。

理论上 Proxmox VE 支持 4094 个网桥。默认情况下 Proxmox VE 会创建一个 vmbr0 的网桥，并和检测到的第一块网卡（eno3)桥接。可以查看网口的配置文件 /etc/network/interfaces 对应的信息：

root@pve:~# cat /etc/network/interfaces
# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface eno3 inet manual

iface eno4 inet manual

auto vmbr0
iface vmbr0 inet dhcp
    bridge-ports eno3
    bridge-stp off
    bridge-fd 0

NAT

[[NAT]] 全称是 Network Address Translation，在计算机网络中是网络地址转换的含义，也被叫做网络掩蔽，这是一种在 IP 数据包通过路由器或防火墙时重写来源 IP 地址或目的 IP 地址的技术。

在我们的 Proxmox VE 只有一个公网 IP 的情况下，如果要让多个虚拟机共享同一个 IP 地址对外提供服务，就需要用到 NAT 技术，让请求访问到宿主机的时候，转发到对应的虚拟机。

所有的虚拟机使用内部私有 IP 地址，并通过 Proxmox VE 的公网 IP 访问外部网络。我们会使用 iptables 来改写虚拟机和外部通信的数据包：

• 对于虚拟机向外部网络发出的数据包，源地址是内网 IP，目标终端在返回数据的时候，无法把数据包发送对正确的路由，所以在发送出去前，将源地址替换成 Proxmox VE 的 IP 地址
• 对于外部网络返回的数据包，将目的地址替换成对应虚拟机的 IP

NDP

[[NDP]] 全称是 Neighbor Discovery Protocol，简称 NDP，类似 IPv4 中的 ARP 协议。

配置 Proxmox VE NAT

上面的配置也提到了默认情况下 Proxmox VE 会创建一个 vmbr0 桥接找到的网卡。

首先查看一下网络接口：

root@pve:~# ip -f inet a s
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
4: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    inet 51.xx.xx.xx/24 brd 51.xx.xx.xxx scope global dynamic vmbr0
       valid_lft 81976sec preferred_lft 81976sec

Proxmox VE 上使用 NAT 创建虚拟机的原理是，创建一个 Linux Bridge 并创建一个子网，然后将所有虚拟机包括宿主机都连接到这个子网内，再开启 [[iptables]] 的 NAT 功能。

创建 Linux Bridge

在安装网桥之前，首先安装：

apt install ifupdown2

然后登录 Proxmox VE 后台，创建 Linux Bridge，点击 PVE，然后选择 System -> Networks，然后点击创建。

填写 IP 和子网掩码，IP 地址填写个局域网的网段地址就行。其他项目不用填也不用改，保持默认（不用 IPv6 的情况下）。

• IP 地址填写一个局域网地址：10.0.0.1/24

上面的配置创建了一个新的 vmbr1 网桥分配了一个子网 10.0.0.1/24，宿主机（网关）在子网的 IP 是 10.0.0.1。

创建完成之后，查看 /etc/network/interfaces，然后在对应的 vmbr1 后面修改成相应的配置（注意 vmbr1 下面的配置）：

auto lo
iface lo inet loopback

iface eno3 inet manual

iface eno4 inet manual

auto vmbr0
iface vmbr0 inet dhcp
        bridge-ports eno3
        bridge-stp off
        bridge-fd 0

auto vmbr1
iface vmbr1 inet static
        address 10.0.0.1/24
        gateway 1.2.3.254  # 独立服务器IP前三个数加上 254
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        post-up echo 1 > /proc/sys/net/ipv4/ip_forward
        post-up iptables -t nat -A POSTROUTING -s '10.0.0.0/24' -o vmbr0 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.0.0.0/24' -o vmbr0 -j MASQUERADE
        
        post-up iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 2022 -j DNAT --to 10.0.0.102:22
        post-down iptables -t nat -D PREROUTING -i vmbr0 -p tcp --dport 2022 -j DNAT --to 10.0.0.102:22

说明：

• ip_forward 一行表示开启 IPv4 转发，这个是内核参数，将 Linux 当作路由器用的参数。一般来说，一个路由器至少要有两个网络接口，一个 WAN，一个 LAN，为了让 LAN 和 WAN 流量相同，需要内核上的路由
• post-up 和 post-down 分别表示网卡启用和禁用之后，执行后面的命令
• iptables 行表示，开启防火墙转发，-A 表示添加规则，配置一条 NAT 规则，源地址为 10.0.0.0/24 的流量，转发到 vmbr0 接口。
• MASQUERADE 对 IP 地址数据包进行改写
• 网卡关闭后 -D 删除这条规则

• 最后 2 行是把虚拟机 10.0.0.102 上的 22 端口 NAT 到宿主机的 2022 端口，这样使得外部的网络可以通过 Proxmox VE 宿主机的 2022 端口访问虚拟机的 22 端口，可以直接使用上面的配置，或者手动执行下面的命令：

    iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 2022 -j DNAT --to 10.0.0.102:22
  

最后两行配置在网络配置中是为了让系统重启之后配置依然生效。否则 iptables 的转发就可能丢失。

启用网桥：

sudo ifup vmbr1

显示信息：

ip address show dev vmbr1

查看 iptables 配置是否生效：

iptables -L -t nat

结果：

root@pve:~# ip address show dev vmbr1
9: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 62:32:cf:9d:5d:f9 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.1/24 scope global vmbr1
       valid_lft forever preferred_lft forever
    inet6 fe80::6032:cfff:fe9d:5df9/64 scope link 
       valid_lft forever preferred_lft forever

重启网络：

sudo systemctl restart networking
systemctl status networking.service

通过上面的方式创建了 vmbr1 的网桥之后，再创建新的虚拟机就可以使用这个新的子网。因为这里没有配置 DHCP，所以虚拟机需要设定静态 IP 地址。

在我的真实操作中，我发现无论我怎么重启 systemctl restart networking 都无法使得 Proxmox VE 的网络配置生效，最后不得不重启服务器才可以。

虚拟机配置

在创建虚拟机的时候，记得在网络配置的时候选择 vmbr1，因为没有配置 DHCP 所以需要用下面的方式手动指定虚拟机的静态 IP 地址。

Ubuntu 虚拟机网络配置

Ubuntu 从上一个版本开始就使用 netplan 来管理网络配置，所以需要修改 netplan 的配置：

einverne@ubuntu2:~$ cat /etc/netplan/00-installer-config.yaml
# This is the network config written by 'subiquity'
network:
  ethernets:
    ens18:
      addresses:
      - 10.0.0.102/24
      gateway4: 10.0.0.1
      nameservers:
        addresses:
        - 8.8.8.8
        - 8.8.4.4
  version: 2

注意配置其中的静态地址和网关。

• 静态地址配置 10.0.0.0/24 网段下的地址，比如 10.0.0.102
• gateway4 地址配置 vmbr1 网桥的地址
• DNS 服务器可以使用 Google 的，也可以用 1.1.1.1 Cloudflare 的，或者 OVH，或者 So you Start 提供的都行

修改完成后执行：

netplan apply

之后可以使用如下命令测试连通性：

ping 1.1.1.1
ping google.com

Debian 虚拟机网络配置

Debian 上的网络配置如下：

einverne@debian:~$ cat /etc/network/interfaces.d/50-cloud-init
auto ens18
iface ens18 inet static
address 10.0.0.100
netmask 255.255.255.0
gateway 10.0.0.1
dns-nameserver 1.1.1.1
dns-nameserver 8.8.8.8

说明：

• ens18 是 Debian 虚拟机的网络接口
• address 填写 10.0.0.0/24 网段的静态地址
• gateway 填入 vmbr1 的地址

然后重启网络：systemctl restart networking。

如何调试

在配置的过程中遇到很多问题，可以用一下一些命令熟悉 Linux 下的网络配置。

iptalbes -L -t nat
ip a
ip route show
cat /proc/sys/net/ipv4/ip_forward
qm config <VMID>

遇到的问题

虚拟机 VM 内部无法访问互联网

在按照上述步骤配置后，登录 VM （Ubuntu 20.04） 内部，只能 Ping 通网关（10.0.0.1) 而无法 ping 通任何外部网络。

再经过一番调查之后发现在上述配置中的 iptables 转发并没有生效，并且重启网络也没有生效，所以我只能重启服务器解决。

端口映射

在启用 NAT 网络之后，如果要外部网络访问 VM 的端口，则需要开启 iptables 端口转发。

下面一句的含义就是将 Proxmox VE(vmbr0) 的 2022 端口转发到 10.0.0.102 这台虚拟机的 22 端口：

iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 2022 -j DNAT --to 10.0.0.102:22

这样在外部互联网就可以通过 ssh -p 2022 root@<proxmox ip> 来访问 Proxmox VE 中的虚拟机了。

如果遇到要转发一组端口可以使用：

post-up   iptables -t nat -I PREROUTING -p tcp -i vmbr0 --dport 8000:9000 -j DNAT --to 10.0.0.102:8000-9000
post-down iptables -t nat -D PREROUTING -p tcp -i vmbr0 --dport 8000:9000 -j DNAT --to 10.0.0.102:8000-9000

延伸阅读

如果已经购买了 Failover IP，或者独立服务器提供了多个可用的 IP，那么也可以参考 这篇文章 配置 Proxmox VE 的虚拟机使用额外的 IP 地址。这样使用一台独立服务器就可以开多个 KVM 的 VPS 了。

reference

• https://pve.proxmox.com/wiki/Network_Configuration
• npbeta
• https://forum.proxmox.com/threads/ovh-dedicated-server-network-configuration-explained.74849/post-424816
• [[Proxmox VE]]