openstack外网访问

‘壹’ OpenStack neutron相关概念阐述

VLAN网络允许用户使用外部物理网络中的VLAN ID创建多个租户或供应商网络。VLAN网络通过VLAN ID进行二层网络的隔离， 相同VLAN ID内部的实例可以实现自由通信 ，而 不同VLAN之间的实例通信则需要经过三层路由的转发 。由于VLAN网络可以实现灵活多样的网络划分与隔离，故VLAN网络是生产环境中使用最为普遍的网络。而在云计算环境中，VLAN网络主要用于私有云环境中，对于大型公有云数据中心，在租户增加的情况下，VLAN ID的限制是VLAN网络的一大弊端(最大只有4096个)。

为了创建丰富的网络拓扑，Neutron提供了两种网络类型，即 租户网络(Project  Network) 和 供应商网络(Provider Network) 。在租户网络中，每个租户可以创建多个私有网络，租户可以自定义私有网络的IP地址范围，此外，不同的租户可以同时使用相同的IP地址或地址段。 与租户网络不同，供应商网络由云管理员创建 ，并且必须与现有的物理网络匹配。

为了实现不同租户网络互相隔离，Neutron提供了几种不同的网络拓扑与隔离技术 ，Flat网络便是其中之一。在Flat网络中， 不同计算节点上的全部实例接入同一个大二层网络内，全部实例共享此网络，不存在VLAN标记或其他网络隔离技术 。接入Flat网络的全部实例通过数据中心核心路由接入Internet，相对于其他的网络类型，Flat网络是最简单的网络类型。在Neutron的网络实现中，可以同时部署多个隔离的Flat网络，但是 每个Flat网络都要独占一个物理网卡 ，这意味着要通过Flat网络来实现多租户的隔离，尤其是在公有云环境中，这种方法似乎不太现实。

GRE和VxLAN是一种 网络封装协议 ，基于这类封装协议可以创建重叠（overlay）网络以实现和控制不同计算节点实例之间的通信。 GRE和VxLAN的主要区别 在于GRE网络通过IP包进行数据传输，而VxLAN通过UDP包进行数据传输， GRE或VxLAN数据包在流出节点之前会被打上相应的GRE或VxLAN网络ID（Segmentation ID），而在进入节点后对应的ID会被剥离，之后再进入节点内部的虚拟网络进行数据转发 。

GRE和VxLAN网络中的 数据流要进入外部网络，必须配有路由器， 而且要将租户网络与外部网络互连，路由器也是必备的。在GRE和VxLAN网络中， 路由器的主要作用在于通过实例浮动IP提供外部网络对实例的直接访问。 在很多公有云环境中，GRE和VxLAN网络被广泛使用，因此用户在公有云上创建实例后，通常需要向供应商购买或申请通信运营商IP和一个虚拟路由器，并将运营商IP作为实例浮动IP，才能通过Internet访问自己的公有云实例。

端口（Port）在OpenStack网络中是一种虚拟接口设备，用于模拟物理网络接口。在Neutron中， 端口是网络设备连接到某个虚拟网络的接入点 ，如虚拟机的NIC只能通过端口接入虚拟网络，端口还描述了与网络相关的配置，如配置到端口上的MAC和IP。

子网（Subnet）代表的是一个IP段和相关的配置状态。子网IP和网络配置信息通常被认为是网络服务为租户网络和供应商网络提供的原生IPAM。当某个网络上有新的端口被创建时，网络服务便会使用子网提供的IP段为新端口分配IP。

一般来说，终端用户可以在没有任何约束的情况下使用有效的IP创建子网，不过有时需要为admin或租户用户预先定义可用IP池，并在创建子网时从此IP池中自动分配地址。通过子网池，便可要求每个创建的子网必须在预定义的子网池中，从而约束子网所能使用的IP。此外，子网池的使用还可以避免IP被重复使用和不同子网使用重叠的IP。

在Neutron中，路由Router是个用以在不同网络中进行数据包转发的逻辑组件，即路由是个虚拟设备，在特定插件支持下，路由还提供了L3和NAT功能，以使得外部网络（不一定是Internet）与租户私有网络之间实现相互通信 。在Neutron中， 虚拟路由通常位于网络节点上 ，而租户私有网络要实现与外部Provider物理网络（或Public网络）的通信，则必须经过虚拟路由。Neutron网络节点虚拟路由连接租户网络和外部网络的示意如下图所示。

路由通常包含内部接口和外部接口，如上图所示，位于租户网络中的主机Host_A和主机Host_B通过内部接口接入路由，并通过路由公共网关（外部接口）访问外部Provider网络和Public中的主机Host_C。但是Host_C要访问租户私网中的Host_A和Host_B主机，则必须通过路由DNAT功能才能实现，因此需要为Host_A和Host_B主机配置Floating IP。

安全组（Security Group）是虚拟防火墙的规则集合，这些 防火墙规则对外部访问实例和实例访问外部的数据包实现了端口级别（Port Level）的控制 。安全组使用默认拒绝策略（Default Deny Policy），其仅包含允许特定数据流通过的规则，每个端口都可以通过附加的形式添加到一个或多个安全组中，防火墙驱动会自动将安全组规则转换为底层的数据包过滤技术，如iptables。 在Neutron中，每个项目（Project）都包含一个名为default的默认安全组，default安全组允许实例对外的全部访问，但是拒绝全部外网对实例的访问 。如果在创建实例时未指定安全组，则Neutron会自动使用默认安全组default。同样，如果创建端口时没有指定安全组，则default安全组也会被默认用到此端口。 要访问特定实例中某个端口的应用程序，必须在该实例的安全组中开通应用程序要访问的端口 。

在云计算网络中，一个租户可以有多个租户子网，租户子网通常称为 内部网络 （简称内网），不同内网中通常会接入不同用途的实例。租户内部子网之间的数据访问通常称为 东西向通信 。此外，位于租户内网中的应用要对外提供服务，则必须实现外部网络与租户网络彼此之间的通信，这包括了外网访问内网和内网访问外网两种方式，通常内外网之间的访问称为 南北向通信 。网络东西向通信和南北向通信的示意图如图所示。

在图中，子网A与子网B之间的通信称为网络的东西流向，外部网络与租户网络之间的通信称为网络的南北向流量。由于子网A和子网B属于不同的子网，因此网络东西向通信需要Router转发，同样，外部网络与租户网络之间的南北向通信也必须经过Router转发才能实现。在云计算网络环境中， Router的东西向转发实现了内部子网之间的通信 ，而 南北向转发实现了内部与外部网络之间的通信 。

源地址转换（Source Network Address Transfer, SNAT） 主要用于控制内网对外网的访问，SNAT通常只需一个外部网关，而无须属于外部网络的浮动IP（Floating IP） ，即可实现内网全部实例对外网的访问。在内网存在大量实例的情况下，相对DNAT, SNAT可以节约大量外网IP。在SNAT中，尽管内部私网可以访问外网，但是外网却不能访问内部私网，因而SNAT具有很好的安全防护机制。 很多企业为了防止外网入侵都会使用SNAT来实现内网对Internet的访问， 而在OpenStack网络中，SNAT主要用来实现租户虚拟机实例对外网的访问。SNAT的工作原理就是，内部私网TCP/IP数据包在进入路由后，数据包中的私网源IP会被路由上的外网网关IP替换，这是源地址转换的核心步骤，即将数据包中源IP转换为外网网关地址。这里再次指出，在私有或者公有云中，虚拟机要访问外网，并不意味着必须为虚拟机分配Floating IP，而只需创建路由并为路由设置外网网关，将内网接入路由即可实现内网实例对外网的访问。由于SNAT是在数据包经过路由之后再进行的IP替换，因此SNAT又称POST-Routing。

目的地址转换（Destination Network  Address Transfer, DNAT）主要用于外网对内网的访问，由于外网要访问位于内网中的某个特定实例，因此必须向位于外网中的访问客户端提供具体的目的IP，而这个实例目的IP通常称为Floating IP。Floating IP并不属于内网地址，而是外网地址。Floating IP与内网实例地址是一一绑定的关系，它们之间的地址转换便是DNAT。一旦为实例绑定Floating IP，位于外网中的访问客户端便可通过该Floating IP直接访问内网中的实例。目前很多公有云供应商都是通过DNAT的形式， 利用电信运行商提供的公网IP段创建一个Floating IP ，并将其绑定到租户的特定虚拟机上，从而允许租户基于Internet访问位于供应商数据中心的虚拟机。 DNAT的工作原理就是， 在外网数据包进入路由之前，将数据包中的目的地址(属于外网)替换为内部私网地址(租户内网网关地址)，这也是目的地址转换的核心步骤。经过DNAT之后，数据包目的地址被替换并进入路由，路由便将数据包转发到对应的虚拟机。DNAT过程发生在进入路由之前，即先将外网目的IP替换成为内网私有IP再进入路由进行转发(地址替换发生在路由之前)，因此，DNAT又称PRE-Routing。

在linux系统中，网络命名空间（Network  Namespace）就是一个虚拟的网络设备， 网络命名空间有独立的路由表、iptables策略和接口设备等 ，网络命名空间彼此之间完全隔离。假设系统中有eth0和eth1两个网卡设备，且eth0属于命名空间namespace1，而eth1属于命名空间namespace2，则eth1和eth2就类似于两个独立网络设备上的接口，彼此相互独立，而且只有进入各自的命名空间后，才能够对命名空间中的接口设备进行配置更改与查看。因此，如果eth0和eth1加入各自的命名空间后，在Linux系统中，针对全局系统的网络配置命令ifconfig是不能看到这两个网卡设备的相关配置信息的，必须进入各自的命名空间使用此命令才能看到相关信息。在Linux中，使用命令ip netns可以查看系统中的全部网络命名空间，要配置或者查看命名空间中的设备，则需要进入特定命名空间并在命名空间中执行相应命令。例如，当前系统中有一个路由命名空间qrouter-xxx，想要查看该命名空间中的接口和IP配置情况，可以执行命令：

        ip netns exec qrouter-xxx ip addr show

其中，ip netns exec qrouter-xxx指明了运行ip addr show命令的命名空间。命名空间是Linux系统中使用非常广泛的技术，尤其是在网络技术领域，命名空间具有极佳的网络设备模拟能力和配置隔离性。因此在Neutron项目中，网络命名空间被大量使用，例如不同的租户网络可以使用重叠的IP地址，就是因为不同租户具有独立的路由命名空间。

‘贰’ 在OpenStack里怎样配置Neutron，让虚拟机访问外网

OpenStack里虚机(或者叫instance)只有在分配floating IP后才能访问外网，那么需要怎样做配置才能达到目的呢？ 1. 需要在网络节点上确定一个可以访问外网的物理网卡，这个网卡可以和管理网卡是一个。

‘叁’ Openstack概述 、 部署安装环境 、 部署Openstack 、 Openstack操作基础

案例1：配置yum仓库

案例2：测试时间服务器

案例3：配置yum仓库

案例4：检查基础环境

案例5：部署Openstack

案例6：网络管理

案例7：登录openstack

1 案例1：配置yum仓库

1.1 问题

本案例要求配置基本环境：

配置三台虚拟机

2CPU，6G 内存，50G 硬盘

2CPU，4.5G 内存，100G 硬盘

配置静态IP ifcfg-eth0

openstack : 192.168.1.10

nova: 192.168.1.11, 192.168.1.12

配置主机名 /etc/hosts，能够相互 ping 通

配置 dns 服务器 /etc/resolv.conf

1.2 方案

此实验的整体方案需要三台机器，openstack作为主节点，nova01 和 nova02作为额外节点，真机做为DNS转发和NTP的服务器(这里不再在表-1中体现)，提供域名解析和时间同步服务，具体情况如表-1所示：

表-1

1.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：准备三台虚拟机

[student@room9pc01 images]$base-vm openstack nova01 nova02

[student@room9pc01 images]$virsh start openstack

[student@room9pc01 images]$virsh start nova01

[student@room9pc01 images]$virsh start nova02

2）opensatck主机扩容为50G

[student@room9pc01 images]$ virsh blockresize--path /var/lib/libvirt/images/openstack.img--size 100G openstack

[student@room9pc01 images]$ virsh console openstack

[root@localhost~]#/usr/bin/growpart /dev/vda1

[root@localhost~]#/usr/sbin/xfs_growfs /

[root@localhost~]# df-h

Filesystem      Size  Used Avail Use%Mounted on

/dev/vda1        50G  914M  50G2%/

3）nova01 和 nova02 主机扩容为100G（以nova01为例）

[student@room9pc01 images]$ virsh blockresize--path /var/lib/libvirt/images/nova01.img--size 50G nova01

重新定义'/var/lib/libvirt/images/nova01.img'块设备大小

[root@localhost~]#/usr/bin/growpart /dev/vda1

[root@localhost~]#/usr/sbin/xfs_growfs  /

[root@localhost~]# df-h

Filesystem      Size  Used Avail Use%Mounted on

/dev/vda1      100G  917M  100G1%/

4）三台主机配置静态ip（以一台为例）

openstack：192.168.1.10

nova01： 192.168.1.11

nova02： 192.168.1.12

[root@localhost~]#cd /etc/sysconfig/network-scripts/

[root@localhost network-scripts]# vim ifcfg-eth0

# Generated by dracut initrd

DEVICE="eth0"

ONBOOT="yes"

NM_CONTROLLED="no"

TYPE="Ethernet"

BOOTPROTO="static"

PERSISTENT_DHCLIENT="yes"

IPADDR=192.168.1.10

NEMASK=255.255.255.0

GATEWAY=192.168.1.254

5）三台主机修改主机名，配置/etc/hosts，和/etc/resolv.conf文件（以一台为例）

[root@localhost~]# hostname openstack

[root@localhost~]# echo openstack>/etc/hostname

[root@localhost~]#vim /etc/hosts

192.168.1.10openstack

192.168.1.11nova01

192.168.1.12nova02

[root@localhost~]#vim /etc/resolv.conf//去掉search开头的行

;generatedby /usr/sbin/dhclient-script

nameserver192.168.1.254

6）修改三台主机的内存（openstack6G，nova01 和nova02 4G）

[student@room9pc01~]$ virsh edit openstack

...

<memory unit='KiB'>6588282</memory>

<currentMemory unit='KiB'>6588282</currentMemory>

...

[student@room9pc01~]$ virsh edit nova01

...

<memory unit='KiB'>4588282</memory>

<currentMemory unit='KiB'>4588282</currentMemory>

...

[student@room9pc01~]$ virsh start  openstack

域 openstack 已开始

[student@room9pc01~]$ virsh start  nova01

域 nova01 已开始

[student@room9pc01~]$ virsh start  nova02

域 nova02 已开始

2 案例2：测试时间服务器

2.1 问题

本案例要求掌握时间服务的配置：

修改 openstack，nova01，nova02 的时间服务器

重启服务后验证配置

2.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：修改openstack，nova01 和 nova02 的时间服务器（以一台为例）

[root@openstack~]#vim /etc/chrony.conf

...

server192.168.1.254iburst

[root@openstack~]# systemctl restart chronyd

步骤二：验证

[root@openstack~]# chronyc sources-v

...

||||\

MSName/IP address        Stratum Poll Reach LastRx Last sample

===============================================================================

^*gateway36376-93ns[+903ns]+/-26ms

步骤三：两台虚拟机配置静态ip

注意：两台主机同样操作，改一下ip即可（以openstack.te.cn为例）

[root@localhost~]# echo openstack.te.cn>/etc/hostname

[root@localhost~]# hostname openstack.te.cn

//另外一台主机改名为nova.te.cn,配置ip为1.20

[root@openstack~]#vim /etc/sysconfig/network-scripts/ifcfg-eth0

# Generated by dracut initrd

DEVICE="eth0"

ONBOOT="yes"

IPV6INIT="no"

IPV4_FAILURE_FATAL="no"

NM_CONTROLLED="no"

TYPE="Ethernet"

BOOTPROTO="static"

IPADDR="192.168.1.10"

PREFIX=24

GATEWAY=192.168.1.254

[root@openstack~]# systemctl restart network

3 案例3：配置yum仓库

3.1 问题

本案例要求配置yum仓库：

配置 yum 源，软件仓库一共 4 个

3.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：三台主机配置yum源（以一台主机为例，共10670个软件包）

[student@room9pc01~]$cd /linux-soft/04/openstack/

[student@room9pc01 openstack]$ ls

cirros.qcow2  RHEL7-extras.iso  RHEL7OSP-10.iso  small.qcow2

[student@room9pc01 openstack]$mkdir /var/ftp/RHEL7-extras

[student@room9pc01 openstack]$mkdir /var/ftp/RHEL7OSP-10

[student@room9pc01 openstack]$ mount RHEL7-extras.iso  /var/ftp/RHEL7-extras/

mount:/dev/loop1 写保护，将以只读方式挂载

[student@room9pc01 openstack]$ mount RHEL7OSP-10.iso /var/ftp/RHEL7OSP-10/

mount:/dev/loop2 写保护，将以只读方式挂载

[root@openstack~]#vim /etc/yum.repos.d/local.repo

[local_repo]

name=CentOS-$releasever-Base

baseurl="ftp://192.168.1.254/centos-1804"

enabled=1

gpgcheck=1

[RHEL7-extras]

name=RHEL7-extras

baseurl="ftp://192.168.1.254/RHEL7-extras"

enabled=1

gpgcheck=0

[RHEL7OSP-package]

name=RHEL7OSP-package

baseurl="ftp://192.168.1.254/RHEL7OSP-10/rhel-7-server-openstack-10-rpms"

enabled=1

gpgcheck=0

[RHEL7OSP-devtools]

name=RHEL7OSP-devtools

baseurl="ftp://192.168.1.254/RHEL7OSP-10/rhel-7-server-openstack-10-devtools-rpms"

enabled=1

gpgcheck=0

[root@openstack~]#scp /etc/yum.repos.d/local.repo192.168.1.11:/etc/yum.repos.d/

[email protected]'s password:

local.repo                                                                                          100%  490  484.4KB/s  00:00   

[root@openstack ~]# scp /etc/yum.repos.d/local.repo 192.168.1.12:/etc/yum.repos.d/

[email protected]'s password:

local.repo

4 案例4：检查基础环境

4.1 问题

本案例要求准备基础环境，为安装openstack做准备：

安装额外的软件包

是否卸载firewalld 和 NetworkManager

检查配置主机网络参数（静态IP）

主机名必须能够相互 ping 通

检查配置主机yum源（4个，10670）

依赖软件包是否安装

检查NTP服务器是否可用

检查 /etc/resolv.conf 不能有 search 开头的行

4.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：检查基础环境

1）安装额外软件包（三台机器操作，这里以一台为例）

[root@openstack yum.repos.d]# yum install-y qemu-kvm libvirt-client libvirt-daemon libvirt-daemon-driver-qemu python-setuptools

2）是否卸载firewalld 和 NetworkManager

[root@openstack~]# rpm-qa|grep NetworkManager*

[root@openstack~]# rpm-qa|grep firewalld*

3）检查配置主机网络参数

[root@openstack~]#cat /etc/sysconfig/network-scripts/ifcfg-eth0

# Generated by dracut initrd

DEVICE="eth0"

ONBOOT="yes"

NM_CONTROLLED="no"

TYPE="Ethernet"

BOOTPROTO="static"

PERSISTENT_DHCLIENT="yes"

IPADDR=192.168.1.10

NEMASK=255.255.255.0

GATEWAY=192.168.1.254

4）验证主机名是否互通

[root@openstack~]# ping openstack

...

64bytes fromopenstack(192.168.1.10):icmp_seq=1ttl=255time=0.023ms

64bytes fromopenstack(192.168.1.10):icmp_seq=2ttl=255time=0.027ms

...

[root@openstack~]# ping nova01

PINGnova01(192.168.1.11)56(84)bytes of data.

64bytes fromnova01(192.168.1.11):icmp_seq=1ttl=255time=0.139ms

...

[root@openstack~]# ping nova02

PINGnova02(192.168.1.12)56(84)bytes of data.

64bytes fromnova02(192.168.1.12):icmp_seq=1ttl=255time=0.251ms

...

5）检查配置主机yum源

[root@openstack~]# yum repolist

已加载插件：fastestmirror

Loading mirror speeds from cached hostfile

源标识                                                          源名称                                                          状态

RHEL7-extras                                                    RHEL7-extras76

RHEL7OSP-devtools                                              RHEL7OSP-devtools3

RHEL7OSP-package                                                RHEL7OSP-package680

local_repo                                                      CentOS-7-Base9,911

repolist:10,670

6）检查时间同步是否可用

[root@openstack~]# chronyc  sources-v

210Numberof sources=1

....

||||\

MSName/IP address        Stratum Poll Reach LastRx Last sample

===============================================================================

^*gateway3737728+31us[+89us]+/-25ms

[root@openstack~]#

7）检查/etc/resolv.conf 不能有 search 开头的行

[root@openstack~]#cat /etc/resolv.conf

;generatedby /usr/sbin/dhclient-script

nameserver192.168.1.254

5 案例5：部署Openstack

5.1 问题

本案例要求通过packstack完成以下配置：

通过packstack部署Openstack

根据相关日志文件进行排错

5.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：安装packstack

[root@openstack~]# yum install-y openstack-packstack

[root@openstack~]# packstack--gen-answer-file answer.ini

//answer.ini与answer.txt是一样的，只是用vim打开answer.ini文件有颜色

Packstack changed given value  to requiredvalue /root/.ssh/id_rsa.pub

[root@openstack~]# vim answer.ini

42CONFIG_SWIFT_INSTALL=n

45CONFIG_CEILOMETER_INSTALL=n//计费相关模块

49CONFIG_AODH_INSTALL=n//计费相关模块

53CONFIG_GNOCCHI_INSTALL=n//计费相关模块

75CONFIG_NTP_SERVERS=192.168.1.254//时间服务器的地址

98CONFIG_COMPUTE_HOSTS=192.168.1.11

102CONFIG_NETWORK_HOSTS=192.168.1.10,192.168.1.11

333CONFIG_KEYSTONE_ADMIN_PW=a//修改管理员的密码

840CONFIG_NEUTRON_ML2_TYPE_DRIVERS=flat,vxlan//驱动类型

876CONFIG_NEUTRON_ML2_VXLAN_GROUP=239.1.1.5

//设置组播地址,最后一个随意不能为0和255,其他固定

910CONFIG_NEUTRON_OVS_BRIDGE_MAPPINGS=physnet1:br-ex//物理网桥的名称

921CONFIG_NEUTRON_OVS_BRIDGE_IFACES=br-ex:eth0

//br-ex桥的名称与eth0连接，管理eth0,网桥与哪个物理网卡连接

1179CONFIG_PROVISION_DEMO=n//DEMO是否测试

[root@openstack~]# packstack--answer-file=answer.ini

Welcome to the Packstack setup utility

The installation log file is available at:/var/tmp/packstack/20190423-170603-b43g_i/openstack-setup.log

Installing:

Clean Up[DONE]

Discovering ip protocol version[DONE]

[email protected]'s password:

[email protected]'s password:

Setting up ssh keys

****Installation completed successfully******//出现这个为成功

6 案例6：网络管理

6.1 问题

本案例要求运用OVS完成以下配置：

查看外部OVS网桥及其端口

验证OVS配置

6.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：查看外部OVS网桥

1）查看br-ex网桥配置（br-ex为OVS网桥设备）

[root@openstack~]#cat /etc/sysconfig/network-scripts/ifcfg-br-ex

ONBOOT="yes"

NM_CONTROLLED="no"

IPADDR="192.168.1.10"

PREFIX=24

GATEWAY=192.168.1.254

DEVICE=br-ex

NAME=br-ex

DEVICETYPE=ovs

OVSBOOTPROTO="static"

TYPE=OVSBridge

2）查看eth0网卡配置（该网卡为OVS网桥的接口）

[root@openstack~]#cat /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

NAME=eth0

DEVICETYPE=ovs

TYPE=OVSPort

OVS_BRIDGE=br-ex

ONBOOT=yes

BOOTPROTO=none

3）验证OVS配置

[root@openstack~]# ovs-vsctl show

Bridge br-ex

Controller"tcp:127.0.0.1:6633"

is_connected:true

fail_mode:secure

Port br-ex

Interface br-ex

type:internal

Port phy-br-ex

Interface phy-br-ex

type:patch

options:{peer=int-br-ex}

Port"eth0"

Interface"eth0"

ovs_version:"2.5.0"

7 案例7：登录openstack

7.1 问题

本案例要求通过Horizon完成以下操作：

修改/etc/httpd/conf.d/15-horizon_vhost.conf 配置文件，使其可以成功登录openstack

7.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：浏览器访问openstack

1）浏览器访问

[root@openstack~]# firefox192.168.1.10//访问失败

2）需要改配置文件并重新加载

[root@openstack~]#

[root@openstack conf.d]# vi15-horizon_vhost.conf

35WSGIProcessGroup apache

36WSGIApplicationGroup%{GLOBAL}//添加这一行

[root@openstack conf.d]# apachectl  graceful//重新载入配置文件

3）浏览器访问，出现页面，如图-6所示：

图-6

3）查看用户名和密码

[root@openstack conf.d]# cd

[root@openstack~]# ls

answer.ini  keystonerc_admin//keystonerc_admin生成的文件，里面有用户名和密码

[root@openstack~]# cat keystonerc_admin

unset OS_SERVICE_TOKEN

exportOS_USERNAME=admin//用户名

exportOS_PASSWORD=a//密码

exportOS_AUTH_URL=http://192.168.1.10:5000/v2.0

exportPS1='[\u@\h \W(keystone_admin)]\$ '

exportOS_TENANT_NAME=admin

exportOS_REGION_NAME=RegionOne

4）在火狐浏览器中输入用户名和密码，登录后页面如图-7所示：

图-7

安装openstack可能会出现的错误以及排错方法

1）ntp时间不同步，如图-2所示：

图-2

解决办法：查看ntp时间服务器，是否出现*号，若没有，查看配置文件，配置ntp服务器步骤在案例3，可以参考

[root@room9pc01~]# chronyc sources-v//出现*号代表NTP时间可用

^*120.25.115.20261762-753us[-7003us]+/-24ms

[root@openstack~]# chronyc sources-v

^*192.168.1.25439377504+50us[-20us]+/-24ms

[root@nova~]# chronyc sources-v

^*192.168.1.25439377159-202us[-226us]+/-24ms

2）网桥名称写错，如图-3所示：

图-3

解决办法：检查配置文件

[root@openstack~]# vim answer.ini

...

921CONFIG_NEUTRON_OVS_BRIDGE_IFACES=br-ex:eth0

//br-ex桥的名称与eth0连接，管理eth0,网桥与哪个物理网卡连接

...

3）若/root/.ssh/id_rsa.pub，提示password，同样是配置文件没有写对，如图-4所示：

图-4

4）yum源没有配置正确，如图-5所示：

图-5

解决办法：检查yum是否为10853个软件包，查看是否是yum源没有配置正确，之后安装oprnstack-dashboard

5）出现Cannot allocate memory,如图-6所示：

图-6

解决办法：

内存不足，重新启动主机

6）出现/usr/bin/systemctl start openvswith ... falied，说明是ssse3指令集的错误，如图-7所示：

图-7

解决办法：编辑openstack的xml文件，在里面添加

<cpu mode='host-passthrough'>

</cpu>

7）若出现 Could not prefetch... ‘openstack’。 如图-8所示：

图-8

配置文件里面有中文符号

9）访问openstack出错

图-9

没有修改Apache配置文件

4）创建名为myproject的项目

[root@openstack~]# source~/keystonerc_admin  //初始化环境变量

[root@openstack~(keystone_admin)]# openstack project create myproject

+-------------+----------------------------------+

|Field|Value|

+-------------+----------------------------------+

|description|None|

|enabled|True|

|id||

|name|myproject|

+-------------+----------------------------------+

5）查看项目信息

[root@openstack~(keystone_admin)]# openstack project list

+----------------------------------+-----------+

|ID|Name|

+----------------------------------+-----------+

||services|

||admin|

||myproject|

+----------------------------------+-----------+

6）更新vcpu配额为30

[root@openstack~(keystone_admin)]# nova quota-update--cores30myproject

7）删除myproject

[root@openstack~(keystone_admin)]# openstack projectdeletemyproject

‘肆’ openstack neutron网络介绍

由于网络部分出现了许多得新名词。将从整体到分部细致讲解。

来源于网络得一张图

如图所示，连成了一条线。重要得如何实现互联，接下来以表象论证这张图。

最好将图放在一边，边看边对照图。
这里先介绍从虚拟机访问外网。端口A开始：

表现出来就是虚拟机有张网卡A。

查询此虚拟机得子网ip为 10.1.1.5，以及所在节点，记住这个节点。

通过子网ip查询到端口id为 b65c1085-a971-4333-82dc-57012e9be490
记住这个id

图中A与B互联，意味着A与B一定具有某种映射关系。

若没有此命令则安装： yum install -y bridge-utils
可以看到这个id对应的tap设备！

veth pair是什么？后面再介绍。

由图可知，端口B(qvbXXX)和端口C(tapXXX)在同一个linux网桥上。它们俩互通了。

端口D在ovs网桥上。C和D的互联是veth pair的特性。

由图可以看出，qvoXXX在ovs网桥上，qvb在linux网桥上。它们之间的互联是veth pair的特性，它们就像一根导线的两端。

ovs查询命令：

这里可以看到3种网桥: br-int、br-tun、br-ex。这里有个印象就好。
仔细的查看一下，可以看到qvoXXX在br-int网桥上。
至此D端口也找到了

E、F端口通过ovs网桥自身连接。
ovs-vsctl show 可以看到两个patch类型的端口，用于连接br-int和br-tun。类似于veth pair。

ovs-vsctl show 可以在br-tun网桥上看到vxlan类型的端口，并注明本地ip和remote ip，通过此类型端口，将不同的物理环境互联，对于上层好似就一个网桥。再者br-tun网桥还与br-int互联，这意味，对于再上一层的应用，似乎只有一个br-int。

和【E】【F】相同。

此时携带源ip为子网的流量到达M端口，而L端口得网段为外网网段，因此M网段的流量此时无法直接进入L端口。借助router（网络命名空间），使用iptables，将M端口流量的源ip转换为外网网段。此时流量可进入L端口从而访问外网。（M与N之间连通性非网络对实现，而是ovs tap设备实现。网络对的一个明显特征为 ip a 可以看到@符号连接两个端口）

找到虚拟机所在租户的路由id
本机为 894699dc-bc60-4b5e-b471-e95afa20f1d7

根据路由id找到网络命名空间
在所有节点上执行如下命令，找到对应id的qrouter
ip netns
本环境为：qrouter-894699dc-bc60-4b5e-b471-e95afa20f1d7

在此网络命名空间的节点上执行（如下命令意义为进入网络命名空间）：

此时已进入网络命名空间。

查看ip

可以看到qg和qr开头的网卡名称。qg为弹性ip地址组，qr为子网网关。此时在虚拟机所在节点上查询ovs网桥，可以在br-int看到与此同名的qg和qr端口。
由于是源地址转换，因此先路由再转换源ip(iptables规则)。
查看路由规则：
route -n

第一条可以看到外网的网关，通过qg网卡发送，规则正好匹配。
选好路由规则之后，进行更改源ip。

可以看到 neutron-l3-agent-float-snat(配置了弹性ip才会出现)、neutron-l3-agent-snat。因为neutron-l3-agent-float-snat优先级高于neutron-l3-agent-snat，如果没有配置弹性ip，则会将源ip改为该路由的外网ip；如果配置了弹性ip则会将源ip改为弹性ip。

总的来说，流量从qr出去绕了一圈（网络命名空间）改变了源ip又从qg进入，然后通过ovs patch进入br-ex。

br-ex如何与外网连接的呢？进入网络节点查看ovs网桥：

可以看到 br-ex与em3网卡互联。因此流量直接走em3出去。还记得你这张网卡是干嘛的吗？是那张不配置ip的物理网卡！

通过iptables的prerouting可以看出，在进入之前修改了目的弹性ip为子网ip，后经路由转发。另，网络命名空间可以通过arp发现子网ip与mac地址的对应关系。

lbaas，负载均衡
dhcp，dhcp服务。

通过前面说的br-tun 实现。如果没有单独划分网络，则使用管理网网段。若单独配置了tunnel网络，则br-tun里的网络使用tunnel网络。
br-tun 里定义了vxlan，并且指定了 local_ip、remote_ip。根据这两个ip以及路由信息，可以确定 br-tun 通过哪张网卡与外部通信。也是因此可以为tunnel配置专用网卡。

都是通过iptables实现。
防火墙：qrouter网络命名空间中得iptables实现。
安全组：虚拟机所在得宿主机得iptables实现。

可以看到防火墙规则。

可以看到对应端口id得安全组规则。

已经知道了qrouter 利用nat表实现弹性ip与子网ip之间的映射，但是如何从外部访问到qg网卡的？
这里做了一个简单的模拟操作:
https://www.jianshu.com/p/44e73910c241

dnsmasq 实现。
kolla-ansible 的dnsmasq日志相对路径参考：neutron/dnsmasq.log(可通过dnsmasq.conf 找到日志路径)
日志中可以看到dhcp的详细过程。过程参考如下：

文档参考：
https://docs.openstack.org/neutron/stein/admin/intro-basic-networking.html#dhcp

dhcp也通过网络命名空间实现，名称由网络id决定。dhcp可以拥有多个，通过neutron.conf 中 dhcp_agents_per_network 决定。

另：centos7虚拟机中的 /var/log/messages 也记录了dhcp相关操作。

network qos 可以理解为网络流量限制，官方名称：网络质量即服务
本环境通过openvswitch实现的qos。

如上图为设置的 带宽限制规则。

根据端口号查看流表，命令参考：

上图标记的104就为dscp mark 乘 4 的结果，乘4是一种规范。

https://docs.openstack.org/neutron/queens/admin/deploy-ovs.html

‘伍’ 什么是OpenStack

‍

本文详细介绍了Openstack的网络原理和实现，主要内容包括：Neutron的网络架构及网络模型还有neutron虚拟化的实现和对二三层网桥的理解。

一、Neutron概述

Neutron是一个用Python写的分布式软件项目，用来实现OpenStack中的虚拟网络服务，实现软件定义网络。Neutron北向有自己的REST API，中间有自己的业务逻辑层，有自己的DB和进程之间通讯的消息机制。同时Neutron常见的进程包括Neutron-server和Neutron-agent，分布式部署在不同的操作系统。

OpenStack发展至今，已经经历了20个版本。虽然版本一直在更替，发展的项目也越来越多，但是Neutron作为OpenStack三大核心之一，它的地位是不会动摇的。只不过当初的Neutron也只是Nova项目的一个模块而已，到F版本正式从中剥离，成为一个正式的项目。

从Nova-Network起步，经过Quantum，多年的积累Neutron在网络各个方面都取得了长足的发展。其主要的功能为：

（1）支持多租户隔离

（2）支持多种网络类型同时使用

（3）支持隧道技术（VXLAN、GRE）

（4）支持路由转发、SNAT、DNAT技术

（5）支持Floating IP和安全组

多平面租户私有网络

图中同时有VXLAN和VLAN两种网络，两种网络之间互相隔离。租户A和B各自独占一个网络，并且通过自己的路由器连接到了外部网络。路由器为租户的每个虚拟机提供了Float IP，完成vm和外网之间的互相访问。

二、Neutron架构及网络模型

1、Neutron架构

Neutron-sever可以理解为类似于nova-api那样的一个专门用来接收API调用的组件，负责将不同的api发送到不同Neutron plugin。

Neutron-plugin可以理解为不同网络功能实现的入口，接收server发来的API，向database完成一些注册信息。然后将具体要执行的业务操作和参数通知给对应的agent来执行。

Agent就是plugin在设备上的代理，接受相应的plugin通知的业务操作和参数，并转换为具体的命令行操作。

总得来说，server负责交互接收请求，plugin操作数据库，agent负责具体的网络创建。

2、Neutron架构之Neutron-Server

（1）Neutron-server的本质是一个Python Web Server Gateway Interface（WSGI），是一个Web框架。

（2）Neutron-server接收两种请求：

REST API请求：接收REST API请求，并将REST API分发到对应的Plugin（L3RouterPlugin）。

RPC请求：接收Plugin agent请求，分发到对应的Plugin（NeutronL3agent）。

3、Neutron架构之Neutron-Plugin

Neutron-plugin分为Core-plugin和Service-plugin。

Core-plugin：ML2负责管理二层网络，ML2主要包括Network、Subnet、Port三类核心资源，对三类资源进行操作的REST API是原生支持的。

Service-plugin：实现L3-L7网络，包括Router、Firewall、VPN。

4、Neutron架构之Neutron-Agent

（1）Neutron-agent配置的业务对象是部署在每一个网络节点或者计算节点的网元。

（2）网元区分为PNF和VNF：

PNF：物理网络功能，指传统的路由器、交换机等硬件设备

VNF：虚拟网络功能，通过软件实现的网络功能（二层交换、三层路由等）

（3）Neutron-agent三层架构如下图：

Neutron-agent架构分为三层，北向为Neutron-server提供RPC接口，供Neutron server调用，南向通过CLI协议栈对Neutron VNF进行配置。在中间会进行两种模型的转换，从RPC模型转换为CLI模型。

5、Neutron架构之通信原理

（1）Neutron是OpenStack的核心组件，官网给出Neutron的定义是NaaS。

（2）Naas有两层含义：

对外接口：Neutron为Network等网络资源提供了RESTful API、CLI、GUI等模型。

内部实现：利用Linux原生或者开源的虚拟网络功能，加上硬件网络，构建网络。

Neutron接收到API请求后，交由模块WSGI进行初步的处理，然后这个模块通过Python API调用neutron的Plugin。Plugin做了相应的处理后，通过RPC调用Neutron的Agent组件，agent再通过某种协议对虚拟网络功能进行配置。其中承载RPC通信的是AMQP server，在部署中常用的开源软件就是RabbitMQ

6、Neutron架构之控制节点网络模型

控制节点没有实现具体的网络功能，它对各种虚拟设备做管理配合的工作。

（1）Neutron：Neutron-server核心组件。

（2）API/CLI：Neutron进程通过API/CLI接口接收请求。

（3）OVS Agent：Neutron通过RPC协议与agent通信。

控制节点部署着各种服务和Neutron-server，Neutron-server通过api/cli接口接收请求信息，通过RPC和Agent进行交互。Agent再调用ovs/linuxbridge等网络设备创建网络。

7、Neutron架构之计算节点网络模型

（1）qbr：Linux Bridge网桥

（2）br-int：OVS网桥

（3）br-tun：OVS隧道网桥

（4）VXLAN封装：网络类型的转变

8、Neutron架构之网络节点网络模型

网络节点部署了Router、DHCP Server服务，网桥连接物理网卡。

（1）Router：路由转发

（2）DHCP： 提供DNS、DHCP等服务。

（3）br-ex： 连接物理网口，连接外网

三、Neutron虚拟化实现功能及设备介绍

1、Neutron虚拟化实现功能

Neutron提供的网络虚拟化能力包括：

（1）二层到七层网络的虚拟化：L2（virtual Switch）、L3（virtual Router 和 LB）、L47（virtual Firewall ）等

（2）网络连通性：二层网络和三层网络

（3）租户隔离性

（4）网络安全性

（5）网络拓展性

（6）REST API

（7）更高级的服务，包括 LBaaS，FWaaS，VPNaaS 等

2、Neutron虚拟化功能之二层网络

（1）按照用户权限创建网络：

Provider network：管理员创建，映射租户网络到物理网络

Tenant network：租户创建的普通网络

External network：物理网络

（2）按照网络类型：

Flat network：所有租户网络在一个网络中

Local network：只允许在服务器内通信，不通外网

VLAN network：基于物理VLAN实现的虚拟网络

VXLAN network：基于VXLAN实现的虚拟网络

3、Neutron虚拟化实现功能之租户隔离

Neutron是一个支持多租户的系统，所以租户隔离是Neutron必须要支持的特性。

（1）租户隔离三种含义：管理面隔离、数据面的隔离、故障面的隔离。

（2）不同层次租户网络的隔离性

租户与租户之间三层隔离

同一租户不同网络之间二层隔离

同一租户同一网络不同子网二层隔离

（3）计算节点的 br-int 上，Neutron 为每个虚机连接 OVS 的 access port 分配了内部的 VLAN Tag。这种 Tag 限制了网络流量只能在 Tenant Network 之内。

（4）计算节点的 br-tun 上，Neutron 将内部的 VLAN Tag 转化为 VXLAN Tunnel ID，然后转发到网络节点。

（5）网络节点的 br-tun 上，Neutron 将 VXLAN Tunnel ID 转发了一一对应的 内部 VLAN Tag，使得 网络流被不同的服务处理。

（6）网络节点的 br-int 上连接的 DHCP 和 L3 agent 使用 Linux Network Namespace 进行隔离。

4、Neutron虚拟化实现功能之租户网络安全

除了租户隔离以外 Neutron还提供数据网络与外部网络的隔离性。

（1）默认情况下，所有虚拟机通过外网的流量全部走网络节点的L3 agent。在这里，内部的固定IP被转化为外部的浮动IP地址

（1）Neutron还利用Linux iptables特性，实现其Security Group特性，从而保证访问虚机的安全性

（3）Neutron利用网络控制节点上的Network Namespace中的iptables，实现了进出租户网络的网络防火墙，从而保证了进出租户网络的安全性。

5、Neutron虚拟化设备

（1）端口：Port代表虚拟网络交换机上的一个虚拟交换机端口

虚拟机的网卡连接到Port上就会拥有MAC地址和IP地址

（2）虚拟交换机：Neutron默认采用开源的Openvswitch，

同时还支持Linux Bridge

（3）虚拟路由器VR：

• 路由功能
• 一个VR只属于一个租户，租户可以有多个VR
• 一个VR可以有若干个子网
• VR之间采用Namespace隔离

四、Neutron网桥及二三层网络理解

1、Neutron-Local-Bridge

仅用于测试；网桥没有与物理网卡相连VM不通外网。

图中创建了两个local network，分别有其对应的qbr网桥。Vm123的虚拟网卡通过tap连接到qbr网桥上。其中2和3属于同一个network可以通信，1属于另一个网络不能和23进行通信。并且qbr网桥不连物理网卡，所以说local网络虚拟机只能同网络通信，不能连通外网。

2、Neutron-Flat-Bridge

• Linux Bridge直接与物联网卡相连
• 每个Flat独占一个物理网卡
• 配置文件添加响应mapping

Flat网络是在local网络的基础上实现不同宿主机之间的二层互联，但是每个flat network都会占用一个宿主机的物理接口。其中qbr1对应的flatnetwork 连接 eth1 qbr2，两个网络的虚机在物理二层可以互联。其它跟local network类似。

3、Neutron-VLAN-Bridge

在基于linux bridge的vlan网络中，eht1物理网卡上创建了两个vlan接口，1.1连接到qbr1网桥，1.2连接到了qbr2网桥。在这种情况下vm通过eth1.1或者eth1.2发送到eth1的包会被打上各自的vlan id。此时vm2和vm3属于同一个network所以是互通的，vm与vm2和vm3不通。

4、Neutron-VXLAN-Bridge

这个是以Linux bridge作agent的Vxlan网络：

Vxlan网络比Vxlan网络多了个VXLAN隧道，在Openstack中创建好内部网络和实例后，agent就会在计算节点和网络节点创建一对vxlan vtep.组成隧道的两个端点。

Vxlan连接在eth0网口。在网络节点多了两个组件dhcp 和router，他们分别通过一对veth与qbr网桥连接在一起，多个dhcp和路由之间使用namesapce隔离，当vm产生ping包时，发往linux 网桥qbr1，通过网桥在vxlan12上封装数据包，数据通过eth0网卡出计算节点到网络节点的eth0，在vxlan12解包。到达路由器之后经过nat地址转换，从eth1出去访问外网，由租户网络到运营商网络再到外部网络。

5、Neutron-VLAN-OVS

与Linux bridge不同，openvswitch 不是通过eth1.1 eth1.2这样的vlan接口来隔离不同的vlan，而是通过openvswitch的流表规则来指定如何对进出br-int的数据进行转发，实现不同vlan的隔离。

图中计算节点的所有虚拟机都连接在int网桥上，虚拟机分为两个网络。Int网桥会对到来的数据包根据network的不同打上vlan id号，然后转发到eth网桥,eth网桥直连物理网络。这时候流量就从计算节点到了网络节点。

网络节点的ehx int网桥的功能相似，多了一个ex网桥，这个网桥是管理提前创建好的，和物理网卡相连，ex网桥和int网桥之间通过一对patch-port相连，虚拟机的流量到达int网桥后经过路由到ex网桥。

6、Neutron-VXLAN-OVS

Vxlan的模型和vlan的模型十分相似，从表面上来看，他俩相比只有一个不同,vlan对应的是ethx网桥，而vxlan对应的是tun网桥。

在这里ethx和tun都是ovs网桥，所以说两者的差别不是实现组件的差别而是组件所执行功能的差别，ethx执行的是普通二层交换机的功能，tun执行的是vxlan中的vtep的功能，图中俩tun对应的接口ip就是vxlan的隧道终结点ip。所以说虚机的数据包在到达tun网桥之前是打的是vlan tag，而到达tun之后会发生网络类型的转换，从vlan封装为vxlan然后到达网络节点。而之前的vlan类型的网络，虚机数据包的类型一直都是vlan。

7、物理的二层与虚拟的二层（VLAN模式)

（1）物理的二层指的是：物理网络是二层网络，基于以太网协议的广播方式进行通信。

（2）虚拟的二层指的是：Neutron实现的虚拟网络也是二层网络（openstack的vm机所用的网络必须是大二层），也是基于以太网协议的广播方式进行通信，但毫无疑问的是该虚拟网络是依赖于物理的二层网络。

（3）物理二层+虚拟二层的典型代表：VLAN网络模式。

8、物理的三层与虚拟的二层（GRE模式与VXLAN模式）

（1）物理三层指的是：物理网络是三层网络，基于IP路由的方式进行通信。

（2）虚拟的二层指的是：Neutron实现的虚拟网络仍然是二层网络（openstack的vm机所用的网络必须是大二层），仍然是基于以太网的广播方式进行通信，但毫无疑问的是该虚拟机网络是依赖于物理的三层网络，这点有点类似于VPN的概念，根本原理就是将私网的包封装起来，最终打上隧道的ip地址传输。

（3）物理三层+虚拟二层的典型代表：GRE模式与VXLAN模式。