Openstack Liberty网络架构实现分析（一）

春节前在研究Openstack最新版本Liberty网络时，发现了一篇较好的介绍Liberty网络实现和一些新技术的文章。经过仔细研究后决定写写研究后的体会。

此系列文章分为7个部分，分别介绍：

1.Liberty网络总览

2.网络架构

3.Neutron配置

4.网络创建

5.添加路由、网络和子网

6.在租户网络启动虚机

7.在FLAT网络启动虚机

 

文章连接：OpenStack Liberty Neutron Deployment (Part 1-7 Overview) http://www.opencloudblog.com/?p=557 

 

下面我也会分7个部分来写写自己阅读和实验后的一些心得体会。

 

1、Liberty网络总览

 

从构架图中可以看到节点、网络和服务的总体架构，其中有一下几点比较重要：

1.在传统三节点（控制、网络、计算）环境中，添加了API节点，API节点暴露给外部网络，保证控制节点不直接对外，以此提高系统的安全性。

2.网络方面涉及以下内容：

1）内网和外网两个路由器，内网路由器单纯跑管理数据，保证各个节点之间通讯。

2）外网路由器包含API访问网络、虚机网络和Vxlan网络

3.各个节点跑的服务分布来看基本和传统Openstack一致，但其中nova-metadata元数据服务，从控制节点挪到了网络节点，此改变会减小虚机访问元数据信息对网络造成的压力。

4.为租户提供的虚拟网络资源

1）每个租户可以添加路由器挂接floating pool浮动ip池网络与租户自身内网实现虚机访问外网

2）为租户提供多个浮动IP池网络，并且浮动IP池网络的gateway可以是一个物理router

3）为租户提供多个flat网络，flat网络提供物理的router，只有虚机能够连接这个网络。

 

2.网络架构

根据以上节点和网络图可以发现：

1）两个floating网络使用vlan100和vlan101，snat和dnat通过iptables路由

2）两个flat网络使用vlan200和vlan201，虚机不需iptables路由

3）Vxlan网络使用vlan4000

在使用Vxlan和GRE隧道模式时，因为会对IP和UDP报文添加隧道头信息，造成报文MTU超过1500的情况，传统解决方案有通过DHCP下发MTU=1400配置给虚机，降低虚机的MTU数值以达到保证报文小于1500，由于会导致生产环境产生大的问题，作者不推荐降低MTU数值，作者建议修改交换机MTU为1600保证网络包的转发。

具体vlan配置信息：

vlan 100 name Floating-Pool-1
vlan 101 name Floating-Pool-2
vlan 200 name Flat-Net-1
vlan 201 name Flat-Net-2
# set the mtu to 1600 for vlan 4000
vlan 4000 name vxlan mtu 1600
# do not use vlan 1 for untagged packets
vlan 4090 name native vlan
#
############interface vlan 100description Floating-Network-1ip address 198.18.0.1/20
interface vlan 10description Floating-Network-2ip address 198.18.16.1/20
interface vlan 200description Flat-Network-ip address 198.19.1.1/24
interface vlan 201description Flat-Network-2ip address 198.19.2.1/24
# a L3 interface for the vxlan vlan may be added
#
#############
#
# the ports to the nodes (network and compute)
# They use the same config !
# just one link to each node - multiple links using LACP may also be used
interface portdescription to-network-nodemode trunktrunk native vlan 4090trunk vlan 100,101,200,201,4000,4090mtu 1600
interface port2description to-compute-nodemode trunktrunk native vlan 4090trunk vlan 100,101,200,201,4000,4090mtu 1600

 

 

网络节点配置

网络节点和计算节点的配置使用了一个物理口或一个绑定端口实现了虚机流量的传输还是非常有创新的一种配置方式。如果按照官方Openstack的部署方案，可能就需要四个物理网卡来支撑此种网络配置，但按作者的方案，可以通过一个物理网口实现这四个网口的功能，这样还是会大大降低组网的复杂度，也是一种不错的解决方案。

1）Vxlan的物理口可以不需要，因为Vxlan传输需要的是IP层地址，可以在br-uplink上创建internal port（l3vxlan），并给port配置一个IP地址，来实现Vxlan隧道信息的传输。

2）br-uplink是建立在一个物理网口例如eth1上的一个ovs网桥，它实现了隧道网络br-tun和vlan网络br-vlan的上联功能。

3）br-uplink和它与br-int与br-vlan的patch对虚拟网卡设备需要用户自己创建，br-tun、br-vlan和br-int网桥设备由Openstack代码创建和维护。

4）传统Openstack方案两个floating外网池对应两个L3 agent并且分配两个物理网卡配置br-ex外网桥。可实际上L3 agent现在已经足够智能，可以使用任何网桥设备了。任何一个L3 agent可以管理多个floating pools。

5)Liberty Neutron代码已经不必须使用br-ex来实现L3 agent的路由功能

网络节点和计算节点虚拟设备配置：

#
# the bridge, which connects the nodes to the transport network
ovs-vsctl add-br br-uplink
# the bridge used by Openstack Neutron to connect vlans and flatdhcp networks
ovs-vsctl add-br br-vlan
# the integration bridge used by Openstack
ovs-vsctl add-br br-int
#
# add the uplink (with dot1q tags 101,102,...)
# we assume, that eth1 is the uplink interface
ip link set dev eth1 up
# set the mtu of the physical uplink to the switch
ip link set dev eth1 mtu 1600
#
# disable gro and lro !! on the uplink
ethtool -K eth1 gro off
ethtool -K eth1 lro off
#
# enable for intel NICs udp port hashing to distribute traffic to different queues
ethtool -N eth1 rx-flow-hash udp4 sdfn
#
ovs-vsctl add-port br-uplink eth1 -- set port eth1 vlan_mode=trunk trunk=100,101,200,201,4000
#
# patch ports between br-uplink and br-vlan
ovs-vsctl add-port br-vlan patch-to-uplink -- set Interface patch-to-uplink type=patch options:peer=patch-to-vlan
ovs-vsctl add-port br-uplink patch-to-vlan -- set Interface patch-to-vlan type=patch options:peer=patch-to-uplink
#
# !! on br-uplink the allowed vlan tags on the patch port from br-vlan must be filtered using Openflow rules
# !! if this is not done, there is a risk that vlans from the infrastructure may get mixed with local vlans
# !! of br-int, if the neutron Openvswitch agent fails to set up the vlan mapping on br-vlan or br-int
# TBD
###
# create the Linux IP interface required for VXLAN transport
# this interface is attached to vlan 4000 of br-uplink
# XXX = Last octet of the VXLAN interface ip address of the node
ovs-vsctl add-port br-uplink l3vxlan tag=4000 -- set Interface l3vxlan type=internal
ip addr add 10.255.255.XXX/24 dev l3vxlan
ip link set dev l3vxlan up
# set the mtu of the logical vxlan interface
ip link set dev l3vxlan mtu 1600

 

3.Neutron配置

关于neutron配置项可以参考原文的配置，说几点比较重要的项：

1）在ml2_conf.ini中：

###>>>>>>>>> local_ip is only used on compute and network nodes ###
# local_ip = <ip address of the l3vxlan interface>

 

local_ip在此处需设置为l3vxlan openvswitch的internal port的ip地址，实现Vxlan隧道的ip

 2）在l3_agent.ini中

#
# very important - set the two following entries to an empty string
# do not leave the default values
gateway_external_network_id =  
external_network_bridge =  

 

传统l3外部网络需要配置br-ex外网网桥，由于liberty网络的l3 agnet可以不指定外网网桥，外网ip的qg虚拟设备可以建立在网络节点br-int集成网桥中，以实现l3路由的snat和dnat。

metadata_ip = 127.0.0.1

 

传统openstack的nova-metadata服务部署在控制节点，但此处metadata服务部署在network节点中，因此metadata_ip需配置为127.0.0.1

3）在nova-metadata.conf中

metadata_host = 127.0.0.1
metadata_listen = 127.0.0.1

 

在此metadata服务只监听本地127.0.0.1

 

以上步骤基本完成了liberty网络环境准备工作，下一部分将就介绍网络、路由、外网配置与虚机创建。

 

作者简介：赵俊峰，现为北京新云东方系统科技有限责任公司 云计算部Openstack开发工程师。主要从事Power和x86混合环境下Openstack相关计算、网络、存储相关服务软件开发和系统架构设计工作。