上海海事大学：向软件定义的数据中心转型

随着IT技术的发展，尤其是虚拟化和云计算技术的日渐成熟与广泛应用，传统的数据中心因为IT资源置备慢、资源利用率低下、电能消耗过高、物理空间有限、服务质量低下等问题，而无法适应当今绿色IT的节能减排、低碳、智能先进的管理理念，也无法满足IT资源高效交付、运维成本和投资成本节俭等新型数据中心要求。

国内高校已经开始从传统物理数据中心向虚拟化数据中心过渡，进而向软件定义的数据中心过渡，这是数据中心发展的一种趋势。据不完全统计，大部分高校已经实现了服务器虚拟化，部分高校已经实现存储虚拟化，但是 络虚拟化还在摸索和测试中。

数据中心及其 络现状

1. 数据中心现状

上海海事大学从2009年开始自主建设服务器虚拟化，截至目前，我们利用业内较成熟的虚拟化产品，已经实现了计算虚拟化、存储虚拟化，并且利用vRealize Automaition 平台实现了IT资源的自动化部署与交付，利用vRealizeOperations实现了智能化运维。数据中心正朝着软件定义的数据中心转型，这其中 络虚拟化是关键环节。势必要求传统的数据中心 络向软件定义的 络转变。

2. 数据中心 络现状

数据中心已经基本实现软件定义数据中心功能，但数据中心 络还是处于原来的传统 络模式。从 络拓扑结构而言，数据中心起到了其所在楼宇的校园 汇聚的作用。其内部 络有三部分组成：一部分是托管服务器 络，主要用于各二级学院和二级部门的服务器；一部分是核心业务 络，主要用于信息化办公室为学校建设的核心业务物理服务器；最后一部分是虚拟机 络，主要用于信息化办公室为学校建设的虚拟机 络。其中虚拟机 络可看做是校园 的一个VLAN，与校园 络交织在一起，通过同一个核心交换机进行数据交换（如图1）。

这种 络结构给 络管理带来了一定复杂度。数据中心的物理服务器与虚拟机是由专门的数据中心管理员来管理，而数据中心的 络则是由校园 络管理员负责。数据中心对 络的需求，通常是在之前事先划定给数据中心服务器专用的 段之内的，预先配置好校园 核心交换机及服务器接入交换机，日常使用通常只是在既定的规划范围内正常使用，例如每次新增服务器，仅可使用既定的 络分段，在已有的VLAN内确定一个IP。但是在数据中心 络日常的使用中，必然会存在因业务而发生的 络变更，先前规划的 络已经不能满足当前的需求。例如新增 段，需征求校园 络管理员意见，等待 络管理员调整交换机配置后，数据中心管理员方可测试使用。在日常的使用过程中，如果服务器 络出现问题时，须由 络管理员配合排障。

数据中心传统 络的弊端

随着数据中心虚拟化程度越来越高，业务需求越来越多，安全性、灵活性及交付的时效性要求越来越高，传统 络已无法适应新的发展需求，其弊端也慢慢显现。

1. 传统 络架构之管理弊端

(1) 以硬件为中心：特定于供应商的管理，存在多种配置命令；

(2) 络架构复杂，维护工作量大：每个接入交换机都需要做相关配置，完全手工配置，难以保证 络配置的一致性，配置复杂且易出错；

(3) 对新业务部署上线支持缓慢。 络追赶业务，而无法与业务同步；

(4) 虚拟 络与物理 络协调困难：服务器管理员无法管理 络， 络管理员也无法管理虚拟机的 络，出现 络故障需要协调 络管理员解决，排障效率低下；

(5) 络调整不够灵活：涉及VLAN，IP等新增或者调整时，需要 络管理员确认并调整。

(6) 络管理界面划分不清：原有架构下，服务器 络特别是虚拟机 络与校园 络交织在一起。虚拟机的 络可以在虚拟 卡中做一定的限制，故对于 络管理员而言，虚拟机的 络应该归虚拟机管理员来负责。而对于虚拟机管理员而言， 络的问题应该由 络管理员来负责，管理界限模棱两可。

2. 校园 与数据中心 络相互影响

目前校园 与数据中心 络是二层互联，在 络安全问题上相互影响，如广播风暴，环路等。

3. 内部安全控制不足

传统的数据中心 络安全防护一般部署在数据中心的边界防火墙设备，数据中心内部缺少东西向的安全控制（如图2）。黑客一旦突破了边界防火墙，就可以在数据中心内部畅通无阻，造成数据非常容易泄露。如果通过部署传统物理防护墙的形式，实现数据中心内部成百台虚拟机的东西向流向的安全，势必会成本很高，同时运维管理十分复杂。

数据中心 络改造规划

鉴于传统 络的弊端，为了适应新型数据中心的要求及业务对 络的需求，我们对数据中心的 络进行了自主升级改造。本次改造通过实现数据中心 络可独立规划、按需分配、灵活调整、减少耦合，最终实现数据中心 络可在一定的范围内独立规划、设计、可根据需要自主分配 络、因业务需求可实现 络灵活调整、减少与校园 络之间的相互关联性、管理界限分明、排障简单的目标，彻底建成软件定义的数据中心。

1. 整体改造规划

根据数据中心的 络情况，我们制定了不同的改造策略。从长远角度看，我们主要是针对虚拟机 络进行虚拟化改造，其他 络采用逐步过渡到虚拟化 络的方法。具体如下：

(1) 托管物理服务器 络：托管服务器是历史遗留问题，目前数据中心已经不再接受托管，对于已有的这部分服务器， 络保持现状，物理服务器不再进行升级、更新等业务，采用逐步淘汰的原则。

(2) 服务器等硬件管理 络：使用重新规划的新 络地址，单独划分一个VLAN用于物理硬件的管理IP，其中包括了NAS，iSCSI等地址。

(3) 虚拟机 络：对于虚拟机的 络主要涉及两类地址，一类是教科 地址，一类是内 地址。教科 ：如邮件、DNS等部分虚拟机使用了教科 ，而且后续仍然存在业务需要使用教科 地址，故这部分 络保持原有状态。设置特定集群，单独放置使用教科 的虚拟机。仍然是桥接方式。内部 络：使用新规划 络，进行虚拟化 络改造，实现NSX 络虚拟化。

2. 络虚拟化方案设计要点

(1) 数据中心使用单独一个B类地址，实现虚拟机 络与校园 相对独立；

(2) 新增两台数据中心核心交换机，与校园 三层互联，避免虚拟机 络环路对校园 产生影响；

(3) 管理 络与生产 络分隔；

(4) 不同的应用使用不同的地址段；

(5) 虚拟机增加南北向及东西向安全控制；

3. 新建 络虚拟化结构

整个数据中心实现 络虚拟化后， 络划分为三部分：

(1) 物理设备 络：划分两个C类地址，直接用于物理设备如物理服务器、存储、交换机等以及NAS、iSCSI的IP地址；

(2) Web生产 络：通过NSX，划分微分段，单独用于Web服务器 络，实现与一般生产的 络隔离，此部分的服务器 络防火墙有严格限制，默认只开放80及443端口；

(3) 一般生产 络：通过NSX，划分微分段，用于一般的非Web服务器。

数据中心 络虚拟化改造实施

无论是传统的 络结构还是利用Overlay技术的虚拟化 络结构，作为传输的底层设备，物理交换机是必不可少的。此次数据中心 络虚拟化改造，首先升级了底层 络交换机。新增加两台核心交换机，清空了底层接入 络交换机的配置，并把MTU值改为大于1600。新建NSX虚拟化 络，部署虚拟化管理平台，控制器及数据平面的各个插件。各集群安装配置VXLAN、分布式逻辑交换机、逻辑路由器、分布式防火墙及Edge防火墙。

NSX 络虚拟化架构建设完成之后，两种 络并存，一种是原有的传统VLAN、一种是大二层VXLAN。对于新增的虚拟机，使用全新的VXLAN 络。对于已经存在的虚拟机，通过设置物理主机同时连接两种 络，更改虚拟机IP地址，同时切换到VXLAN 络，逐步实现生产虚拟机从VLAN转化到VXLAN，最终完全实现NSX 络虚拟化。

NSX 络虚拟化改造后的优势

数据中心实现NSX 络虚拟化之后， 络的架构、使用便捷性、安全性、管理便利性等都得到了极大的提升。

1. 数据中心的 络实现软件定义，不再以硬件为中心。

2. 络结构简化，与校园 之间的安全可控，有效防止回路，便于管理。

改造后虚拟化的物理 络与校园 三层互联，屏蔽二层故障的相互影响，安全可控；另外， 络虚拟化后无需关心底层物理 络，通过大二层技术， 络与底层 络设备的关系不再紧密，满足IP可达即可，只需要将底层物理交换机的MTU值设为1600以上即可，无需再使用多种命令，做复杂的端口或者路由配置。同时允许底层 络设备异构。

3. 新增 络变得简单灵活，虚拟机管理员在统一的管理界面，增加虚拟交换机及虚拟路由器即可快捷完成，不再需要校园 管理员在物理交换机上进行繁杂的手工配置。

4. 虚拟机的 络安全设置可由虚拟机管理员根据需要对虚拟机配置，无需 络管理员参与。

5. 责权分明，校园 络与数据中心 络管理边界清晰，故障排查简单。

6. NSX提升数据中心 络安全

(1) 传统的数据中心的 络安全，对于东西向的安全限制有限，实施NSX后，南北向及东西向安全限制，都可以做到较好的控制；

(2) 不同的 络之间可以完全隔离，例如我们的Web 站服务与一般生产服务隔离；

(3) 可设置不同的安全组如SSH安全组，RDP安全组等，实现依据安全策略通讯。

(4) 安全策略跟随虚拟机。

安全策略支持 IP、 Port范围、安全组和vCenter管理对象。安全策略自动跟随虚拟机，安全粒度到虚拟机。例如学校的MAIL服务器仅允许开放HTTP、HTTPS、IMAP_SSL、POP3_SSL，SMTP_SSL等协议，无论该邮件服务器迁移到哪台主机，策略始终有效。

(5) 对于安全的控制，通过vCenter软件平台即可设置，无需对硬件配置进行更改。

7. NSX助力云计算自动化和自助式IT，IT资源需求服务实现无人干预。

NSX与vRealize Automation云计算自动化平台结合，实现包含 络和安全策略的按需应用交付、自动化部署 络安全微分段。在这两大平台的保障下，学校的 站服务器实现自助式申请、自动化部署交付，无人干预。

在信息化的时代，数据及服务呈现爆炸式增长，对于数据中心提出更高的要求，需要更大的灵活性，敏捷性和更好的安全性。软件定义的数据中心是当前应对信息高速发展的最好方案。软件定义的数据中心设施内部运作将不再专注于硬件和物理设备，而会更多地侧重于软件。 络虚拟化成为完全实现软件定义数据中心的必经之路。