爱奇艺SD-WAN建设之 络加速平台实践

背景

随着公司业务复杂度越来越高、节点覆盖也越来越广，满足各业务节点灵活的 络访问需求给 络建设和运维提出了更高的要求。在这样的业务需求背景下，结合SD-WAN（SD-WAN（软件定义广域 ）是将SDN技术应用到广域 （WAN）场景所提供的特定服务，这种服务用于连接不同地理位置的 络节点，并为这些节点之间高效互访和节点特定访问需求提供保障）架构理念系统 络推出了 络加速平台，其构建了在爱奇艺现有基础 络之上的一张overlay平面，提供了各节点灵活互访的能力。 络加速平台的业务管理、策略控制和数据转发功能实现上分离，为业务用户（包括物理主机、虚机等）针对性提供差异化 络平面的加速服务。

络加速平台基于SD-WAN架构实现，并对加速业务自动化统一管理，很大程度上减轻了随着 络规模和业务种类增加时链路数过多及调度策略复杂时的运维工作，提高了管理效率和 络运行效率。平台通过差异化路由策略实现目标节点的引入，提供统一的路径规划，并可以根据 络运行状态动态调整业务路径。

解决方案

如图1所示，平台自上而下分为业务控制层、路由控制(overlay)层和underlay数据转发层，overlay构建在实体underlay数据转发层之上，系统管理员通过业务控制层进行业务管理，业务控制层通过FAST（爱奇艺业务配置管理系统）、SSH及NETCONF等作为南向接口协议与数据转发层相互通信，业务控制层感知 络的路径质量和运行状态为用户流量提供最佳转发路径。

络加速平台从左向右分为三个平面：业务接入平面、路由控制平面、数据转发平面。

业务接入平面：业务接入平面作为 络的入口在平台内和路由控制平面连接，同时配置主用链路和备用链路双接入，根据不同的业务类型，通过不同的设备接入特定的 络平面。业务接入平面设备提供客户主机的接入功能，同时在特定的 络场景下接入路由器可以和转发出口路由器直接建立互联，为业务提供特定的Internet访问路径。

路由控制平面：路由控制需要承载全部各大运营商汇总后的路由，同时承载全部中小运营商需要加速的路由，并通过路由策略（线路长度、链路cost等）控制不同的业务接入设备接入到不同的 络平面。

数据转发平面：数据转发平面和路由控制平面互联或者和特定的接入平面设备逻辑直连，不同出口的路由设备仅需要发布本运营商汇总后的公 路由给路由控制平面特定的 关设备，转发设备只发送路由而并不接受平台控制平面发送过来的公 地址段路由，同时设备兼做出口 关。

络加速平台当前主要实现内 访问外 和外 访问内 两种不同应用场景并针对性提供不同技术方案以满足不同业务需求， 内underlay实体 络由专线或者链路组成，专线连接孤岛节点，针对只能特定地址访问和内部代理节点代理模式通过VPN隧道的方式打通加速平台和内部节点的连接链路，并通过BGP策略指定特定路径。

当业务接入平面节点业务为QNET业务、监控业务、堡垒机业务等需要全部小运营商路由情况下接入路由器同路由控制平面设备建立EBGP邻居，学习各接入小运营商及QNET全部加速路由。业务接入平面路由器在BGP邻居上配置不同的MED值以区分到南方和北方不同方向的主备EBGP路由。EBGP策略默认接收全部邻居路由，但仅发送隧道接口IP地址到控制层路由器。

控制平面路由器之间建立IBGP邻居关系，北方和南方各取一个节点设备兼做RR，IBGP邻居之间无需配置路由策略，路由控制平面设备上承载国内三大运营商、QNET、所有小运营商所需加速地址段全部路由信息。控制平面除了作为路由的汇聚点，同时也会成为流量的中转站，为了更合理得疏导 内流量到合理的中间节点控制平面设备的分布需要能起到疏解汇聚流量的作用。

服务场景介绍

此场景主要解决特定机房业务主机访问异地特定 络节点的需求， 络加速平台在所需要访问的出口部署 关设备，每台 关设备和路由控制平面建EBGP邻居关系并将自己所能到达的路由发布到控制平面，控制平面将和接入平面设备同时建立EBGP邻居关系，根据接入设备所服务的业务节点发布特定路由到接入层以此引导用户流量到特定的 络出口。所有的路由策略在控制层设备落地。

如果业务2需要访问广电某个机房某台服务器，其IP地址范围为x.x.x.x/27，那么这个地址prefix通过EBGP从转发层设备发布到控制平面再到接入平面设备，业务2主机配置到这个地址的静态路由并通过隧道和接入平面设备连接，指定下一条到接入平面设备，此时业务2主机就可以访问这个机房的这些服务器。

基于爱奇艺基于MPLS VPN的QNET 络并在其上开启L2VPN服务，在多点间构建大二层 络，可以将远端 络IP地址下沉到QNET所覆盖的各个分布式节点。和三层VPN不同的是原始 文的以太 二层地址在跨越核心 络时并不发生变化，而是作为负载被打包到了新 文数据负载中，保证二层信息可以跨 传递。这种方式降低了业务分布式部署复杂度，提高了服务灵活性。

如上图所示192.168.1.0/24段 络 关（192.168.1.1）在右上角，左上和下方的两个节点均和右上角的节点在不同的物理位置，此时我们可以将相同 段内地址（192.168.1.100和192.168.1.200）部署在这两个节点上面，使得分布式节点整体可以在一个二层域内。这样的业务互联方式可以满足不同 络环境下统一的业务配置管理，获取快速和灵活的业务部署能力。

针对机房内主机选择特定互联 出口的场景，传统的解决内部主机访问外 的方式是通过主机和外部出口 关建立内部隧道然后通过 关接入互联 。 络加速平台提供基于主机默认路由方式访问外 的方法，在主机机房部署奇路 关，奇路 关和多个出口 关建立外部VPN隧道，内 主机配合外 DNS可以正确解析用户所选择的特定运营商出口，并根据用户选择或者负载均衡策略将用户流量导入到相应的出口 关。奇路 关通过策略路由做访问限制，用户出 权限通过平台统一管理，申请通过后将用户主机地址在策略路由中放行。

在基于VXLAN建设的IDC中跨越TOR的访问为三层访问，TOR作为VTEP和VXLAN 关限制了主机的二层广播域，所以内 主机访问外 需要三层隧道或者路由方式来调度用户流量，本方案结合隧道和主机默认路由的方式提供内 主机访问外 的方法，根据出口 关的位置和数量可为内 主机提供差异化的访问出口。

域名路由是指业务主机可以根据域名作为条件选择特定的路径以达到最优的 络访问质量，其主要的问题在于域名解析结果的动态更新、解析结果与路由表的绑定及多出口的接入。 络加速平台通过业务主机的DNS服务程序dnsmasq来实现这些功能，dnsmasq解析到目标域名的主机后根据静态配置出口或者出口选择策略将解析IP及下一跳写入主机路由表中达到特定域名走特定出口的目的。

某些业务会对多个外部系统产生依赖，比如支付体系会使用apple支付、微信支付和支付宝等支付方式，那么针对不同的支付接口的访问均需要访问不同的域名，而且不同的支付系统所访问的最优路径有所不同，所以按照不同的域名将访问流量调度到不同的隧道入口可以提高业务整体的服务质量。

总结及展望

络加速平台作为SDN体系建设中重要的一部分为业务节点的互通和特定访问需求提供了 络解决方案，通过动态路由协议、overlay加速平面和差异化的调度策略提高了 络访问的效率，基于SD-WAN架构思想通过软件管理平台统一对接入业务进行管理、调度和监控，让业务更灵活得感知 络运行状态，根据 络服务QoS和 络故障情况实时切换路径，保障业务稳定。

平台在演进的过程中不仅需要解决节点之间、内部节点到外 的访问需求，也需要扩展支持内 对外提供服务的场景，能提供同时兼容东西向流量和南北向流量的管理和调度能力。同时平台需要不断扩大进出口的覆盖、扩展专线与公 混合调度能力来提高平台的鲁棒性，提升二层、三层到七层的全栈路由加速能力，以提高基础 络对各业务全方位的支撑能力。