第262篇：数据中心互联（DCI）方案：VXLAN over WAN

关键词

DCI、数据中心互联、VXLAN over WAN、Overlay DCI、OTV、EVPN DCI、跨DC二层、WAN优化

一、DCI 需求与挑战

1.1 为什么需要 DCI

DCI（Data Center Interconnect）的驱动力：

业务需求：
  1. 灾备（DR）：主备数据中心间数据同步
  2. 双活（Active-Active）：业务同时在多个 DC 运行
  3. 虚拟机迁移：跨 DC 迁移（灾备/资源优化）
  4. 数据同步：数据库复制、存储同步
  5. 多站点资源共享

流量特征：
  东西向流量占比大（DC 间通信）
  对延迟敏感（同步复制要求 < 5ms RTT）
  大带宽需求（TB 级数据同步）
  高可靠性（99.999%）

1.2 DCI 的关键挑战

DCI 面临的挑战：

1. 延迟（Latency）
   同城 DC：RTT < 1-3ms ✓
   异地 DC：RTT 10-100ms ⚠
   跨洲 DC：RTT 100-300ms ✗

2. 带宽（Bandwidth）
   同城：100G-400G
   异地：10G-100G（成本高）
   限制：WAN 带宽成本远高于 DC 内部

3. 可靠性（Reliability）
   WAN 链路故障率高于 DC 内部
   需要快速保护切换（< 50ms）

4. 安全性（Security）
   WAN 链路可能经过第三方网络
   需要加密（IPSec/MACsec）

5. 地址重叠（Overlapping IP）
   不同 DC 可能使用相同 IP 段
   需要 Overlay 隔离

二、DCI 方案对比

2.1 方案总览

方案 二层互通 三层互通 扩展性 成本
裸光纤/DWDM MPLS L2VPN MPLS L3VPN VXLAN+DCI GW SD-WAN EVPN DCI ✓ 物理 ✓ ✗ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ 差 中 好 好 好 最好 高 中 中 中 低 中-高

推荐方案分析：

小规模（< 4 个 DC，简单互通）→ MPLS L3VPN 中规模（需要二层+三层，4-10 个 DC）→ VXLAN DCI GW 大规模（10+ 个 DC，全面自动化）→ EVPN DCI

2.2 裸光纤/DWDM 方案

物理层互联：

  DC1 ─── DWDM ─── DC2
         │
    ┌────┴────┐
    │ DWDM    │
    │ OTN     │
    │ 80λ×100G│
    └─────────┘

优点：
  物理层透明
  带宽大（单纤 8T+）
  延迟最低

缺点：
  距离受限（< 100km 不需中继）
  成本极高（光纤租赁 + DWDM 设备）
  扩展性差（需新光纤/波长）
  不灵活（增加新 DC 需物理施工）

适用：同城 DC（< 50km）的核心互联

2.3 Overlay VXLAN DCI

VXLAN Overlay DCI 是当前最流行的方案：

                ┌──────────┐
                │  WAN     │
                │ IP/MPLS  │
                └────┬─────┘
                     │
┌────┴────┐ ┌──┴───┐ ┌────┴────┐
DC1 GW (VTEP) DC2 GW (VTEP) DC3 GW (VTEP)
│ │ │
Spine + Leaf Spine + Leaf Spine + Leaf
--- --- --- --- ---

VXLAN DCI 特点： 1. DC 间建立 VXLAN 隧道 2. DCI GW 是 VTEP（跨 DC VXLAN 端点） 3. EVPN 作为控制面 4. WAN 只转发 IP 包（Underlay）

VXLAN DCI 模式：

Mode 1：逐 DC VNI 映射 DC1 VNI 10001 → DCI GW → DC2 VNI 10001 VNI 一致性要求：两边 VNI 相同

Mode 2：VNI 翻译 DC1 VNI 10001 → DCI GW → DC2 VNI 20001 VNI 可不同（DCI GW 做 VNI 映射转换） 适合合并/收购场景

三、EVPN DCI 方案

3.1 EVPN DCI 架构

EVPN DCI — 统一的控制面方案：

                ┌────────────┐
                │   WAN      │
                │ EVPN MP-BGP│
                └─────┬──────┘
                      │
┌────┴────┐ ┌────┴────┐ ┌────┴────┐
DC1-RR 10.1.0.1 DC2-RR 10.2.0.1 DC3-RR 10.3.0.1
│ │ │
DC1 GW VTEP DC2 GW VTEP DC3 GW VTEP
--- --- --- --- ---

3.2 eBGP 跨 DC 路由发布

跨 DC EVPN 路由发布：

DC1-RR (AS 65001) ←eBGP→ DC2-RR (AS 65002)

路由发布流程：

  DC1 Leaf 发布 Type 2：
    192.168.1.10/32 → VTEP 10.1.1.1
    RT: 10001:10001

  DC1-RR 收到：
    反射给所有 iBGP 邻居（DC1 内）
    反射给 eBGP 邻居（DC2-RR）

  DC2-RR 收到 eBGP 路由：
    RD 改为 DC2 的 RD（可选）
    RT 保持不变或增加
    反射给 DC2 内 Leaf

  DC2 Leaf 收到：
    安装路由：192.168.1.10/32 → VTEP 10.1.1.1
    跨 DC 的 VXLAN 隧道建立
    VXLAN over WAN 到 DC1 的 VTEP

RT 处理：

  DC1 出口 RT：10001:10001
  DC2 进口 RT：10001:10001（导入 DC1 路由）
  DC2 出口 RT：20001:20001
  DC1 进口 RT：20001:20001（导入 DC2 路由）

3.3 跨 DC ARP 优化

跨 DC 的 ARP 问题是 DCI 的关键挑战：

问题：
  DC1 的 VM A 发送 ARP 请求跨 DC 的 VM B
  如果是传统 VXLAN → BUM 泛洪到 DC2
  如果 DC2 大量 VM → ARP 泛洪消耗 WAN 带宽

优化方案：

  1. ARP 代理（每 DC 独立）
    DC1 的 ARP 代理：跨 DC 的 ARP 本地代答
    DC2 的 ARP 代理：跨 DC 的 ARP 本地代答
    实际通过 EVPN Type 2 路由完成

  2. ARP 抑制 + 跨 DC 同步
    # 华为跨 DC ARP 优化
    bridge-domain 10001
     arp-proxy inner-ip enable
     arp-proxy inner-ip route advertise   # ARP 路由发布到 EVPN

  3. 未知单播抑制
    bridge-domain 10001
     unknown-unicast-suppress enable

四、DCI 的 WAN 优化

4.1 延迟优化

跨 DC 延迟的应对策略：

DC 间距离   典型 RTT      策略
────────────────────────────────
同城 <50km  <1ms         同步复制 ✓
同省 <500km 2-5ms        准同步复制
跨省 <2000km 10-30ms     异步复制
跨洲       100-300ms     仅异步

TCP 优化（长肥网络）：

  1. 调大 TCP Buffer
    # 调整 TCP 窗口
    sysctl -w net.core.rmem_max=67108864
    sysctl -w net.core.wmem_max=67108864
    sysctl -w net.ipv4.tcp_rmem='4096 87380 67108864'
    sysctl -w net.ipv4.tcp_wmem='4096 65536 67108864'

  2. 启用 TCP 时间戳和 SACK
    sysctl -w net.ipv4.tcp_timestamps=1
    sysctl -w net.ipv4.tcp_sack=1

  3. 使用拥塞控制算法
    sysctl -w net.ipv4.tcp_congestion_control=bbr

4.2 链路聚合与负载

DCI 多链路负载分担：

多条 WAN 链路同时使用：

                  WAN
  DC1 GW ─┬── Fiber1 ──── DC2 GW
           ├── Fiber2 ──── 
           ├── Fiber3 ──── 
           └── Fiber4 ──── 

负载分担方案：

  1. Per-flow ECMP
     VXLAN 内层五元组哈希
     不同流在不同链路上

  2. 加权负载
     不同链路带宽不同
     如：Fiber1(50G) + Fiber2(100G) + Fiber3(100G)
     权重：1:2:2

  3. 主备（不推荐）
     DCI 带宽已有限，不应浪费链路
     除非是跨 DC 保护场景

华为 DCI 多链路配置：
  interface Multilink1
   bandwidth 250000                           # 总带宽 250G
   #
   member-group Fiber1 weight 1
   member-group Fiber2 weight 2
   member-group Fiber3 weight 2

4.3 QoS 保障

DCI 的 QoS（带宽有限，必须保障优先级）：

DCI QoS 队列设计：

┌─────────┬──────────┬───────────────────┐
│ 队列    │ 带宽比例  │ 业务类型           │
├─────────┼──────────┼───────────────────┤
│ 队列 6  │ 10%      │ 网络控制（VRRP/BFD）│
│ 队列 5  │ 20%      │ 实时（存储同步）    │
│ 队列 4  │ 30%      │ 关键业务（数据库）  │
│ 队列 3  │ 20%      │ 普通业务           │
│ 队列 2  │ 10%      │ 批量（备份）       │
│ 队列 1  │ 10%      │ 尽力而为           │
└─────────┴──────────┴───────────────────┘

配置：
  # DCI 接口 QoS
  interface 100GE1/0/1（DCI WAN）
   qos trust dscp
   #
   queue 5 ef bandwidth pct 20               # 存储同步：PQ
   queue 4 af bandwidth pct 30               # 关键业务：AF
   queue 3 af bandwidth pct 20
   queue 2 af bandwidth pct 10
   queue 1 be bandwidth pct 10
   queue 6 be bandwidth pct 10               # 控制面

五、DCI 安全

5.1 加密需求

跨 DC 流量必须考虑安全：

攻击风险：
  中间人攻击（MITM）
  数据窃听
  流量篡改

加密方案：

  1. IPSec（最常用）
     DC GW 之间建立 IPSec 隧道
     所有 VXLAN 流量加密
     AES-256 + IKEv2

  2. MACsec（L2 加密）
     物理端口级加密
     适合裸光纤/DWDM 场景
     对 VXLAN 透明

  3. 应用层面
     TLS/SSL（应用自加密）
     端到端加密
     不影响网络设备

5.2 IPSec 配置示例

# DC1 GW IPSec 配置
#
ipsec proposal PRO_1
 esp authentication-algorithm sha2-256
 esp encryption-algorithm aes-256
 #
ike proposal IKE_1
 encryption-algorithm aes-256
 dh group14
 authentication-algorithm sha2-256
 #
ike peer DC2_GW
 ike-proposal IKE_1
 remote-address 203.0.113.2                 # DC2 GW 公网 IP
 pre-shared-key cipher %^%#SecureKey123
 #
ipsec policy IP-POLICY 1 isakmp
 security acl 3000                           # 匹配 VXLAN 流量
 ike-peer DC2_GW
 proposal PRO_1
 #
# 定义 VXLAN 流量（UDP 4789）
acl number 3000
 rule 5 permit udp source 10.1.1.1 0 destination 10.2.2.2 0

六、DCI 故障处理

6.1 WAN 链路故障

WAN 链路故障处理时间线：

  T=0：Fiber1 中断
  T=50ms：SR-MPLS FRR 切换到备用路径（如果有）
  T=1s：BGP 邻居检测到中断（BFD）
  T=1.5s：Egress Leaf 切换到其他 GW
  T=2s：EVPN 路由更新扩散
  T=3s：全网收敛完成

切换必须是自动的，不影响业务：

  保护设计：
    每个 DC 至少 2 个 DCI GW
    至少 2 条 WAN 链路（不同物理路径）
    BFD 检测 DCI GW 之间的可达性

6.2 防环路设计

多 DC DCI 环路风险：

  DC1 ─── WAN ─── DC2
    │              │
    └── WAN ──────┘

  如果两个 DC 之间有多条路径：
    DC1(Leaf) → DC1 GW → WAN → DC2 GW → DC2(Leaf)
    DC2(Leaf) → ... → 可能回到 DC1

  → 形成环路！

解决方案：

  1. EVPN 防止环路（RFC 7432）
     EVPN 路由携带下一跳信息
     Leaf 不会将流量转发给与自己同 DC 的 GW
     防止回程流量再次穿越 WAN

  2. TTL 限制（华为 DCI 保护）
     bridge-domain 10001
      vxlan ttl 64                            # 默认 TTL
      vxlan loop-detect enable                # 开启环路检测

七、总结

知识点 核心要点
DCI 核心需求 灾备、双活、VM 迁移、数据同步
关键挑战 延迟、带宽、可靠、安全、IP 重叠
方案选择 裸光纤（同城）、VXLAN Overlay（通用）、EVPN DCI（大规模）
VXLAN DCI VXLAN over WAN，EVPN 控制面
ARP 优化 ARP 代理 + 未知单播抑制，减少 WAN 泛洪
QoS 存储同步 > 关键业务 > 批量 > 尽力而为
安全 IPSec+AES-256 加密跨 DC 流量
故障处理 多链路 + BFD + 防环路
保护切换 < 3s 自动收敛

八、思考

  1. DCI 的四大核心挑战是什么？为什么延迟是对 DCI 影响最大的因素？
  2. VXLAN Overlay DCI 相比裸光纤/DWDM 方案有哪些优势和劣势？
  3. 在跨 DC 场景中，EVPN 如何控制路由发布？RT 在此过程中如何工作？
  4. 为什么 DCI 需要 ARP 优化？ARP 泛洪在 WAN 链路上有什么严重后果？
  5. 一个双数据中心场景中，如果 DC1 的存储同步（延迟敏感）和备份（带宽消耗大）共用同一条 DCI 链路，如何用 QoS 保障存储同步的性能？

下篇预告：第263篇《DCI 光传输基础：DWDM 与波分复用》——从光传输角度理解 DCI 的物理层，DWDM 原理、ROADM、OTN 与数据中心互联的光层设计。