成功案例：電信業資料中心建置案
 
資料中心需求：

1. 架構設計可以具備incoming 與 outgoing 流量的控制能力。
2. 相關設計需在跨Vendor solution 時仍可適用。
3. 網路架構的設計與 IDC core router 搭配應該具備Fully Redundant 的設計不得有任何單點(Box & Link) 障礙發生。
4. 網路架構的設計與 IDC core router 搭配，應具備在進行網路擴充與升級時不能影響既有服務之能力。
5. 新IDC 網路架構設計，需具備可與任何客戶IP網路需求(Layer 2，Layer 3[Static route or dynamic route]，Channel Group[Layer2/Layer3] 等等… ) 進行介接之能力。
6. 因應客戶不同之介接需求，新IDC 網路設計需具備相關的保護機制，不能因為用戶端的任何錯誤設定，危害IDC部分或全部的網路穩定度。
7. 頻寬為收費之依據，整體架構設計需考量QoS與Rate Limit且必須同時具備 inbound & outbound 的控制能力。
8. 網路架構的設計需具備 spanning free 的設計，避免複雜的Layer 2 網路架構。
9. 網路架構的設計需提供單一介接 Gateway 給用戶，同時可以具備 box redundant 、 Link redundant 等功能。
10. 網路架構的設計應該避免 Unicast flooding 的狀況發生。
11. 網路架構的設計應該具備 Reverse Path Forwarding 的功能，以檢查 user source ip address 是否正常。
12. 網路架構的設計，需讓架構本身具備抵擋 DDOS攻擊之能力。
13. 網路架構的設計需具備Support IPV6的能力，且在建設初期即須建立IPV4 與 IPV6共存之網路環境。
14. 新IDC 架構需考慮具備 flow (netflow,sflow,xflow,… 等等) 的機制，可以進行 IP Traffic accounting ，以統計任何IP的流量狀況。

 


圖 1 ：XX電信雲端機房資料中心網路架構


網路架構說明：

Aggregation 交換器：
使用兩台Extreme Networks BD8810 Data Center交換器組成雙核心架構並使用Multi-Switch Link Aggregation Groups(M-LAG) 技術建構 Data Center備援及東西向擴充架構。
對 IDC Core 01 與 IDC Core 02 採用 10GE uplink 形成 full mesh 連接並使用 Equal-cost multi-path routing (ECMP) 機制達到負載平衡的資料傳輸與路由交換。本架構支援IPv4/v6 dual stack 及 RIP 1_2/OSPF/ISIS/BGP/RIPng、OSPFv3 、IS-ISv6、BGP4+ 等標準開放之路由協議及 Policy Based Routing for IPv4/IPv6，可充分與其他廠商之交換路由器互連相容。
對每台 Access L3交換器則採用10GE downlink並使用M-LAG 機制可達成 STP Free 的設計理念，充分使用對每台Access 交換器的 20GE(2 10GE LACP) 頻寬(利用跨機箱的Link Aggregation LACP, M-LAG) 。
另外每台Aggregation 交換器 Extreme Networks BD8810本身亦提供兩片管理暨switch fabric模組及電源模組備援以降低障礙風險，且重要元件皆可備援及熱插拔。
 
Access L3 交換器：
使用Extreme Networks Summit X460-24t，並使用2 port 10GE SX uplink設定為Link Aggregation LACP，對上層Aggregation switch而言則分別接到 Agg 01-1及 Agg 01-2 ，因 Agg 01-1及 Agg 01-2採用 M-LAG 技術對ACC(01~12)而言可視為同一組Link Aggregation LACP的對方端，如此一來 ACC(01~12)其2 port 10GE SX uplink 便可利用Link Aggregation LACP 技術來達到 20 GE 的uplink 頻寬及有Link Resiliency 的鍊路彈性連接及STP Free的好處，使整體網路架構能更穩定更易管理及無單一故障點的問題及困擾。另外每台Access L3 交換器Extreme Networks Summit X460-24t 具堆疊能力，且亦提供電源模組備援以降低障礙風險。
 
 
專案效益：

1. LAG 及M-LAG 功能輕鬆建構備援架構：

本專案提供的設備包含Aggregation Switch及Access Switch都具備標準的Layer 2及Layer 3功能，可以提供客戶Layer 2及Layer 3的介接能力。另外不管是Layer 2及Layer 3的介接都可以在單機上使用單一介面或LACP的port group，另外也可以支援跨設備的LACP(Multi-Switch Link Aggregation)能力及VRRP的功能，所以無論是Layer 2及Layer 3的介接，客戶都可以選擇是否要提供雙機及雙路徑的備援架構。
 

2. 設備上提供各樣的保護機制，確保網路架構的運作：

• Loop detection：可偵測是否有remote loop的狀況，如果偵測到loop 的現象可以產生告警外，也可以選擇關閉介面，並可設定介面關閉時間的長短。
• Flood Rate Limitation：限制broadcast，multicast及unknown destination的封包數量，如超過設置的限制，除提供限制外，亦可提供警告。
• CPU DoS Protect：系統可自動產生ACL(Access Control List)阻擋DoS封包。
• 同一個VLAN的不同介面可以關閉Unicast flooding或者port isolation或者提供unknown destination 限速(Flood Rate Limitation)的功能，以避免Unicast flooding 的狀況發生。
• 支援Reverse Path Forwarding(uRPF) 的功能：本專案提供的設備都具備scripting的能力，因此我們會透過scripting協助設定以檢查用戶端的來源IP是否為合法配置的網段。
• CLEAR-Flow：CLEAR-Flow的偵測機制搭配頻寬限制的功能，可協助快速發現內部DDOS來源的地點，並借助了限頻 (Rate limiting)的功能抑制攻擊的流量，減緩攻擊流量，避免影響客戶的服務。CLEAR-Flow可以偵測的DDOS攻擊類型包含：大量的傳送TCP SYN, TCP ACK, TCP RST_ACK, TCP RST, TCP ALL, TCP FIN_SYN, TCP_XMAS, UDP, ICMP request, ICMP unreachable, DNS, IGMP ...封包，一旦偵測到異常的流量後，交換器可以立即傳送SNMP trap或syslog給指定的系統，這些系統即可透過email或簡訊系統通知相關人員，另外交換器同時可以自動針對這個類型的流量進行頻寬限制的設定，例如將TCP SYN攻擊流量的來源介面上，所有TCP SYN封包限制在1Mbps的頻寬，以有效的降低DDOS的封包數目。

 

3. 流量管理統計：

本專案提供的設備都具備sFlow及IPFIX(IP Flow Information Export)能力，可彈性選擇搭配各種Flow Collector及Flow Analyzer，以提供L2或IP 的流量狀況的統計。
 

4. DCN 管理網路支援：

本案提供之相關設備Aggregation 交換器/ Access L3交換器等，均具有out-of-band Ethernet management port 有獨立之route instance for management network，可接入公司原本之 DCN 網路，並獨立於IDC客戶 data path 之外，不受客戶流量增加或異常而影響其管理功能。
Aggregation 交換器Extreme Networks BD8810 及 Access L3 交換器Extreme Networks Summit X460-24t均可設定管理員帳號及密碼，並支援RADIUS authentication / TACACS+ authentication認證機制，還可設定存取的 IP來源網段/網址及利用ACL 阻隔自in bound 的 access request ，只能從 DCN 經由設備之out-of-band Ethernet Management port 來進行管理，完全符合系統及管理安全之要求。