導言
骨干網流量監控系統主要是針對省級網絡運營商規模的網絡進行監控，流量一般都在100G以上。網絡監控系統的架構與傳統的IDS類似，都是通過分光器或者專用流量回流設備將流量鏡像到監控系統，由于流量很大，所以需要配置專門的一級分流設備和二級流量負載均衡設備來進行流量的分流再接到每臺處理設備進行處理。這對單臺處理機的計算能力和網絡IO能力都提出了很高的要求。為此，專門研發出Flowfirm解決接入和分流的問題，Netfirm、videospeed等多種硬件設備，來提升處理機的網絡流量處理能力，而隨著這些手段的采用，也給傳統網監系統的建設帶了新的變化。
方案架構
骨干網流量監控系統方案分三個層次：前端一級分流設備將鏡像進行處理，并根據一定原則均衡的分流到各個服務器；前端處理平臺，配置Netfirm的前端處理探針對流量進行處理，為考慮到未來業務的擴展，前端探針將處理不了的流量轉發到后端；前端二級處理平臺，配置高速協處理卡的網絡處理一體機對這些數據進行更深入的挖掘和分析。同時分流設備具有流量復制功能，能夠將特定流量復制并傳輸到其他地方的監控網絡使用。
系統架構如下：
方案特色
Flowfirm - S流量接入分流設備
骨干網中的流量有很多種類，有效的數據包、無效的數據包等，如果直接交給服務器處理平臺進行處理，不僅增加服務器處理的壓力，而且增加整個鏈路的壓力，同時對軟件業務系統的包處理和分類能力是一個很大考驗。而Flowfirm - S正式在這種背景下，將骨干網的大流量進行匯聚、初步分析和處理，對業務“關心”的流量甄別并交給后續處理系統。
Flowfirm - S是基于國際開放電信設備標準ATCA規范開發的，針對通信運營商、各級政府安全單位需求的專用電信級綜合流量設備，主要用于各級POS/SDH及以太網線路進行流量的采集、過濾、匯聚分流以及其它復雜的流量規劃功能。
Flowfirm - S的主要功能包括：
1) 流量接入：支持各種接口子卡，支持OC3，OC12，OC48，OC192，GE，XE的單模，多模光纖鏈路，可接入40G POS、10G POS、10GE、2.5G POS、622M POS、155M POS、GE/FE多種流量，可支持混合接入、高密度接入，單板接入密度達到1路40G 或4路10G或16路2.5G。支持單纖的收和發。
2) 交換協議支持：主要針對POS接口，支持基于SDH/SONET的以太，PPP和CHDLC封裝的報文；支持MPLS封裝，VLAN封裝的IPV4/IPV6格式報文，并可剝離；通過解析HDLC、PPP、MPLS等封裝，提取IP數據包，再進行后續處理。兼容各種底層封裝參數。
3) ACL（數據包匹配分類）：支持基于五元組的靈活和掩碼規則；支持基于載荷的指定偏移的帶掩碼數據匹配擴展ACL功能（DPI功能）；同時支持IPV4和IPV6功能；支持用戶定義的六種靈活五元組規則200萬條（IPV4），100萬條（IPV6）；支持掩碼規則60萬（IPV4），20萬（IPV6）；支持不同規則種類間的32種優先級；支持標準ACL和擴展ACL之間的綁定；分類規則按規則集方式進行管理，用戶可創建并設置多個規則集，并將規則集綁定到多個接口之上。
4) 流量過濾、匯聚、負載均衡分發：對命中ACL規則的報文，支持丟棄，透傳，分流轉發，流量復制，報文截斷，采樣分流；報文的分流支持多種負載分擔算法（輪詢、Hash、五元組等算法）；分流組內節點可基于硬件端口，也可以基于后端服務器IP地址；動態監測后端服務器狀態，或者端口狀態，動態更新分流組，并盡可能保證同源同宿；支持32個分流組，組內最多支持256個節點；輸出報文的源MAC支持信息攜帶功能。
5) 流量復制：支持同一規則的流量復制：即為符合某條規則的流量指定復制方式，在不影響這條流量的分發策略的前提下，可以將流量復制到另一個或一批GE/10GE口輸出。
6) 數據包再封裝：對處理的IP包進行最后的符合標準以太協議的再封裝，并可攜帶輸入接口等信息；支持對輸出數據包進行截短、提取有用頭部。
7) 網管功能：支持SNMP、Telnet和ssh等網管功能。
圖 Flowfirm - S分流設備
Flowfirm - S具有以下特性：
1) 適應性強
針對低鏈路密度的監控提供高性價比的單板或雙板方案，針對高鏈路密度的應用提供基于背板交換的大容量解決方案。
2) 電信級標準
基于電信級開放平臺的最高標準ATCA，提供基于標準的高可靠性產品，具有優秀的芯片/刀片異構能力，可按需配置網絡處理刀片、通用計算刀片、各種專業業務刀片（如DSP語音通信刀片等）。保護用戶投資。
3) 全硬件轉發
多引擎流水線的硬件處理流程保證數據的線速轉發。包處理流水線每一個部分都有多個引擎工作。
4) 應用多樣性
適應高復雜度的過濾匹配和應用處理需求，面向不斷復雜化的新興網絡應用。
5) 高性價比
專門優化設計的分流設備。能夠根據用戶實際的需求和網絡環境進行功能定制化。
6) 數據處理功能
包含多種接口的流量接入、協議轉換、數據包匹配分類、流量過濾、流量匯聚分發和負載均衡、流量復制、數據包再封裝等。
7) 支持設備級聯擴展
突破單設備系統的機箱槽位容量，并可按需擴展級聯，為支持未來網絡發展提供極大的空間。
圖 Flowfirm - S設備級聯
利用Netfirm提高單機處理能力
Netfirm是專門針對網絡流量監控項目而研發的一塊高性能智能網絡加速卡。Netfirm基于FPGA實現，內置4G大內存做數據處理，利用Netfirm可以實現流量高速接入、卸載cpu負載等功能，是在當前越來越大的網絡流量的情況下，解決高網絡流量帶來的眾多問題的利器。
圖Netfirm智能加速卡
Netfirm給網監系統帶來的優勢包括：
1）0% CPU消耗，100% 數據包捕獲
普通的網卡在接收數據過程中需要耗費大量的cpu資源，并且隨著網絡流量的增大，這種消耗變得非常可觀以至于無法100%將網絡數據獲取下來，對業務系統的監控效果造成影響。由于這個原因，傳統的網監應用的單機處理能力只能做到500Mbps左右。Netfirm智能加速卡將整個數據接收過程由硬件自動實現，從而在不消耗任何CPU資源的同時，保證了數據完全獲取，即使處理10Gbps的流量也沒有任何的丟包。
2）分流技術充分發揮每個CPU的計算能力
隨著CPU技術從提高主頻轉向多核技術，如何利用好這么多的CPU核成為網監系統需要解決的重要問題。Netfirm針對網監系統的特點，將接收的流量根據源目的IP信息進行分流，使得處理負載在多個CPU核間進行均衡，從而充分發揮CPU多核的處理能力。
3）靈活豐富的過濾規則進一步降低CPU負載
提高單機處理能力的另一個思路是將簡單不需要處理的流量過濾掉，這樣就可以將主機資源全部集中到有效流量的處理上來。基于這一思路，Netfirm可以配置200K的IP過濾規則，并配置針對不同鏈接進行丟棄、轉發、標記等多種動作，從而進一步提高單機處理能力。
4）支持多個應用無縫融合，提高資源利用率，便于未來應用的擴展
在網監系統建設的初期，基本都是采用一套應用一套硬件的建設方法。但隨著系統的逐漸成熟，用戶需要更多的功能更多的應用時，再想使用這種方法時，就會遇到機房空間、硬件采購成本等一系列問題。最好的實現方式是在一套硬件上運行多種不同的應用業務，并且二者間不相互影響，這在傳統的網監系統中是無法實現的。但Netfirm則從設計之初就考慮到網監系統業務擴展的可能性，支持多個不同應用同時從Netfirm取數據，并保證其間的隔離性，從而大大降低了網監系統業務擴展中的成本。
5）基于通用接口和專用接口的API，便于應用的移植
目前很多網監系統的應用在研發過程中是以普通網卡為基礎開發的，考慮到這一點，Netfirm支持與普通網卡一樣的使用方式，并且提供相同的訪問接口，只有在需要使用Netfirm附加功能時才需要使用專用接口，從而大大縮短了網監應用的移植周期。
基于Videospeed的二級數據處理
Videospeed協處理卡是針對傳統網監系統中難以處理的諸如音視頻流量等非文本數據的監控所研發出的一塊基于眾核技術的協處理卡。該卡可以提供高速并行處理能力，可以支持多路音視頻碼流的編解碼處理，從而對過去普通網監系統處理不了的音視頻流量進行處理。 也可以作為通用計算加速平臺，用于其它特定流量的深度數據處理。
圖 Videospeed加速卡
Videospeed協處理卡具有以下特性：
1) 基于眾核技術：采用Tilera眾核處理器，大大簡化系統架構， 成本，功耗及PCB板面積，可以根據單核處理能力，精確地分配資源以實現所規劃的功能，達到優化性能和節省功耗。
2) 處理能力強大：完成一定流量音視頻混合流的解碼，目前能夠支持400MB以上的流量
3) 支持多種主流視頻格式：主流的視頻格式 H264，H263，Mpeg1/2，Mpeg4，vp6，flv，asf，avi等
4) 支持矢量運算：某些矢量運算等函數運算加速
高性能網絡處理一體機
高性能網絡處理一體機可以將骨干網監控方案中的流量處理探針和二級處理平臺集成為一臺一體機，單臺一體機提供10片雙路多核處理機的計算能力，配置6片Netfirm，可以支持24根GE，或者6根10GE流量的監控。配置4片videospeed協處理卡，可以進行這些流量的二級處理。也可以全部配置Netfirm進行10GE流量的處理，最多提供單臺一體機100G流量的處理能力，具有極高的性價比。
