【ntopng and nProbeによる高速トラフィック分析入門】第12章 大規模環境のトラフィック監視

第12章 大規模環境のトラフィック監視

本章では、トラフィックが大量に発生する環境におけるntop製品の利用にフォーカスしたいと思います。
大量のトラフィックを処理するためにはどのようにntop製品を配置すればよいか？また、処理性能を改善するためにどのようなテクニックがあるか？をご紹介します。

ntopng,nProbeが大量にトラフィックを処理できるようにする方式を知っていれば、厳しい顧客要件でも確実にトラフィックを収集し、ネットワークの見える化環境を構築することができます。

文：ジュピターテクノロジー　よしひろ

12.1 PF_RING ZCとは

PF_RING ZC(Zero Copy)は、10Gbpsパケット処理(RX,TX両方)を実現する柔軟なパケット処理フレームワークです。

PF_RING ZCは、NICから受信したパケットをカーネルバイパスして処理することができます。また、カーネルモードでも動作させることができます。

ZCでカーネルをバイパスした場合、通常のネットワークは利用できなくなることに注意してください。
ZCは高速にトラフィックを収集・処理するためだけに利用することができます。

つまり、10Gpbsトラフィックレコーダーを実現したい要件やスイッチ/ルーターの10Gbps ポートにntopngサーバーのNICを直接接続し、トラフィックの可視化を実現したいといった場合に本モジュールを利用することができます。

12.2 PF_RING ZCのインストールと設定

PF_RING ZCのインストールと設定は以下の通りです。

$sudo pf_ringcfg --configure-driver ixgbe --rss-queues 1  ※NICがixgbeの場合
$sudo cp -p B49691A3XXX /etc/pf_ring/     ※ZCライセンス#1の配置
$sudo cp -p B49691A3XXX /etc/pf_ring/     ※ZCライセンス#2の配置
$sudo systemctl restart pf_ring

以下のコマンドを実行し、ixgbeドライバ行がRSS=1となり、かつ[Running ZC]と表示されれば設定は成功です。
※RSS(RECEIVE-SIDE SCALING)とは、複数のCPUでインバウンドトラフィックを処理するネットワークドライバのテクノロジです。

ntop@ntopng:/etc/pf_ring/zc/ixgbe$ sudo pf_ringcfg --list-interfaces
Name: enp3s0f1             Driver: ixgbe      RSS:     1    [Running ZC]
Name: enp3s0f0             Driver: ixgbe      RSS:     1    [Running ZC]
Name: enp1s0f0             Driver: igb        RSS:     6    [Supported by ZC]
Name: enp1s0f1             Driver: igb        RSS:     6    [Supported by ZC]
Name: eno1                 Driver: tg3        RSS:     1
Name: eno2                 Driver: tg3        RSS:     1

12.3 ZCを活用したntopng設定(n2disk有効)

前節でご紹介した通り、ZCを利用しかつトラフィックレコーディングn2diskを有効にする場合は、RSS=1に設定する必要があります。

また、ntop製品のアーキテクチャも大きく変更となり、n2diskがトラフィック情報をNICから吸い上げてntopngに伝達する構成となります。

図12-1は、今回のアーキテクチャを表す図となります。

図12-1のアーキテクチャにする場合は、ntopng設定変更が必要です。

$ sudo vim /etc/ntopng/ntopng.conf
～snip～
-i=tcp://*:5556c 
$sudo systemctl restart ntopng

次にn2diskの設定を行います。

--interface=zc:enp3s0f0
--dump-directory=/storage/n2disk/pcap
--timeline-dir=/storage/n2disk/timeline
--disk-limit=80%
--max-file-len=1000
--buffer-len=4000
--max-file-duration=60
--index
--snaplen=1536
--writer-cpu-affinity=0
--reader-cpu-affinity=1
--compressor-cpu-affinity=2,3
--index-on-compressor-threads
-u=ntopng
--zmq=tcp://127.0.0.1:5556
--zmq-probe-mode
--zmq-export-flows

$sudo systemctl restart n2disk@enp3s0f0

設定が完了すると、図12-1構成でntopngとn2diskが動作し、図12-2のようにntopng WEB GUIに表示されるインターフェイスメニューが、”tcp://*:5556c”となります。

こちらで、ZC, n2diskと連携したトラフィック分析環境の構築は完了です。

12.4 RSSとZCを活用したntopng設定

“12.3 ZCを活用したntopng設定(n2disk有効)”節では、RSS=1固定が条件でした。
n2diskと連携しない(トラフィックレコーディング機能を利用しない)選択をした場合、RSSとZCを組み合わせてトラフィック処理を高速化することができます。

先ずは、RSS設定変更です。
以下の例では、RSS=6に設定しています。

$ sudo pf_ringcfg --configure-driver ixgbe --rss-queues 6
[>] Configuring PF_RING
[>] Configuring hugepages
[>] Detecting interfaces using ixgbe
enp3s0f1
enp3s0f0
[>] Configuring ixgbe driver with 6 RSS queues
[>] Restarting PF_RING
[>] Configuration completed

次にRSS=6に対応したntopngの設定変更を実施します。

$ sudo vim /etc/ntopng/ntopng.conf
～snip～
-i=zc:enp3s0f0@ 
-i=zc:enp3s0f0@1 
-i=zc:enp3s0f0@2 
-i=zc:enp3s0f0@3 
-i=zc:enp3s0f0@4 
-i=zc:enp3s0f0@5 
-i=view:all
:wq!
$systemctl restart ntopng

図12-3の”view:all”をクリックするとRSS=6で分割してトラフィック収集している情報をまとめて表示することができます。

RSSとZCを併用すれば、10Gbpsまでのトラフィック分析が可能となります。

10Gbpsを超える場合は、nProbe centoと併用する必要があります。
nProbe centoとの連携に関しては、別の機会にご紹介いたします。

如何でしょうか？2021年11月現在、10Gbpsの世界は身近となっております。
今までにあった1Gbpsトラフィック監視だけではなく10Gbpsもしくはそれ以上のトラフィックをntop製品が処理できるといったことが本記事をご一読いただければ理解できたと思います。

次章13章（最終章）はこちらをご覧ください。

お問い合わせ・製品情報

本記事で扱っているntop社のnProbe, ntopng製品にご興味のある方は、以下のリンクから弊社までお問い合わせください！