ネットワーク機器がエクスポートするフローデータの形式はベンダーによって異なります。標準のNetFlow/IPFIXにほぼ準拠しているベンダーもあれば、独自のInformation Elements（IE）を追加してアプリケーション名やユーザー情報、セキュリティ判定結果などベンダー固有の詳細情報を公開しているベンダーもあり、後者は収集側（コレクター側）で追加設定が必要になります。
この記事では、日本で広く使われているファイアウォールベンダー（Palo Alto Networks）を例に、nProbeでの独自フロー収集方法を解説しています。
nProbeと独自情報要素
nProbe Enterpriseでは--load-custom-fieldsオプションを使い、ベンダー固有のフィールドID・名前・型・（該当する場合は）標準フィールドとの対応関係を定義した設定ファイルを実行時に読み込めます。各エントリには以下が含まれます：
- フィールド名（エクスポートテンプレートや出力先での表示名）
- 標準エイリアス（対応する標準フィールドがあれば、なければNONE）
- PEN（ベンダーのPrivate Enterprise Number、標準フィールドは0）
- フィールドID
- 長さ（バイト数）
- フォーマット（出力形式）
主要ベンダー向けの設定ファイルはntopのGitHubリポジトリで入手するとができます。以下は、Palo Altoの例です。
#APP_ID NONE 25461 56701 4 dump_as_uint
APP_NAME NONE 25461 56701 32 dump_as_ascii
USER_NAME NONE 25461 56702 64 dump_as_ascii
POST_NAT_SRC_IPV6_ADDR NONE 25461 281 16 dump_as_ipv6_address
POST_NAT_DST_IPV6_ADDR NONE 25461 282 16 dump_as_ipv6_address
ENTREPRISE_NUMBER NONE 25461 346 4 dump_as_uintnProbeからntopng・ClickHouseへ
独自IE定義が必要なPalo Altoでも、収集側の仕組みは同じで、nProbeがフローを正規化してntopngに転送します。Palo Alto用の設定ファイルを読み込ませた上で、次のようなコマンドでZMQ経由でntopngにアプリ名・ユーザー名を送信する例を紹介します。
nprobe --load-custom-fields paloalto_custom_fields.txt -3 2055 --zmq tcp://127.0.0.1:1234 -T "@NTOPNG@ %APP_NAME %USER_NAME"ntopng側では特別な設定は不要で、nProbeがZMQ経由でマッピング情報を送るため、ntopngは自動的にフィールド名・形式を認識します。フローはntopngのGUIでライブ表示されるだけでなく、ClickHouseにも保存され、履歴データとしてこれらの独自フィールドで検索できるようになります。
ntopng側の起動は、nprobeからZeroMQで受信するいつも通りの設定で起動するだけです。
ntopng -i tcp://127.0.0.1:1234 -F clickhouse以下に面白い例をご紹介します。Palo AltoのDPIでは識別できなかったアプリケーションをntopのnDPIではTeamViewerで分析できている画面となります。
なお、これらの追加フィールドについても、過去のフロー（Historical Flows）を検索できます。nProbeが初めてntopngに接続すると、nProbeはフローテンプレートと、Information Element ID（elementId）とその文字列名とのマッピング情報（カスタムフィールドファイルから読み込まれたもの）をntopngへ送信します。これにより、IPアドレスやポート番号などの標準フィールドと同じように、これらのカスタムフィールドを条件として過去のフローを検索できます。
まとめ
Palo Altoのように独自フィールド（プロプライエタリフィールド）を使用するベンダーの場合、nProbeの --load-custom-fields を使用して、それらのフィールドを定義する必要があります。
いったん収集されると、標準フィールドと独自フィールドのどちらも、同じ処理経路でntopngおよびClickHouseへ送られます。そのため情報が失われることなく、すべてのフローデータを一元的に検索・分析できます。
ntopのお問い合わせ
ntop社製品にご興味のある方は、以下リンクよりいつでも弊社までお問い合わせください。
