Einrichten von NetFlow/IPFIX zum Protokollieren von NAT-Übersetzungen unter Debian 12

Русский · English · Español · Français · Deutsch

Praktische Installationsanleitung ipt_NETFLOW mit Unterstützung für NAT-Ereignisse, Export von Broadcast-Ereignissen und Anpassung des Kollektors nfdump.

Alle IP-Adressen im Artikel sind bedingt. Öffentliche Adressen werden den Dokumentationsbereichen von RFC 5737 entnommen.

1. Einführung

Bei der Verwendung von Linux als NAT-Gateway, insbesondere für Internetprovider mit CGNAT, ist es notwendig, die Korrespondenz interner Adressen und Ports von Teilnehmern mit öffentlichen Adressen und Ports zu registrieren. Normaler NetFlow berücksichtigt Netzwerkflüsse, ermöglicht jedoch nicht immer die Wiederherstellung der NAT-Übersetzung. Zu diesem Zweck wird NAT Event Logging (NEL) basierend auf den Ereignissen des Conntrack-Subsystems verwendet.

Dieses Tutorial verwendet das Debian 12-Kernelmodul ipt_NETFLOW, NetFlow v9/IPFIX und Collector nfcapd/nfdump.

2. Funktionsweise der NAT-Ereignisprotokollierung

Beispiel für Erstanschluss:

10.10.1.100:50004 -> 198.51.100.20:443

Nach SNAT:

203.0.113.10:61025 -> 198.51.100.20:443

Zur Identifizierung des Abonnenten ist die Aufzeichnung der Korrespondenz erforderlich 203.0.113.10:61025 und 10.10.1.100:50004, Protokoll, Zieladresse und genauer Zeitpunkt des Ereignisses. Der Port nach NAT kann vom Original abweichen.

Linux speichert Verbindungs- und NAT-Daten im Netfilter Connection Tracking-Subsystem (conntrack). ipt_NETFLOW kann NAT-Mapping-Erstellungs- und -Löschereignisse empfangen und exportieren.

3. Architektur

Anschlüsse 10.10.0.0/16
        |
Debian 12 NAT gateway (192.0.2.1)
        | SNAT: 203.0.113.10
        +-----------------> Internet
        |
        +--- NetFlow/IPFIX UDP 555 ---> Collector 192.0.2.10
                                        nfcapd -> nfdump -> Archiv
-Komponente Zweck
Netfilter NAT und Paketfilterung
conntrack Verbindungsstatusabrechnung
ipt_NETFLOW Streams und NAT-Ereignisse exportieren
nfcapd NetFlow/IPFIX-Empfang
nfdump Analyse und Auslesen des Archivs

4. IPFIX-Felder für NAT

IE Name Bedeutung
4 protocolIdentifier -Protokoll
7 sourceTransportPort Quellport
8 sourceIPv4Address Quell-IPv4
11 destinationTransportPort Zielport
12 destinationIPv4Address IPv4-Ziel
225 postNATSourceIPv4Address Öffentliche IPv4 nach SNAT
227 postNAPTSourceTransportPort Port nach NAT
230 natEvent NAT-Ereignistyp

Es ist wichtig, die tatsächlich exportierte Vorlage zu überprüfen: Das Vorhandensein der Unterstützung für NAT-Ereignisse allein garantiert nicht das Vorhandensein aller IEs in einem Eintrag.

5. Debian 12 vorbereiten

uname -r
grep CONFIG_NF_CONNTRACK_EVENTS /boot/config-$(uname -r)
grep -E 'CONFIG_NF_NAT=|CONFIG_NF_CONNTRACK=' /boot/config-$(uname -r)
ls -l /lib/modules/$(uname -r)/build

Erwartete Eventunterstützung: CONFIG_NF_CONNTRACK_EVENTS=y (oder entsprechende Kernel-Konfiguration verfügbar). Tools installieren:

apt update
apt install -y git build-essential dkms pkg-config libxtables-dev linux-headers-$(uname -r)

Wenn die laufenden Kernel-Header bereits aus den aktuellen Repositories entfernt wurden, kann in den entsprechenden Paketen gesucht werden Debian Snapshot Archive. Die Header- und Kernversionen müssen übereinstimmen.

6. Erstellen von ipt_NETFLOW mit NAT-Ereignissen

Quellcode ipt_NETFLOW

cd /usr/src
git clone https://github.com/aabc/ipt-netflow.git
cd ipt-netflow
./configure --help

In der getesteten Konfiguration hat der Aufruf geholfen:

./configure --enable-natevents

In der abgebildeten Ausführung --enable-natevents bietet Unterstützung für NAT-Ereignisse. Überprüfen Sie die verfügbaren Schlüssel und das Build-Ergebnis für die ausgewählte Version.

make -j$(nproc)
make install
depmod -a

Im Fehlerfall DKMS tree already contains überprüfen Sie die registrierten Versionen und installierten Dateien:

dkms status
find /lib/modules/$(uname -r) -name 'ipt_NETFLOW.ko*'
modinfo -n ipt_NETFLOW

Löschen Sie nicht den gesamten DKMS-Baum ohne Überprüfung. Wenn ein Signaturfehler auftritt signing_key.pem, überprüfen Sie den Secure Boot-Modus und die Modulsignaturanforderungen.

Laden des Moduls:

modprobe ipt_NETFLOW
lsmod | grep ipt_NETFLOW
ls /proc/sys/net/netflow/
sysctl net.netflow.natevents

Kriterien für das Vorhandensein von NAT-Ereignisprotokollierung: Zoll
Der Parameter /proc/sys/net/netflow/ sollte erscheinen natevents. Wenn das Modul neu erstellt wurde, während es bereits geladen war, ist ein korrektes Neuladen des Moduls erforderlich. modinfo zeigt das Modul auf der Festplatte an, keine garantiert geladene Instanz.

7. Setup exportieren

Für NetFlow v9:

sysctl -w net.netflow.protocol=9
sysctl -w net.netflow.destination=192.0.2.10:555
sysctl -w net.netflow.natevents=1

Für IPFIX:

sysctl -w net.netflow.protocol=10

Prüfung:

sysctl net.netflow.protocol
sysctl net.netflow.destination
sysctl net.netflow.natevents

Konstante Parameter des Moduls in /etc/modprobe.d/ipt_NETFLOW.conf:

options ipt_NETFLOW destination=192.0.2.10:555 protocol=10 natevents=1

Sie werden beim nächsten Laden des Moduls wirksam.

8. Sind iptables-Regeln notwendig?

Für NAT Events separate Regel -j NETFLOW ist nicht erforderlich: Ereignisse kommen von conntrack. Wenn Sie auch Statistiken für reguläre Threads benötigen, können Sie Folgendes hinzufügen:

iptables -I FORWARD 1 -j NETFLOW
iptables -L FORWARD -nvx --line-numbers

Sollte nicht hinzugefügt werden NETFLOW in mehreren Ketten, ohne das Risiko einer erneuten Paketzählung einzuschätzen. Keine Notwendigkeit, etwas hinzuzufügen NETFLOW zur NAT-Tabelle, um NAT-Ereignisse zu empfangen.

9. Conntrack-Diagnose

apt install conntrack
conntrack -L -s 10.10.1.100
conntrack -E -o timestamp,extended
conntrack -E -s 10.10.1.100

Bedingte Notation:

tcp 6 431999 ESTABLISHED
src=10.10.1.100 dst=198.51.100.20 sport=50004 dport=443
src=198.51.100.20 dst=203.0.113.10 sport=443 dport=61025

Die umgekehrte Richtung zeigt die öffentliche Adresse und den zugewiesenen Port.

10. Statistik ipt_NETFLOW

cat /proc/net/stat/ipt_netflow
watch -n 1 cat /proc/net/stat/ipt_netflow

Statistiken enthalten je nach Version NAT-Ereigniszähler (start, stop), Export- und Fehlerparameter. Durch Erhöhen der Zähler wird bestätigt, dass das Modul Ereignisse verarbeitet, aber nicht alle Datensätze an den Collector übermittelt hat.

11. Nfdump 1.7.x installieren

nfdump-Quellcode

apt update
apt install -y git build-essential autoconf automake libtool pkg-config flex bison libbz2-dev zlib1g-dev liblz4-dev
cd /usr/local/src
git clone https://github.com/phaag/nfdump.git
cd nfdump
git tag --list '*1.7*'

Wählen Sie für ein funktionierendes System ein verifiziertes Tag aus und legen Sie es in einer Variablen fest NFDUMP_TAG.

: "${NFDUMP_TAG:?Set NFDUMP_TAG to a verified release tag}"
git checkout --detach "$NFDUMP_TAG"
./autogen.sh
./configure
make -j$(nproc)
make install
ldconfig
/usr/local/bin/nfdump -V
/usr/local/bin/nfcapd -V

Wenn das Programm nicht findet libnfdump*.so, prüfen ldd /usr/local/bin/nfdump, Bibliothekspfad und Konfiguration ldconfig.

12. Starten des Kollektors

mkdir -p /mnt/flow/nat
/usr/local/bin/nfcapd -w /mnt/flow/nat -p 555 -t 60

Für zwei Exporteure mit Division nach Katalogen (überprüfen Sie die Syntax unter nfcapd -h Ihre Version):

/usr/local/bin/nfcapd -p 555 -t 60 -S 1 \
  -n gw1,192.0.2.1,/mnt/flow/1 \
  -n gw2,192.0.2.2,/mnt/flow/2

13. Empfangskontrolle und Dekodierung

tcpdump -ni any udp port 555
find /mnt/flow/nat -type f -name 'nfcapd.*'
/usr/local/bin/nfdump -R /mnt/flow/nat -o raw
/usr/local/bin/nfdump -R /mnt/flow/nat -o 'fmt:%ts %sa:%sp -> %da:%dp %pr'

Letzteres Format ist hauptsächlich für reguläre Streams gedacht. NAT-Ereignisse können anders aussehen.

Um die echte IPFIX-Vorlage zu überprüfen, erfassen Sie die Pakete:

tcpdump -ni any -s0 -w /tmp/nat-ipfix.pcap udp port 555
tshark -r /tmp/nat-ipfix.pcap -V

Überprüfen Sie IE 4, 7, 8, 11, 12, 225, 227, 230 sowie echte Datensätze. Beispiel für logischen Beitragsinhalt:

Protocol: TCP
Original Source: 10.10.1.100:50004
Destination: 198.51.100.20:443
Translated Source: 203.0.113.10:61025
NAT Event: CREATE

Dies ist eine Illustration, kein wörtliches Ausgabeformat nfdump.

14. Häufige Fehler

Symptom Was zu überprüfen ist
Nr natevents -Flags konfigurieren, geladene Modulversion, Kernel-Ereignisunterstützung
CONFIG_NF_NAT_NEEDED... No Dies ist ein Test eines alten Makros, kein Beweis für das Fehlen von NAT
DKMS tree already contains DKMS-registrierter Assemblykonflikt
-Fehler signing_key.pem -Modulsignierung und sicherer Start
UDP wird nicht empfangen Routen, Firewall, destination, Exporteurzähler
UDP wird empfangen, es sind jedoch keine NAT-Einträge vorhanden natevents, Ereigniszähler, IPFIX-Vorlage, Dekodierung

Überprüfung der Route zum Kollektor:

ip route get 192.0.2.10

Sie sollten die Definition alter Kernel-Makros nicht erzwingen, ohne die Quellen und die API-Kompatibilität zu überprüfen.

15. Leistung

Die Protokollierungslast wird durch die Anzahl der erstellten NAT-Zuordnungen bestimmt und nicht nur durch die Geschwindigkeit des Datenverkehrs. Bei 5.000 Erstellungen und 5.000 Löschungen pro Sekunde ergeben sich 10.000 Ereignisse/s, also 864 Millionen Ereignisse pro Tag unter Dauerlast.

Empfehlungen:

  1. Verwenden Sie einen separaten NAT-Ereigniskollektor.
  2. Überwachen Sie UDP-Verlust und Pufferüberlauf.
  3. Synchronisieren Sie Gateway- und Collector-Uhren.
  4. Kontrollieren Sie den Speicherplatz und die Speicherdauer.
  5. Beschränken Sie den Zugriff auf Abonnentenaktivitätsprotokolle.
  6. Überprüfen Sie den Betrieb nach der Aktualisierung des Kernels und dem Neustart.
  7. Überprüfen Sie unter Last die Vollständigkeit der Datensätze und die Richtigkeit der IPFIX-Vorlage.

16. Automatischer Start

-Datei /etc/modules-load.d/ipt_NETFLOW.conf:

ipt_NETFLOW

-Datei /etc/modprobe.d/ipt_NETFLOW.conf:

options ipt_NETFLOW destination=192.0.2.10:555 protocol=10 natevents=1

Beispiel eines Systemd-Collector-Dienstes /etc/systemd/system/nfcapd-nat.service:

[Unit]
Description=NetFlow/IPFIX Collector
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
ExecStart=/usr/local/bin/nfcapd -w /mnt/flow/nat -p 555 -t 60
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target
systemctl daemon-reload
systemctl enable --now nfcapd-nat
systemctl status nfcapd-nat
journalctl -u nfcapd-nat -f

17. Checkliste

Fazit
Mit

ipt_NETFLOW können Sie NAT-Ereignisse direkt vom Linux-Gateway exportieren, ohne den gesamten Datenverkehr zu spiegeln. Es sind jedoch drei Bereitschaftsstufen zu unterscheiden: Das Modul ist geladen; NAT-Ereignisse werden generiert; Der Kollektor akzeptiert und dekodiert die erforderlichen Felder korrekt. Um NAT vollständig zu berücksichtigen, müssen Sie alle drei Ebenen und die Vollständigkeit der Ereignisse unter Last überprüfen.

Quellen