Настройка NetFlow/IPFIX для регистрации NAT-трансляций на Debian 12

Русский · English · Español · Français · Deutsch

Практическое руководство по установке ipt_NETFLOW с поддержкой NAT Events, экспорту событий трансляции и настройке коллектора nfdump.

Все IP-адреса в статье условные. Публичные адреса взяты из документационных диапазонов RFC 5737.

1. Введение

При использовании Linux в качестве NAT-шлюза, особенно у интернет-провайдеров с CGNAT, необходимо регистрировать соответствие внутренних адресов и портов абонентов публичным адресам и портам. Обычный NetFlow учитывает сетевые потоки, но не всегда позволяет восстановить NAT-трансляцию. Для этого служит NAT Event Logging (NEL) на основе событий подсистемы conntrack.

В руководстве используются Debian 12, модуль ядра ipt_NETFLOW, NetFlow v9/IPFIX и коллектор nfcapd/nfdump.

2. Как работает NAT Event Logging

Пример исходного соединения:

10.10.1.100:50004 -> 198.51.100.20:443

После SNAT:

203.0.113.10:61025 -> 198.51.100.20:443

Для идентификации абонента необходимо зафиксировать соответствие 203.0.113.10:61025 и 10.10.1.100:50004, протокол, адрес назначения и точное время события. Порт после NAT может отличаться от исходного.

Linux хранит данные о соединениях и NAT в подсистеме Netfilter Connection Tracking (conntrack). ipt_NETFLOW может получать события создания и удаления NAT-маппингов и экспортировать их.

3. Архитектура

Абоненты 10.10.0.0/16
        |
Debian 12 NAT gateway (192.0.2.1)
        | SNAT: 203.0.113.10
        +-----------------> Интернет
        |
        +--- NetFlow/IPFIX UDP 555 ---> Collector 192.0.2.10
                                        nfcapd -> nfdump -> архив
Компонент Назначение
Netfilter NAT и фильтрация пакетов
conntrack Учёт состояния соединений
ipt_NETFLOW Экспорт потоков и NAT Events
nfcapd Приём NetFlow/IPFIX
nfdump Анализ и чтение архива

4. Поля IPFIX для NAT

IE Название Значение
4 protocolIdentifier Протокол
7 sourceTransportPort Исходный порт
8 sourceIPv4Address Исходный IPv4
11 destinationTransportPort Порт назначения
12 destinationIPv4Address IPv4 назначения
225 postNATSourceIPv4Address Публичный IPv4 после SNAT
227 postNAPTSourceTransportPort Порт после NAT
230 natEvent Тип события NAT

Важно проверять фактический экспортируемый шаблон: наличие поддержки NAT Events само по себе не гарантирует присутствия всех IE в одной записи.

5. Подготовка Debian 12

uname -r
grep CONFIG_NF_CONNTRACK_EVENTS /boot/config-$(uname -r)
grep -E 'CONFIG_NF_NAT=|CONFIG_NF_CONNTRACK=' /boot/config-$(uname -r)
ls -l /lib/modules/$(uname -r)/build

Ожидаемая поддержка событий: CONFIG_NF_CONNTRACK_EVENTS=y (или доступная соответствующая конфигурация ядра). Устанавливаем инструменты:

apt update
apt install -y git build-essential dkms pkg-config libxtables-dev linux-headers-$(uname -r)

Если заголовки запущенного ядра уже удалены из текущих репозиториев, соответствующие пакеты можно искать в Debian Snapshot Archive. Версии заголовков и ядра должны совпадать.

6. Сборка ipt_NETFLOW с NAT Events

Исходный код ipt_NETFLOW

cd /usr/src
git clone https://github.com/aabc/ipt-netflow.git
cd ipt-netflow
./configure --help

В проверенной конфигурации помог вызов:

./configure --enable-natevents

В показанной версии --enable-natevents включает поддержку NAT Events. Проверяйте доступные ключи и результат сборки для выбранной версии.

make -j$(nproc)
make install
depmod -a

При ошибке DKMS tree already contains проверьте зарегистрированные версии и установленные файлы:

dkms status
find /lib/modules/$(uname -r) -name 'ipt_NETFLOW.ko*'
modinfo -n ipt_NETFLOW

Не удаляйте всё дерево DKMS без проверки. Если появляется ошибка подписи signing_key.pem, проверьте режим Secure Boot и требования к подписи модулей.

Загружаем модуль:

modprobe ipt_NETFLOW
lsmod | grep ipt_NETFLOW
ls /proc/sys/net/netflow/
sysctl net.netflow.natevents

Критерий наличия NAT Event Logging: в /proc/sys/net/netflow/ должен появиться параметр natevents. Если модуль пересобирался уже загруженным, потребуется корректная перезагрузка модуля. modinfo показывает модуль на диске, а не гарантированно загруженный экземпляр.

7. Настройка экспорта

Для NetFlow v9:

sysctl -w net.netflow.protocol=9
sysctl -w net.netflow.destination=192.0.2.10:555
sysctl -w net.netflow.natevents=1

Для IPFIX:

sysctl -w net.netflow.protocol=10

Проверка:

sysctl net.netflow.protocol
sysctl net.netflow.destination
sysctl net.netflow.natevents

Постоянные параметры модуля в /etc/modprobe.d/ipt_NETFLOW.conf:

options ipt_NETFLOW destination=192.0.2.10:555 protocol=10 natevents=1

Они вступят в силу при следующей загрузке модуля.

8. Нужны ли правила iptables?

Для NAT Events отдельное правило -j NETFLOW не требуется: события поступают от conntrack. Если нужна также статистика обычных потоков, можно добавить:

iptables -I FORWARD 1 -j NETFLOW
iptables -L FORWARD -nvx --line-numbers

Не следует добавлять NETFLOW в несколько цепочек без оценки риска повторного учёта пакетов. Не требуется добавлять NETFLOW в таблицу NAT для получения NAT Events.

9. Диагностика conntrack

apt install conntrack
conntrack -L -s 10.10.1.100
conntrack -E -o timestamp,extended
conntrack -E -s 10.10.1.100

Условная запись:

tcp 6 431999 ESTABLISHED
src=10.10.1.100 dst=198.51.100.20 sport=50004 dport=443
src=198.51.100.20 dst=203.0.113.10 sport=443 dport=61025

Обратное направление показывает публичный адрес и назначенный порт.

10. Статистика ipt_NETFLOW

cat /proc/net/stat/ipt_netflow
watch -n 1 cat /proc/net/stat/ipt_netflow

В зависимости от версии статистика содержит счётчики NAT Events (start, stop), параметры экспорта и ошибок. Увеличение счётчиков подтверждает обработку событий модулем, но не доставку всех записей коллектору.

11. Установка nfdump 1.7.x

Исходный код nfdump

apt update
apt install -y git build-essential autoconf automake libtool pkg-config flex bison libbz2-dev zlib1g-dev liblz4-dev
cd /usr/local/src
git clone https://github.com/phaag/nfdump.git
cd nfdump
git tag --list '*1.7*'

Для рабочей системы выберите проверенный тег и задайте его в переменной NFDUMP_TAG.

: "${NFDUMP_TAG:?Set NFDUMP_TAG to a verified release tag}"
git checkout --detach "$NFDUMP_TAG"
./autogen.sh
./configure
make -j$(nproc)
make install
ldconfig
/usr/local/bin/nfdump -V
/usr/local/bin/nfcapd -V

Если программа не находит libnfdump*.so, проверьте ldd /usr/local/bin/nfdump, путь к библиотеке и конфигурацию ldconfig.

12. Запуск коллектора

mkdir -p /mnt/flow/nat
/usr/local/bin/nfcapd -w /mnt/flow/nat -p 555 -t 60

Для двух экспортеров с разделением по каталогам (синтаксис проверяйте по nfcapd -h вашей версии):

/usr/local/bin/nfcapd -p 555 -t 60 -S 1 \
  -n gw1,192.0.2.1,/mnt/flow/1 \
  -n gw2,192.0.2.2,/mnt/flow/2

13. Проверка поступления и декодирования

tcpdump -ni any udp port 555
find /mnt/flow/nat -type f -name 'nfcapd.*'
/usr/local/bin/nfdump -R /mnt/flow/nat -o raw
/usr/local/bin/nfdump -R /mnt/flow/nat -o 'fmt:%ts %sa:%sp -> %da:%dp %pr'

Последний формат предназначен прежде всего для обычных потоков. NAT Events могут отображаться иначе.

Для проверки реального IPFIX Template захватите пакеты:

tcpdump -ni any -s0 -w /tmp/nat-ipfix.pcap udp port 555
tshark -r /tmp/nat-ipfix.pcap -V

Проверьте IE 4, 7, 8, 11, 12, 225, 227, 230, а также реальные Data Records. Пример логического содержимого записи:

Protocol: TCP
Original Source: 10.10.1.100:50004
Destination: 198.51.100.20:443
Translated Source: 203.0.113.10:61025
NAT Event: CREATE

Это иллюстрация, а не буквальный формат вывода nfdump.

14. Типичные ошибки

Симптом Что проверить
Нет natevents Флаги configure, версию загруженного модуля, поддержку событий ядра
CONFIG_NF_NAT_NEEDED... No Это проверка старого макроса, не доказательство отсутствия NAT
DKMS tree already contains Конфликт зарегистрированных сборок DKMS
Ошибка signing_key.pem Подпись модуля и Secure Boot
UDP не поступает Маршруты, firewall, destination, счётчики экспортера
UDP поступает, но NAT-записей нет natevents, счётчики событий, IPFIX Template, декодирование

Проверка маршрута до коллектора:

ip route get 192.0.2.10

Не стоит принудительно определять старые макросы ядра без проверки исходников и совместимости API.

15. Производительность

Нагрузка на журналирование определяется количеством создаваемых NAT-маппингов, а не только скоростью трафика. При 5 000 созданий и 5 000 удалений в секунду будет 10 000 событий/с, то есть 864 млн событий в сутки при постоянной нагрузке.

Рекомендации:

  1. Используйте отдельный коллектор NAT-событий.
  2. Контролируйте потери UDP и переполнение буферов.
  3. Синхронизируйте часы шлюзов и коллектора.
  4. Контролируйте дисковое пространство и срок хранения.
  5. Ограничивайте доступ к журналам абонентской активности.
  6. Проверяйте работу после обновления ядра и перезагрузки.
  7. Под нагрузкой проверяйте полноту записей и корректность IPFIX Template.

16. Автоматический запуск

Файл /etc/modules-load.d/ipt_NETFLOW.conf:

ipt_NETFLOW

Файл /etc/modprobe.d/ipt_NETFLOW.conf:

options ipt_NETFLOW destination=192.0.2.10:555 protocol=10 natevents=1

Пример systemd-сервиса коллектора /etc/systemd/system/nfcapd-nat.service:

[Unit]
Description=NetFlow/IPFIX Collector
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
ExecStart=/usr/local/bin/nfcapd -w /mnt/flow/nat -p 555 -t 60
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target
systemctl daemon-reload
systemctl enable --now nfcapd-nat
systemctl status nfcapd-nat
journalctl -u nfcapd-nat -f

17. Контрольный список

Заключение

ipt_NETFLOW позволяет экспортировать NAT-события непосредственно с Linux-шлюза, не зеркалируя весь трафик. Но следует различать три уровня готовности: модуль загружен; NAT Events генерируются; коллектор принимает и корректно декодирует обязательные поля. Для полноценного учёта NAT требуется проверить все три уровня и полноту событий под нагрузкой.

Источники