Русский · English · Español · Français · Deutsch
Практическое руководство по установке ipt_NETFLOW с поддержкой NAT Events, экспорту событий трансляции и настройке коллектора nfdump.
Все IP-адреса в статье условные. Публичные адреса взяты из документационных диапазонов RFC 5737.
1. Введение
При использовании Linux в качестве NAT-шлюза, особенно у интернет-провайдеров с CGNAT, необходимо регистрировать соответствие внутренних адресов и портов абонентов публичным адресам и портам. Обычный NetFlow учитывает сетевые потоки, но не всегда позволяет восстановить NAT-трансляцию. Для этого служит NAT Event Logging (NEL) на основе событий подсистемы conntrack.
В руководстве используются Debian 12, модуль ядра ipt_NETFLOW, NetFlow v9/IPFIX и коллектор nfcapd/nfdump.
2. Как работает NAT Event Logging
Пример исходного соединения:
10.10.1.100:50004 -> 198.51.100.20:443
После SNAT:
203.0.113.10:61025 -> 198.51.100.20:443
Для идентификации абонента необходимо зафиксировать соответствие 203.0.113.10:61025 и 10.10.1.100:50004, протокол, адрес назначения и точное время события. Порт после NAT может отличаться от исходного.
Linux хранит данные о соединениях и NAT в подсистеме Netfilter Connection Tracking (conntrack). ipt_NETFLOW может получать события создания и удаления NAT-маппингов и экспортировать их.
3. Архитектура
Абоненты 10.10.0.0/16
|
Debian 12 NAT gateway (192.0.2.1)
| SNAT: 203.0.113.10
+-----------------> Интернет
|
+--- NetFlow/IPFIX UDP 555 ---> Collector 192.0.2.10
nfcapd -> nfdump -> архив
| Компонент | Назначение |
|---|---|
| Netfilter | NAT и фильтрация пакетов |
| conntrack | Учёт состояния соединений |
| ipt_NETFLOW | Экспорт потоков и NAT Events |
| nfcapd | Приём NetFlow/IPFIX |
| nfdump | Анализ и чтение архива |
4. Поля IPFIX для NAT
| IE | Название | Значение |
|---|---|---|
| 4 | protocolIdentifier |
Протокол |
| 7 | sourceTransportPort |
Исходный порт |
| 8 | sourceIPv4Address |
Исходный IPv4 |
| 11 | destinationTransportPort |
Порт назначения |
| 12 | destinationIPv4Address |
IPv4 назначения |
| 225 | postNATSourceIPv4Address |
Публичный IPv4 после SNAT |
| 227 | postNAPTSourceTransportPort |
Порт после NAT |
| 230 | natEvent |
Тип события NAT |
Важно проверять фактический экспортируемый шаблон: наличие поддержки NAT Events само по себе не гарантирует присутствия всех IE в одной записи.
5. Подготовка Debian 12
uname -r
grep CONFIG_NF_CONNTRACK_EVENTS /boot/config-$(uname -r)
grep -E 'CONFIG_NF_NAT=|CONFIG_NF_CONNTRACK=' /boot/config-$(uname -r)
ls -l /lib/modules/$(uname -r)/build
Ожидаемая поддержка событий: CONFIG_NF_CONNTRACK_EVENTS=y (или доступная соответствующая конфигурация ядра). Устанавливаем инструменты:
apt update
apt install -y git build-essential dkms pkg-config libxtables-dev linux-headers-$(uname -r)
Если заголовки запущенного ядра уже удалены из текущих репозиториев, соответствующие пакеты можно искать в Debian Snapshot Archive. Версии заголовков и ядра должны совпадать.
6. Сборка ipt_NETFLOW с NAT Events
cd /usr/src
git clone https://github.com/aabc/ipt-netflow.git
cd ipt-netflow
./configure --help
В проверенной конфигурации помог вызов:
./configure --enable-natevents
В показанной версии --enable-natevents включает поддержку NAT Events. Проверяйте доступные ключи и результат сборки для выбранной версии.
make -j$(nproc)
make install
depmod -a
При ошибке DKMS tree already contains проверьте зарегистрированные версии и установленные файлы:
dkms status
find /lib/modules/$(uname -r) -name 'ipt_NETFLOW.ko*'
modinfo -n ipt_NETFLOW
Не удаляйте всё дерево DKMS без проверки. Если появляется ошибка подписи signing_key.pem, проверьте режим Secure Boot и требования к подписи модулей.
Загружаем модуль:
modprobe ipt_NETFLOW
lsmod | grep ipt_NETFLOW
ls /proc/sys/net/netflow/
sysctl net.netflow.natevents
Критерий наличия NAT Event Logging: в /proc/sys/net/netflow/ должен появиться параметр natevents. Если модуль пересобирался уже загруженным, потребуется корректная перезагрузка модуля. modinfo показывает модуль на диске, а не гарантированно загруженный экземпляр.
7. Настройка экспорта
Для NetFlow v9:
sysctl -w net.netflow.protocol=9
sysctl -w net.netflow.destination=192.0.2.10:555
sysctl -w net.netflow.natevents=1
Для IPFIX:
sysctl -w net.netflow.protocol=10
Проверка:
sysctl net.netflow.protocol
sysctl net.netflow.destination
sysctl net.netflow.natevents
Постоянные параметры модуля в /etc/modprobe.d/ipt_NETFLOW.conf:
options ipt_NETFLOW destination=192.0.2.10:555 protocol=10 natevents=1
Они вступят в силу при следующей загрузке модуля.
8. Нужны ли правила iptables?
Для NAT Events отдельное правило -j NETFLOW не требуется: события поступают от conntrack. Если нужна также статистика обычных потоков, можно добавить:
iptables -I FORWARD 1 -j NETFLOW
iptables -L FORWARD -nvx --line-numbers
Не следует добавлять NETFLOW в несколько цепочек без оценки риска повторного учёта пакетов. Не требуется добавлять NETFLOW в таблицу NAT для получения NAT Events.
9. Диагностика conntrack
apt install conntrack
conntrack -L -s 10.10.1.100
conntrack -E -o timestamp,extended
conntrack -E -s 10.10.1.100
Условная запись:
tcp 6 431999 ESTABLISHED
src=10.10.1.100 dst=198.51.100.20 sport=50004 dport=443
src=198.51.100.20 dst=203.0.113.10 sport=443 dport=61025
Обратное направление показывает публичный адрес и назначенный порт.
10. Статистика ipt_NETFLOW
cat /proc/net/stat/ipt_netflow
watch -n 1 cat /proc/net/stat/ipt_netflow
В зависимости от версии статистика содержит счётчики NAT Events (start, stop), параметры экспорта и ошибок. Увеличение счётчиков подтверждает обработку событий модулем, но не доставку всех записей коллектору.
11. Установка nfdump 1.7.x
apt update
apt install -y git build-essential autoconf automake libtool pkg-config flex bison libbz2-dev zlib1g-dev liblz4-dev
cd /usr/local/src
git clone https://github.com/phaag/nfdump.git
cd nfdump
git tag --list '*1.7*'
Для рабочей системы выберите проверенный тег и задайте его в переменной NFDUMP_TAG.
: "${NFDUMP_TAG:?Set NFDUMP_TAG to a verified release tag}"
git checkout --detach "$NFDUMP_TAG"
./autogen.sh
./configure
make -j$(nproc)
make install
ldconfig
/usr/local/bin/nfdump -V
/usr/local/bin/nfcapd -V
Если программа не находит libnfdump*.so, проверьте ldd /usr/local/bin/nfdump, путь к библиотеке и конфигурацию ldconfig.
12. Запуск коллектора
mkdir -p /mnt/flow/nat
/usr/local/bin/nfcapd -w /mnt/flow/nat -p 555 -t 60
Для двух экспортеров с разделением по каталогам (синтаксис проверяйте по nfcapd -h вашей версии):
/usr/local/bin/nfcapd -p 555 -t 60 -S 1 \
-n gw1,192.0.2.1,/mnt/flow/1 \
-n gw2,192.0.2.2,/mnt/flow/2
13. Проверка поступления и декодирования
tcpdump -ni any udp port 555
find /mnt/flow/nat -type f -name 'nfcapd.*'
/usr/local/bin/nfdump -R /mnt/flow/nat -o raw
/usr/local/bin/nfdump -R /mnt/flow/nat -o 'fmt:%ts %sa:%sp -> %da:%dp %pr'
Последний формат предназначен прежде всего для обычных потоков. NAT Events могут отображаться иначе.
Для проверки реального IPFIX Template захватите пакеты:
tcpdump -ni any -s0 -w /tmp/nat-ipfix.pcap udp port 555
tshark -r /tmp/nat-ipfix.pcap -V
Проверьте IE 4, 7, 8, 11, 12, 225, 227, 230, а также реальные Data Records. Пример логического содержимого записи:
Protocol: TCP
Original Source: 10.10.1.100:50004
Destination: 198.51.100.20:443
Translated Source: 203.0.113.10:61025
NAT Event: CREATE
Это иллюстрация, а не буквальный формат вывода nfdump.
14. Типичные ошибки
| Симптом | Что проверить |
|---|---|
Нет natevents |
Флаги configure, версию загруженного модуля, поддержку событий ядра |
CONFIG_NF_NAT_NEEDED... No |
Это проверка старого макроса, не доказательство отсутствия NAT |
DKMS tree already contains |
Конфликт зарегистрированных сборок DKMS |
Ошибка signing_key.pem |
Подпись модуля и Secure Boot |
| UDP не поступает | Маршруты, firewall, destination, счётчики экспортера |
| UDP поступает, но NAT-записей нет | natevents, счётчики событий, IPFIX Template, декодирование |
Проверка маршрута до коллектора:
ip route get 192.0.2.10
Не стоит принудительно определять старые макросы ядра без проверки исходников и совместимости API.
15. Производительность
Нагрузка на журналирование определяется количеством создаваемых NAT-маппингов, а не только скоростью трафика. При 5 000 созданий и 5 000 удалений в секунду будет 10 000 событий/с, то есть 864 млн событий в сутки при постоянной нагрузке.
Рекомендации:
- Используйте отдельный коллектор NAT-событий.
- Контролируйте потери UDP и переполнение буферов.
- Синхронизируйте часы шлюзов и коллектора.
- Контролируйте дисковое пространство и срок хранения.
- Ограничивайте доступ к журналам абонентской активности.
- Проверяйте работу после обновления ядра и перезагрузки.
- Под нагрузкой проверяйте полноту записей и корректность IPFIX Template.
16. Автоматический запуск
Файл /etc/modules-load.d/ipt_NETFLOW.conf:
ipt_NETFLOW
Файл /etc/modprobe.d/ipt_NETFLOW.conf:
options ipt_NETFLOW destination=192.0.2.10:555 protocol=10 natevents=1
Пример systemd-сервиса коллектора /etc/systemd/system/nfcapd-nat.service:
[Unit]
Description=NetFlow/IPFIX Collector
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
ExecStart=/usr/local/bin/nfcapd -w /mnt/flow/nat -p 555 -t 60
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target
systemctl daemon-reload
systemctl enable --now nfcapd-nat
systemctl status nfcapd-nat
journalctl -u nfcapd-nat -f
17. Контрольный список
Заключение
ipt_NETFLOW позволяет экспортировать NAT-события непосредственно с Linux-шлюза, не зеркалируя весь трафик. Но следует различать три уровня готовности: модуль загружен; NAT Events генерируются; коллектор принимает и корректно декодирует обязательные поля. Для полноценного учёта NAT требуется проверить все три уровня и полноту событий под нагрузкой.