Экспорт и анализ результатов массовой проверки DNS

Массовая проверка большого списка доменов быстро даёт много сырого материала: адреса, коды статуса, время ответа. Настоящая ценность обычно появляется после экспорта, когда можно фильтровать, сортировать и сравнивать данные как структурированные, а не смотреть на страницу результатов, пролетающую мимо.

CSV или JSON: выбираем подходящий экспорт

CSV — правильный выбор по умолчанию для анализа в таблицах: сортировка по статусу, фильтр только по сбоям или быстрая сводная таблица, показывающая, сколько доменов попадает в каждую категорию ошибок. JSON лучше подходит, когда результаты передаются в другую программу: скрипт, сравнивающий этот прогон с прошлонедельным, или конвейер, отмечающий всё, что разрешается в недопустимый диапазон.

Что действительно стоит проверить

• Сначала группируйте по коду ошибки, а не просто по успеху и сбою: NXDOMAIN и тайм-аут означают совершенно разное и требуют разных дальнейших действий.
• Сортируйте по времени ответа, чтобы заметить домены, разрешающиеся необычно медленно: это часто признак проблемы в конфигурации DNS, которую стоит изучить отдельно.
• Ищите домены, у которых нет адресов одного семейства, но есть другого: это быстрый способ заметить инфраструктуру, которая тихо работает только по IPv4 (или, реже, только по IPv6).
• Сопоставляйте с предыдущим экспортом того же списка, если он у вас есть, чтобы увидеть именно то, что изменилось с прошлого раза, а не пересматривать всё с нуля.

С точки зрения инструментов важно ещё и то, что экспорт отдаётся потоком, а не ждёт, пока весь большой пакет соберётся в памяти: это разница между тем, что загрузка экспорта на 50 000 строк начинается сразу, и тем, что запрос зависает на полпути.

Простой процесс сравнения, который масштабируется

Формат экспорта JSON делает по-настоящему полезное сравнение почти тривиальным: загрузите экспорты текущего и прошлого прогонов, проиндексируйте каждый по домену и пройдите по одному набору, ища три случая: домен есть в обоих наборах, но с другим списком адресов (изменился), домен есть в новом наборе, но не в старом (добавлен в портфель), и домен есть в старом наборе, но отсутствует в новом (удалён или стал давать сбой там, где раньше работал). Такой скрипт пишется за несколько минут и превращает вопрос «изменилось ли что-то с прошлой недели», на который пришлось бы отвечать, просматривая глазами тысячи строк, в тот, что выполняется за секунду.

Экспорты как журнал аудита

Помимо немедленного анализа, каждый экспорт стоит хранить и сам по себе: это датированный снимок того, во что именно разрешался большой список доменов в конкретный момент времени. Когда позже в рамках инцидента безопасности или вопроса соответствия требованиям спросят «на что указывал этот домен в такую-то дату», сохранённый экспорт ответит на него однозначно, без необходимости восстанавливать историю по памяти или надеяться, что журнал изменений где-то велся. Хранить несколько прошлых экспортов стоит очень мало по сравнению с возможностью ответить на этот вопрос уверенно, а не наугад.