В начале февраля 2024 года состоялся релиз системы для захвата, хранения и индексации сетевых пакетов Arkime 5.0. Проект предоставляет инструменты для наглядной оценки потоков трафика и поиска информации, связанной с сетевой активностью. Исходные коды Arkime опубликованы на GitHub под лицензией Apache 2.0.
Компонент для захвата трафика Arkime написан на С, а интерфейс реализован на Node.js/JavaScript. Проект поддерживает работу в Linux и FreeBSD. Дистрибутивы Arkime доступны для скачивания для Arch Linux, RHEL/CentOS и Ubuntu.
По информации OpenNET, изначально проект Arkime разрабатывался компанией AOL с целью создания открытой замены коммерческим платформам обработки сетевых пакетов, поддерживающей развёртывание на своих серверах и способной масштабироваться для обработки трафика на скоростях в десятки гигабит в секунду.
Arkime включает инструменты для захвата и индексации трафика в формате PCAP, а также предоставляет средства для быстрого доступа к проиндексированным данным. Применение типового формата PCAP существенно упрощает интеграцию с существующими анализаторами трафика, такими как Wireshark. Объём хранимых данных ограничивается только размером имеющегося дискового массива.
Метаданные о сеансах в Arkime индексируются в кластере на базе движка Elasticsearch или OpenSearch. Компонент для захвата трафика работает в многопоточном режиме и решает задачи мониторинга, записи PCAP-дампов на диск, разбора захваченных пакетов и отправки метаданных о сеансах (SPI, Stateful packet inspection) и протоколах в кластер Elasticsearch/OpenSearch. Возможно хранение PCAP-файлов в зашифрованном виде.
Для анализа накопленной информации в Arkime предлагается веб-интерфейс, позволяющий выполнять навигацию, поиск и экспорт выборок. В веб-интерфейсе проекта предусмотрено несколько режимов просмотра — от общей статистики, карты соединений и наглядных графиков с данными об изменении сетевой активности до инструментов для изучения отдельных сеансов, анализа активности в разрезе используемых протоколов и разбора данных из PCAP-дампов. Также предоставляется API, позволяющий передавать в сторонние приложения данные о захваченных пакетах в формате PCAP и разобранных сеансах в формате JSON.
Основные изменения и дополнения в Arkime 5.0:
добавлена возможность отправки комбинированных поисковых запросов информации через сервис Cont3xt для сбора доступной в различных открытых источниках (OSINT) информации одновременно о нескольких объектах;
добавлена поддержка методов формирования отпечатков трафика JA4 и JA4+ для определения сетевых протоколов и приложений;
изменено оформление блока с детальной информацией о сеансе, в котором минимизировано неиспользуемое пространство и реализована двухколоночная компоновка для больших экранов;
во вкладки Files, History и Stats добавлены выпадающие блоки для поиска одновременно в нескольких экземплярах интерфейса для просмотра статистики;
система авторизации унифицирована и выделена в отдельный модуль, который теперь используется во всех приложениях Arkime. Вместо анонимного режима авторизации по умолчанию задействован метод digest. Добавлены новые режимы авторизации: basic, form, basic+form, basic+oidc, headerOnly, header+digest и header+basic;
все приложения переведены на унифицированную подсистему конфигурации, поддерживающую обработку настроек в разных форматах (ini, json, yaml) и способную загружать настройки из разных источников, например, c диска, по сети через HTTPS или из OpenSearch/Elasticsearch;
добавлена поддержка импорта сохранённых (offline) PCAP-дампов с их загрузкой по URL через HTTPS или из хранилища Amazon S3, без необходимости предварительного сохранения на локальной системе.
Источник: habr.com
