MOSTLY AI открыла доступ к архитектуре TabularARGN и исходному коду нейронной модели (лицензия Apache v2), которая позволяет эффективно генерировать структурированные синтетические данные. В опубликованной статье авторы подробно описывают структуру модели TabularARGN и ее возможности.
Движок для генерации высококачественных синтетических данных с сохранением конфиденциальности.
TabularARGN является нейронной моделью, предназначенной для создания синтетических данных и позволяющей организациям безопасно использовать свои информационные ресурсы в виде структурированных данных, производить их анализ, обучать модели машинного обучения на их основе, обмениваться данными между структурами организации при обеспечении их конфиденциальности. Независимо от того, идет ли речь о простых одиночных («плоских») таблицах с разнообразными типами данных или нескольких связанных друг с другом таблиц с нерегулярной структурой («реляционные» таблицы) и различной длиной последовательностей (н-р, временные ряды или наборы предметов и т.д.), TabularARGN демонстрирует надежность и высокую производительность. Она способна обрабатывать сложные данные, что должно позволить применять ее в широком спектре реальных сценариев при сохранении статистической достоверности сгенерированных данных и предоставлении гарантий конфиденциальности, включая дифференциальную приватность (differential privacy, DP).
В отличие от других генераторов синтетических данных, которые полагаются на сложные и ресурсоемкие архитектуры, TabularARGN представляет собой достаточно простую, но эффективныю архитектуру авто-регрессивной нейронной сети. Авторы адаптировали и расширили авто-регрессивные концепции для решения уникальных задач структурированных (табличных) данных, что позволило создать модель высокого качества по скорости и надежности.
В чем уникальность TabularARGN?
Высокая точность:TabularARGN обеспечивает качество синтетических данных, сопоставимое с передовыми (SOTA) моделями, что гарантирует надежные результаты.
Приватность по умолчанию:Модель учитывает только конфиденциальные диапазоны значений для выборки и обладает встроенными функциями защиты приватности. Возможность обучения с использованием DP-SGD (Differentially-Private Stochastic Gradient Descent) алгоритма позволяет достичь гарантий дифференциальной приватности за реальное время.
Простота:Используя существующие базовые блоки, TabularARGN легко интегрируется в стандартные фреймворки глубокого обучения.
Эффективность вычислений:Скорость обучения до 100 раз выше чем у других SOTA методах позволяет модели масштабироваться даже для больших и сложных наборов данных без потери производительности.
Гибкость выборки:Поддерживаются расширенные возможности выборки, такие как условная генерация (генерация данных или сэмплинг, основанные на каких-то специфицечских условиях) для создания целевых наборов данных, восстановление отсутствующих значений (imputation) и корректировки при соблюдения этических целей (fairness) синтеза данных. Регулировка параметров (н-р, температуры или top_p) помогает сбалансировать правила и разнообразие данных.
Универсальность данных:Поддержка гетерогенности реальных табличных наборов включает многомерные данные смешанных типов (категории, числовые, временные, гео-данные и др.), последовательные наборы с различной длиной последовательностей и временными интервалами.
Надежность в обучении: TabularARGN обеспечивает высокое качество синтетических данных с настройками по умолчанию и остаётся стабильным даже при новых обучениях модели.
Производительность TabularARGN была протестирована на фоне других open-source эталонов (см. рис.):
Простые («плоские») таблицы:На наборе данных Adult, TabularARGN достигает точности 97.9%, сопоставимой с передовыми методами, при этом обучение происходит в 16 раз быстрее.
Реляционные таблицы с последовательностями:На таких наборах данных, как Baseball, TabularARGN превосходит все базовые модели на 9 процентных пунктов, а скорость обучения увеличивается до 100 раз.
Как видно из результатов, даже при использовании дифференциальной приватности (DP-SGD) TabularARGN сохраняет конкурентоспособную точность, демонстрируя адаптивность без ущерба для качества. Модель может автоматически адаптироваться к смешанным типам данных, справляться с отсутствующими значениями и масштабироваться до миллионов записей без задержек в обучении.
Ссылки:
Статья об архитектуре TabularARGN — https://arxiv.org/abs/2501.12012v1
Открытый исходный код Synthetic Data Engine (TabularARGN) — https://github.com/mostly-ai/mostlyai-engine
Источник: habr.com
