Источник изображения: Magnific.com
GlowByte провела внутренний ИИ-хакатон AI Seasons, посвященный разработке хранилища данных (DWH) и построению BI-слоев (бизнес-аналитики) с использованием генеративного ИИ. Компания последовательно внедряет в корпоративную культуру практики безопасного и осознанного использования ИИ-инструментов. Проведение хакатона стало одним из шагов в этом направлении.
Продолжительность интеллектуального марафона составила четыре недели. В нем приняли участие 28 команд. Призовой фонд распределился следующим образом: 100 тыс. рублей за первое место, по 50 тыс. рублей за второе и третье, а также 25 тыс. рублей получил победитель народного голосования.
Хакатон GlowByte проходил в формате цикла практических заданий. Участники решали кейс вымышленной розничной сети «МегаБайт», охватывающей сотни магазинов и миллионные объемы заказов. Командам предстояло реализовать полный цикл разработки: от моделей данных (dbt) и пайплайнов оркестрации (Airflow) до дашбордов (аналитических панелей) и сопроводительной документации.
Каждое задание оценивалось по трем критериям: работа с промптом (запросом к генеративной нейросети), техническая реализация и бизнес-составляющая. Максимальный балл за задание варьировался от 200 на первой неделе до 500 на четвертой. Предусматривались бонусы за скорость сдачи (до +30%) и за выполнение задания участниками, чьи роли не соответствовали профилю задачи (+15%). Дополнительные баллы начислялись за выступления на пятничных вебинарах.
Источник изображения: Magnific.com
Победители представили рабочую систему, готовую к демонстрации заказчику и последующей эксплуатации. Решение включает развертываемый стенд на базе Docker Compose, объединяющий базу данных, планировщик Apache Airflow, модели данных (dbt) и проверки качества. Предусмотрен трехуровневый контроль качества: тесты в моделях данных, автоматические проверки в конфигурационных файлах и SQL-сверка исходных данных с витринами. Дополнительно реализован набор регрессионных тестов для типовых сценариев ошибок (дублирование записей, потеря строк, некорректные формулы), а также инструкции для дежурного персонала по действиям при сбоях и критериям запуска полного пересчета. Стек: PostgreSQL, Docker, Apache Airflow, dbt, Soda Core, Lightdash, Python.
Решение команды, занявшей второе место, отмечено за прозрачность и проверяемость. Каждый артефакт сопровождается цепочкой от исходного требования до исполненного запроса к нейросети с фиксацией всех ручных правок и обоснований. Внедрены автоматические проверяющие скрипты на Python для контроля структуры артефактов, корректности расчетов и запускаемости кода. Подготовлена пошаговая инструкция для проверяющего или заказчика. В пайплайн встроена блокировка публикации отчетов до подтверждения аналитиком. Разработан план коммуникаций с заинтересованными сторонами на этапе запуска, включая расписание уведомлений и шаблоны писем. Стек: PostgreSQL, Docker, Apache Airflow, dbt, Soda Core, Python.
Третье место заняла соло-участница за высокую степень готовности решения к передаче заказчику. Подготовлен документ передачи, содержащий описание источников данных, правила расчета, структуру базы и риски интерпретации. В сверке разделены валовая и чистая выручка, что исключает искажение отчетных показателей. Реализован Schema.yml как единый регламент между хранилищем данных и системой бизнес-аналитики (BI) с указанием форматов полей и владельцев метрик. Проверки данных разделены по уровням важности на блокирующие и предупреждающие. По итогам генерации кода составлен документ README с перечнем выявленных ошибок нейросети и способами их исправления. Стек: PostgreSQL, Docker, dbt-core, Apache Airflow, Soda Core, Python.
Организаторы хакатона GlowByte отметили, что большинство представленных призерами инженерных решений и регламентов уже включены во внутренние стандарты и могут применяться сотрудниками компании в клиентских проектах. Особую ценность для бизнеса представляют шаблоны развертывания демонстрационных стендов, регламенты контроля качества данных и практики документирования ИИ-разработок, позволяющие сократить время вывода аналитики в промышленную эксплуатацию.
Читать статью о хакатоне на Habr.
Источник: habr.com