Учёные лаборатории искусственного интеллекта «Сбербанка» предложили новый подход для легковесных моделей искусственного интеллекта к распознаванию эмоций в реальных условиях. Результаты разработки показаны в работе Leveraging Lightweight Facial Models and Textual Modality in Audio‑visual Emotional Understanding in‑the‑Wild («Использование легковесных моделей анализа лица и текстовых модальностей в аудиовизуальном понимании эмоций в естественных условиях»). Работу представили на международном воркшопе Affective Behaviour Analysis in‑the‑Wild (ABAW) конференции CVPR (Core A*).
Исследователи Сбера предложили решение по распознаванию эмоций, опирающееся на три элемента. Учёные применили лёгкие нейросети EmotiEffNet, MobileViT и MobileFaceNet. Эти сети обучены на открытых наборах фото с выражениями лиц. EmotiEffNet, MobileViT и MobileFaceNet позволяют распознавать мимику в реальном времени даже на смартфонах. Дополнительно применяется фильтрация кадров. Система выбирает те, где эмоции видны чётче. Также используется объединение данных из текста, аудио и видео. Метод «позднего слияния» помогает модели быстрее подстраиваться под новые задачи.
На международном конкурсе ABAW метод занял первое место в задачах по распознаванию выражений и амбивалентности. Также команда получила третье место в задачах по оценке силы эмоций и микровыражений. Средняя точность выросла на 1,5–15% по сравнению с базовыми методами. В работе использовалась библиотека EmotiEffLib.
По словам директора Лаборатории искусственного интеллекта «Сбербанка» Глеба Гусева, его коллегам удалось разработать новые методы мультимодального анализа эмоций с оптимизацией вычислений. Гусев считает, что это исследование приближает людей к созданию эмпатичного ИИ, который сможет точно и быстро распознавать эмоции человека в реальных условиях. Возможности для прикладного применения этой технологии очень широки — от виртуальных помощников до интеллектуальных систем в медицине и образовании.
Источник: habr.com
Похожие новости:
ASUS объявляет о стратегии внедрения искусственного интеллекта, ноутбуки Copilot+ и решения для создателей контента на выставке Computex 2024
Сверхпроводящий токамак | Рентген в смартфоне | Теневая камера | Контакты для 2D-чипов
В России разработали систему ИИ для распознавания эмоций
Новая технология машинного обучения улучшает анализ человеческих эмоций