Кратко:
Сегодня, 29 марта, информационное издание The Verge со ссылкой на Сару Берд (Sarah Bird), ведущего сотрудника в области искусственного интеллекта компании Microsoft, сообщило, что команда разработчиков IT-гиганта создала несколько совершенно новых функций безопасности, которые позволят существенно упростить жизнь клиентам сервисов Azure, не желающих нанимать специалистов для проверки созданных ими сервисов на базе ИИ. Сотрудница Microsoft заявила, что новые инструменты на базе больших языковых моделей могут обнаружить потенциальные уязвимости новых сервисов, отслеживать галлюцинации нейросетей, а также блокировать вредоносные подсказки в режиме реального времени.
Вероятно, это позволит избежать различных споров о генеративном искусственном интеллекте, которые вызваны нежелательными действиями в отношении нейросетей. Например, это касается подделок видео или фото со знаменитостями посредством генератора изображений Designer от Microsoft, создания исторически неточных изображений через Google Gemini и прочих неприятных моментов.
Для того, чтобы избежать подобных сценариев, команда из Microsoft разработала сразу три функции, повышающие безопасность работы клиентских сервисов на базе ИИ:
Соответственно, независимо от того, вводит ли пользователь подсказку или модель обрабатывает сторонние данные, новая система мониторинга будет оценивать введённые данные на предмет наличия запрещённых слов или скрытых подсказок, а только после этого принимать решение об отправке нейросети для ответа. Кроме того, система будет просматривать ответ модели и проверять, не галлюцинировали ли она при выдаче информации. Правда, насколько такая система нагружает систему и увеличивает время ожидания, в Microsoft не уточнили.
Источник: trashbox.ru
Похожие новости:
Оригинал письма от Microsoft по блокировке в РФ ПО для управления или проектирования (+ облачные решения) с 20 марта
Обзор IT-Weekly: Государство кратно повышает финансирование российской микроэлектроники, Dr.Web Industrial — продукт для защиты предприятий
Softline: Microsoft может не закрыть доступ к облачным продуктам в РФ в ночь с 20 на 21 марта из-за нерешённых вопросов
Microsoft разработала систему для выявления галлюцинаций в ИИ-приложениях клиентов