Чат-бот Нью-Йорка «MyCity», запущенный в октябре прошлого года для оптимизации бизнес-операций, подвергся критике за предоставление неточной и потенциально вредной информации. Бот, рекламируемый как единое окно для получения официальных данных о городском бизнесе, был пойман на том, что давал неверные ответы по таким важным темам, как нормативные акты и права работников.
Совместное расследование The Markup и The City выявило недостатки чатбота. MyCity, рекламируемый как инструмент для экономии времени с «действенной и достоверной информацией», вводил пользователей в заблуждение относительно основных правил. Например, бот утверждал, что арендодатели могут отказываться от ваучеров на жилье по разделу 8, что противоречило официальной информации города о справедливой жилищной практике. Аналогичные несоответствия были обнаружены в отношении правил оплаты труда работников и специфических деталей отрасли, таких как цены похоронных бюро.
Проблема кроется в технологии MyCity. Работающий на базе Microsoft Azure, чат-бот полагается на предсказание следующего слова в последовательности, не понимая, что именно лежит в основе информации. Этот метод дает сбой, когда в обучающих данных отсутствуют точные ответы. The Markup даже задокументировал получение от MyCity как правильных, так и неправильных ответов на один и тот же вопрос.
Несмотря на то, что MyCity называет себя «бета-версией» и предупреждает пользователей о возможной неточности, официальный бренд MyCity рекламирует его как источник «официальной деловой информации Нью-Йорка». Такой диссонанс создает рискованную ситуацию для владельцев бизнеса, полагающихся на бота при принятии важных решений, считают эксперты.
Управление по технологиям и инновациям Нью-Йорка защищает программу, утверждая, что она уже помогла многим получить «своевременные и точные ответы». Они утверждают, что намерены совершенствовать инструмент.
Источник: www.ferra.ru
Похожие новости:
Суд в Канаде обязал Air Canada выплатить компенсацию за обман пассажира её чат-ботом по продаже билетов
Новый чат-бот Amazon с ИИ расскажет о товарах, пошутит и сочинит сказку
Пользователь заставил чат-бота DPD обругать компанию и назвать её «худшей фирмой по доставке товаров»
В США создали чат-бота на базе ИИ OpenAI для отработки тактики в StarCraft II