ИИ-модель понимает не только опасное сообщение, но и его контекст. Нейросеть обучили на тысячах комментариев.
Ученые из Университета Ватерлоо в Канаде создали нейросеть, которая очень точно распознает разжигание ненависти в социальных сетях. ИИ-модель справляется в 88% случаев. Как рассказали исследователи, это поможет освободить модераторов от сотен часов вредной для психики работы.
Новый метод называется «Мультимодальный преобразователь дискуссий». Он позволяет найти взаимосвязь между текстом и изображениями, а также поместить их в широкий контекст. Ученые не первый год пытаются создать метод машинного обучения, чтобы обнаруживать подобный контент в интернете. Прошлый максимальный показатель — лишь 74%. При этом модели зачастую не понимали всех нюансов разговоров.
Ученые в этот раз использовали набор данных из комментариев, в которых содержалась ненависть, а также контент подобных сообщений. Всего специалисты использовали свыше 8200 дискуссий на сайте Reddit из 850 сообществ — это больше 18,3 тыс. комментариев. Как подчеркнул первый автор исследования Лиам Хеберт, контекст очень важен для понимания языка ненависти. Он отметил, что фраза «это отвратительно» имеет разный смысл, когда она, например, относится не к фотографии пиццы с ананасом, а к человеку.
Херберт отметил, что социальные сети ежедневно используют миллиарды человек. «Существует огромная необходимость выявлять разжигание ненависти в больших масштабах, чтобы создавать пространства, где каждого будут уважать и каждый сможет находиться в безопасности», — сказал ученый. Он добавил, что новый метод исследователей поможет изменить онлайн-пространство. Также Херберт подчеркнул, что технологии снизят нагрузку на сотрудников соцсетей, которым вручную приходится выявлять опасные сообщения и удалять их.
Источник: hi-tech.mail.ru
