После публикации препринта «Искусственный интеллект, научные открытия и продуктовые инновации» на arXiv в ноябре 2024 года у Массачусетского технологического института возникли опасения относительно целостности исследования. MIT провёл внутреннюю проверку и пришёл к выводу, что статью следует изъять из публичного обсуждения.
В статье под названием «Искусственный интеллект, научные открытия и инновации в продуктах», автором которой является Эйдан Тонер-Роджерс, исследовались эффекты внедрения инструмента обнаружения материалов на основе ИИ для 1018 ученых в американской научно-исследовательской лаборатории. В исследовании сообщается, что учёные, которым помогал ИИ, открыли на 44% больше материалов, подали на 39% больше патентов и достигли 17%-го увеличения инноваций в продуктах. Эти достижения якобы были в основном связаны с тем, что ИИ автоматизировал 57% задач по генерации идей, что позволило учёным с высокими показателями сосредоточиться на эффективной оценке его предложений. Однако преимущества были распределены неравномерно: менее эффективные учёные увидели минимальные улучшения, а 82% участников исследования на самом деле сообщили о снижении удовлетворенности работой из-за падения креативности и утраты навыков.
Университет связался с arXiv, чтобы официально потребовать изъятия статьи с платформы и из The Quarterly Journal of Economics, где она была представлена.
В письме от имени Комитета по дисциплине в arXiv говорится: «Ранее в этом году COD провел конфиденциальную внутреннюю проверку на основе полученных им утверждений относительно определённых аспектов этой статьи. Хотя законы о конфиденциальности студентов и политика MIT запрещают раскрытие результатов этой проверки, мы пишем, чтобы сообщить вам, что MIT не уверен в происхождении, надёжности или обоснованности данных, как не уверен в правдивости исследования, содержащегося в статье. Мы также считаем, что включение этой статьи в arXiv может нарушить Кодекс поведения arXiv. Мы понимаем, что только авторы статей, появляющихся на arXiv, могут подавать запросы на отзыв. Мы поручили автору подать такой запрос, но на сегодняшний день он этого не сделал. Поэтому MIT с уважением просит, чтобы статья была отмечена как отозванная из arXiv как можно скорее»
MIT предпринял этот шаг в свете значимости публикации и для смягчения последствий неправомерного поведения. Автор препринта больше не работает в университете.
Профессор Дарон Асемоглу и профессор Дэвид Аутор, которые упоминаются в сноске в рассматриваемой статье, заявили: «Статья “Искусственный интеллект, научное открытие и продуктовые инновации” бывшего аспиранта второго года обучения на кафедре экономики в MIT, уже известна и широко обсуждается в литературе по ИИ и науке, хотя она не была опубликована ни в одном рецензируемом журнале. Со временем у нас возникли опасения относительно обоснованности этого исследования, о которых мы сообщили соответствующему офису MIT. В начале февраля MIT провёл внутреннюю конфиденциальную проверку. Мы делимся этой информацией, поскольку обеспокоены тем, что даже в неопубликованной форме статья оказывает влияние на обсуждения и прогнозы относительно воздействия ИИ на науку. Мы хотели бы прояснить ситуацию и поделиться своим мнением о том, что на данный момент на результаты, представленные в этой статье, не следует полагаться в академических или публичных обсуждениях этих тем».
Между тем система AI Scientist-v2 от компании Sakana AI смогла в рамках эксперимента создать научную работу, которая успешно прошла процесс рецензирования на семинаре международной конференции ICLR. Статья Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization была посвящена негативным аспектам метода регуляризации нейронных сетей. Она получила оценку 6,33 балла (незначительно выше порога принятия). При этом рецензенты не знали, была ли сгенерирована конкретная работа ИИ или написана человеком, но ранее их предупредили о такой возможности.
Источник: habr.com
