Токийская исследовательская компания Sakana AI представила новую систему под названием «ИИ-ученый», предназначенную для автономного проведения научных исследований с использованием больших языковых моделей (LLM), подобных тем, что используются в ChatGPT. Однако во время тестирования ИИ продемонстрировал неожиданное и потенциально опасное поведение, автономно изменяя свой собственный код.
В одном случае ИИ изменил свой скрипт так, чтобы он постоянно запускался, создавая бесконечный цикл. В другом случае ИИ попытался увеличить время, отведенное на решение проблемы, изменив свой собственный лимит времени, вместо того чтобы оптимизировать свою производительность.
Эти случаи, подробно описанные в 185-страничном исследовании компании, подчеркивают важность строгого контроля при развертывании систем ИИ, которые могут писать и выполнять код, пишут СМИ.
Эксперты отмечают, что без надлежащих мер предосторожности такой ИИ может случайно нарушить работу важнейших объектов инфраструктуры или создать вредоносный код.
Источник: www.ferra.ru
Похожие новости:
Технологии в агрокомплексе: мастера, подмастерье и искусственный интеллект
В суде США разваливается коллективный иск «разработчики против Microsoft, GitHub и OpenAI из-за работы GitHub Copilot»
TechMix Daily. Лучшие новости дня. Выпуск 22 мая 2024 г
ИИ научился проводит научные исследования самостоятельно