Бывший директор по ИИ в Tesla Андрей Карпати в своей колонке в X предложил смотреть на большие языковые модели не как на «недоделанных людей», а как на другой тип разума. По его мысли, LLM не находятся на пути к цифровому человеку, а развиваются в принципиально иной эволюционной среде. Людей миллионы лет формировала борьба за выживание, тогда как современные модели оттачиваются на датасетах, метриках и положительных голосах оценщиков.
Карпати пытается ответить на популярный вопрос: почему ИИ может писать сложный код и рассуждать о физике, но при этом иногда проваливается на детских задачах вроде подсчета букв в слове? Его ответ опирается на эволюционную метафору: для животного провал в острых задачах (ошибся с ядовитым растением, не распознал угрозу, не понял сигнал сородича) может стоить жизни и генов. Для LLM провал в подобном тесте почти ничего не значит — модель не «умирает», ее веса максимум чуть-чуть исправляют, но не убирают из «генофонда».
Дальше Карпати последовательно разбирает три уровня отличий. Во-первых, это разный носитель: биологический мозг с нейронами против трансформера на графических процессорах. Во-вторых, разные механизмы обучения: человек складывается из генетики, развития тела и опыта в мире, а LLM обучается на корпусах текстов и донастраивается по обратной связи. В-третьих, различается сам режим существования: у человека есть непрерывная биография, тогда как знания модели «замораживаются» после ее обучения. Далее ИИ как бы просыпается в ответ на запрос, обрабатывает его и тут же «умирает» до следующего запроса.
Главным же различием Карпати называет цель оптимизации. Биологический разум формировала естественная эволюция, где ошибка напрямую била по выживанию особи и племени. Языковые модели формирует другая среда: данные, функции потерь, проверки безопасности, оценки разметчиков, продуктовые метрики, «лайки» и «дизлайки» пользователей. Ошибка здесь означает ухудшение качества сервиса, падение рейтингов или блокировку, но не смерть в прямом смысле. В результате получается асимметричный интеллект: местами он показывает сверхчеловеческие способности (обработка текста, код, обобщение), а местами демонстрирует странные провалы, если задача не была важной для его коммерческой эволюции.
Из этого Карпати делает прикладной вывод: сравнивать LLM с человеком — изначально строить неправильные ожидания. У моделей не будет здравого смысла, инстинкта самосохранения и человеческой интуиции, если они не заложены в их функцию успеха. По его мнению, пользователи, которые научатся относиться к LLM как отдельного типа разума — без боли, тела и страха смерти, но с жесткой зависимостью от данных и метрик, — смогут лучше понимать их поведение сегодня и точнее угадывать, в какую сторону такие системы будут эволюционировать завтра.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com