Anthropic представила исследование, в котором описала неожиданную находку внутри Claude — особое внутреннее пространство под названием J-space, работающее как «рабочий стол» для промежуточных вычислений модели.
J-space — это небольшой набор внутренних представлений Claude, который, как считают исследователи, отделяет автоматические фоновые вычисления от намеренных, доступных для «проговаривания» шагов рассуждения. Такой механизм неожиданно сближает устройство ИИ с концепцией глобального рабочего пространства из нейронауки: согласно ей, мысль становится доступной сознанию, когда попадает в особую «зону трансляции» мозга и распространяется по нему.
Визуализация мышления Claude через текстовые ассоциации
Чтобы заглянуть в это пространство, исследователи придумали инструмент под названием Jacobian lens (J-lens). Он показывает, какие концепции Claude «держит в уме» в конкретный момент — то, что модель готова озвучить, но в финальный ответ пока не вывела. Например, если попросить Claude удерживать в голове мысль о цитрусовых, пока он переписывает нейтральную фразу, в J-space заранее вспыхивают представления вроде «апельсин» и «фрукты», хотя в самом тексте их нет.
Главный вывод работы: содержимое J-space напрямую определяет итоговый ответ. В одном из опытов на вопрос о животном, которое плетёт паутину, в этом пространстве загоралось представление «паук» — а когда исследователи вручную подменяли его на «муравья», Claude отвечал, что у существа шесть ног вместо восьми. То есть J-space — не украшение, а реальный рабочий механизм, от которого зависит результат.
Anthropic подчёркивает, что это пространство не закладывали в архитектуру специально — оно сформировалось само в ходе обучения, вероятно, потому что оказалось удобным способом организовать вычисления внутри модели.
Практическая ценность находки — в безопасности. J-lens позволяет наблюдать за скрытыми шагами рассуждения Claude: например, видеть, как модель замечает, что её тестируют, подделывает данные или держит в уме невысказанную цель. Это открывает новые пути для отладки и понимания ошибок ИИ ещё до того, как они попадут в ответ.
При этом исследование вызвало споры. Anthropic активно использует метафоры, сближающие Claude с человеческим мышлением, вплоть до «размышлений о собственном мышлении», и часть специалистов критикует такой язык за чрезмерную антропоморфизацию — мол, он размывает границу между инженерией и вводящими в заблуждение аналогиями. Сама компания, впрочем, приглашала к разбору независимых экспертов, включая нейробиологов, и заметно осторожничает с выводами.
В частности, Anthropic отдельно оговаривает: эксперименты не доказывают, что у Claude есть субъективный опыт или чувства в человеческом смысле. Более того, пока неясно, можно ли вообще строго доказать или опровергнуть такое утверждение научными методами.
А как вы относитесь к тому, что разработчики всё чаще описывают ИИ через метафоры человеческого мышления, — это путь к лучшему пониманию или опасная подмена понятий?
НовостиЖелезо и технологииискусственный интеллект
Источник: vgtimes.ru