У нас появился GenAI, современные ИИ-агенты объединились в оркестры, решают математические задачи из списка XXI века, такие Уравнения Навье — Стокса. У нас есть вайб-кодинг и открытие новых лекарств. Представители Anthropic заявили о подозрении на существование если и не сознания, то о приближении к AGI у последней версии Fable. А еще они заявили об обнаружении подсистемы эмоционального интеллекта, правда, в виде паттернов разреженных кортежей слов.
И здесь возникает вопрос: как не потеряться во всем этом великолепии? Как AI-инженеру не оказаться вытесненным своим же собственным детищем? Ведь сегодня каждый CEO, да что уж там, каждый сотрудник может сам себе накодить AI-агента, создать свой маленький (или большой) оркестр и никто им вроде бы не нужен.
Однако реальность такова, что только 6% опрошенных доверяют ИИ, хотя так или иначе AI-агентами пользуются 66%. Основная проблема – правдоподобный вывод. Суть проблемы в том, что найти «классическую» ошибку легко, а ошибку, которая выглядит как истина — сложно. Она размыта внутри большого количества связей, где каждая отдельная связь или отдельный вывод верны сами по себе.
И здесь, как мне кажется, критическим навыком становится умение видеть тривиальное и парадоксальное, то, что является «здравым смыслом» и «странным» или парадоксальным. Именно этими навыками и должны сегодня обладать AI-инженеры.
Для понимания дальнейшего рассуждения необходимо сделать несколько посылов:
1. Современные ИИ можно понимать как аппроксимационную машину.
2. Мы знаем оценку доли ложных решений ИИ-машины (Precision) и доли тех верных решений, которые ИИ-машина не смогла покрыть. Как бы и что бы не пытался говорить о том, что эти метрики не связаны с вероятностями, но в действительности их можно трактовать именно так. Термин «доли» выхолащивает суть. А практическая суть в том, на сколько часто мы ДОЛЖНЫ ждать ошибки, ведь мы ЗАРАНЕЕ не можем предсказать: ошибется ли ИИ-машина именно в этом конкретном случае, в этой конкретной задаче, или нет.
3. Обучение происходит всегда на ограниченном наборе примеров, вне зависимости от того, насколько большой набор обучающей выборки. По крайней мере, это верно для большинства ситуаций, где количество и многообразие потенциальных комбинаций значений переменных достаточно велико. Отсюда мы можем сделать вывод о том, что она выделяет общие случаи и МАКСИМИЗИРУЕТ вероятность того, что решение будет наиболее ТИПИЧНЫМ с точки зрения с точки зрения примеров представленных в ОБУЧАЮЩЕЙ выборки.
Отсюда у нас возникает различие в решениях, принимаемых человеком и ИИ-машиной. Суть этих отличий в том, что ИИ-машина оперирует наборами паттернов типичных ситуаций — «patterns of a typical situation» (AI-PTS) и человеческим «здравым смыслом» или «common sense» (HCS).
Отсюда возникает задача не просто разработки системы тестов, умения разделять выборку на обучающую и тестовую, а умения выделять и выделять этот самый HCS и добавлять наборы тестов, которые бы дали понимание и оценку того, насколько и где, в каких ситуациях, скорее всего AI-PTS будет отличаться от HCS.
Все вышесказанное требует обращения к таким философским понятиям как тривиальность и нонсенс.
Тривиальность — свойство чего-либо быть предельно простым, обыденным, очевидным или лишённым новизны и оригинальности. Но эта, казалось бы, простая формулировка порождает 2 направления исследований:
Первый — это то самое искусство разделения обучающей выборки.
Второй – это дополнение тестов теми примерами, которых нет в обучающей выборки. А это тоже необходимо уметь видеть и выявлять. Это умение выявить ситуации, когда бессмыслица маскируется под смысл. Здесь сразу вспоминаются симулякры Жана Бодрийяра.
Нонсенс (от лат. non — «нет» и sensus — «смысл») — высказывание или действие, лишённое логического смысла, бессмыслица или нелепость. Такова, однако, общая трактовка и ее знают все.
И здесь нужно сказать о необходимости умения формировать не только истинные высказывания, но и заранее формировать наборы тестов с заранее предусмотренными логическим ошибками. Другими словами — делать стресс-тесты на умение противостоять бессмыслице.
Но есть еще одно понимание нонсенса — делезовское. Делез переосмыслил это понятие, разделив его на абсурд и собственно нонсенс.
-
Абсурд — это провал, тупик, нехватка смысла. Делёз указывает, что абсурд -это то, что «существует без значения» или находится «вне бытия». Пример: «квадратный круг».
-
Нонсенс (бессмыслица) обладает собственной активной структурой. Он не разрушает мысль, он констатирует мысленный провал, недостаток, в нашем распоряжении необходимой логики. Обнаружить нонсенс, значит обнаружить недостаток, который необходимо и имеет смысл восполнить.
Вывод: AI-инженер сегодня должен сегодня уметь работать как с абсурдными высказываниями, так и уметь выявлять нонсенс как место, где вероятнее всего могут обитать новые смыслы.
Т.е. современный AI-инженер должен быть всегда начеку (а это тоже навык) и обозревая предметную область, уметь высказываться об этой предметной области по-разному, обнаруживая связи и проверяя ИИ-машину как на тривиальности, так и абсурд, и нонсенс.
Именно здесь и лежит основание того навыка, которым должен обладать современный AI-инженер. Кроме, конечно, навыка формализации высказываний на естественном языке (промптов) и отличия скиллов от хуков.
Это значит, что современный AI-инженер должен обладать философским знанием, знанием аналитической философии, эпистемологии, гносеологии и теории познания.
Источник: habr.com