Все обширнее внедряя ИИ в жизнь, интегрируя ИИ в бизнес-процессы мы сталкиваемся с 2 феноменами, которые не удастся обойти. Это:
1. Требование ускорения и расширение круга задач. По моему мнению, именно на этом основан все больший дрейф от инженерно-рациональной постановки задачи к общению на если не на «естественном», то слабо формализованном языке. Речь идет, конечно же, о промптах (будь то агентские сценарии или просто диалоговое окно). Отчасти я уже говорил об этой проблематике, обсуждая проблемы Software 3.0., но в данном случае нас интересует не разработка софта, а взаимодействие с ИИ-инструментами в решении аналитических задач, внедрении диалоговых систем и разного рода помощников (чат-боты) и т.д..
2. Все возрастающий анимизм и антропоморфизм в отношении искусственных систем. И связан он не только с нашим стремлением к антропоморфизации объектов окружающего нас мира, но и с откровенной эксплуатацией этой нашей склонности со стороны поставщиков разного рода ПО. Основная проблема здесь – снижение критичности мышления.
Наличие этих феноменов, на мой взгляд, приводит к возникновению целого ряда тенденций, которые становятся опасными с точки зрения бизнеса. По сути, мы должны говорить о возникновении нового класса скрытых угроз.
Здесь мы можем оставить общечеловеческие, гуманистические аспекты проблемы, а сосредоточиться на тех ошибках, которые приводят ко вполне конкретным финансовым и репутационным потерям компаний.
Однако, на сколько безнадежна ситуация? Мне кажется, что нет, но требуется внести ряд новаций в саму корпоративную культуру в части работы с ИИ. Начиная с разработки методик оценки применимости ИИ, и заканчивая самой стилистикой тех документов, которые готовятся в компаниях.
Требование ускорения и расширение круга задач.
И первое: что здесь возникает, это проблема снижения критичности в оценках полученных результатов.
В погоне за эффективностью компании все более и более стремятся повысить скорость принятия решения и искусственно раздвинуть компетенции сотрудников, сокращая персонал. Почему бы наделив сотрудника ИИ-помощником, не расширить его должностные обязанности задачами из «смежных» областей: почему продавцу из отдела сантехники, не вменить продажу велосипедов, а финансовому аналитику – расчеты себестоимости. Что важно, не занимаясь необходимостью переподготовки и дообучения сотрудника.
Находясь под прессом необходимости принимать все большее количество решений, за все более ограниченное время, действуя зачастую если и не в неизвестных, но в пограничных областях, не имея полноценной возможности делегировать ответственность (ведь эксперта, который подготавливает отчет, мы убираем), человек с неизбежностью будет чаще ошибаться.
И первые, кто становится мишенью – управленцы всех уровней. От них требуют все быстрее принимать решения и нести всю полноту ответственности.
Второе, это доступ к принятию решений людей, не подготовленных к правильной постановке задачи. Например, все чаще инженерные задачи передаются гуманитариям, вооруженным ИИ-помощниками.
В философии, да и в любой науке в целом, решение любой проблемы начинается с необходимости ее проблематизации, где проблема (древнегреч. problema — преграда, трудность, задача) — противоречие, которое требует разрешения на основе проведения исследований.
И решение ее начинается не с поиска непосредственных путей решения, а с выявления обстоятельств (условия, факты, контекст и т.д.) которые привели к ее возникновению. После чего производится анализ целей (поставленные цели могут оказаться и мнимыми), фактического наличия всей полноты информации и перечня недостающих фактов как о предметном поле, так и причинах ее возникновения. Оценки имеющихся в наличии способов или подходов, которые теоретически могут привести к ее решению.
Говоря о «полноте…», «наличии…» и т.д., мы тут же попадаем в пространство неизвестного. Начинают возникать первые вопросы:
1.На сколько человек готов воспринять полученную информацию? Обладает ли он достаточны опытом и когнитивными навыками как для постановки проблемы, так и для принятия решения?
2. На сколько полон полученный от ИИ-помощника ответ? Есть ли за пределами предложенного списка иные решения? Отсюда вопрос – на сколько контекстно точны настройки скилов и т.д. ИИ-агента? Вообще, говоря об увлечении агентами и их возможностями, многие упускают из вида, что они представляют собой, по сути, множество md-файлов, внутри которых лежит некий слабо формализованный текст. И это не формулы, составленные с помощью того или иного языка науки. Это несколько формализованные, т.е. по возможности проверенные разработчиком-писателем на неоднозначность высказывания. Автор здесь уже не инженер (хоть его так часто и называют), а скорее писатель. Да, они более формализованы чем обыденная речь, но все же это просто текст.
3. Какова уверенность:
a) Что та или иная модель или комбинация моделей имеет всю необходимую полноту, и обучение происходило на нужном вам массиве фактов? Полон ли ответ?
b) Что получатель имеет достаточно эрудиции и опыта в исследуемом вопросе для верной интерпретации и применения результата?
c) Что логика, заложенная вами средствами обыденного языка, а не языка науки (формул) будет совпадать внутренней логикой интерпретации высказываний, заложенной разработчиками? Все же помним: «А и Б сидели на трубе…». Сегодняшняя машина, конечно, не сгорит и не сойдет с ума, но вот что она выдаст?
d) Что в ходе обучения модели, на этапе RLHF (Reinforcement Learning from Human Feedback — обучение с подкреплением на основе отзывов людей), создателями учтены все факторы и полученные ответы будут полными и точными (с точки зрения контекста проблемы), безопасными и понятными для человека?
e) Что делать с тем фактом, что сама по себе логика GenAI построена на прогнозировании вероятности следующего слова или даже фразы? А что, если вероятности с точки зрения комбинаторики равны?
Это только часть проблем. Отсюда следует, что полноценно и относительно безопасно использовать ИИ-модели мы можем либо:
1. в качестве голосового интерфейса, служащего для перехвата строго типизированных вопросов и отправки их по средствам RAG и MCP в «обычные системы» с последующим оформлением ответа в некий формальный документ.
2. понимать их не более (но и не менее) как вспомогательный материал при более широком контексте, где нет «просто» завуалированных обращений к той или иной базе знаний.
Это значит, что внедряя такие системы, компании должны озаботиться тем, чтобы акцентировать внимание пользователей (как сотрудников, так внешних потребителей) на необходимости критического переосмысления результатов.
И здесь, не считая разного рода требования соблюдения авторских прав, лежит один из важных смыслов законодательного требования к обязательному маркированию, сгенерированных с помощью ИИ материалов.
Все возрастающий анимизм и антропоморфизм.
Человек склонен к анимализму. Ему свойственно оживлять мир вокруг себя. И в этом есть смысл. По сути, это модель нашего взаимодействия с миром. Наделяя предметы мира признаками живого, человеку проще моделировать поведение объектов окружающего мира.
Наука всегда стремилась уйти от этого. Пик позитивистской науки XIX — XX веков, казалось бы, окончательно вытравил это из нашего обыденного сознания, того, что называется «здравый смысл». Но, кажется, вселенная снова посмеялась над нами явив чудо ИИ.
Тест Тьюринга сегодня окончательно перестает быть надежным барьером. Наша внутренняя природа с большой охотой начинает некритически воспринимать ИИ как нечто живое и думающее.
И к этому нас подталкивают в том числе как копании-разработчики, так и отдельные исследователи в погоне за новыми грантами.
Невозможно продать что-то, если оно не будет согласовываться с внутренними представлениями покупателя. Добиться этого можно или создав соответствующую иллюзию (сделав подмену понятий), или изменив (расширив) наши представления о наличии чего-то, что нам интуитивно близко и необходимо.
Как я уже писал выше, человек по природе своей склонен к анимализм и меняя языковые конструкции, декларируя скорое возникновение сознания на основе эффекта эмерджентности и эмоционального интеллекта на основе языковой комбинаторики, запугивая неизбежностью разного рода сингулярностей и т.д., поставщики снижают критичность восприятия и вселяют надежды в наличие простого (но дорогого) решения.
Получая ощущение того, что это не просто система, а живой (или почти живой) организм, они убеждают вас на подсознательном уровне, что вы покупаете не просто еще одно решение, а нового члена команды, способного многократно повысить вашу эффективность.
Выводы:
Целью данной статьи является не призыв к лудизму или приуменьшению возможностей ИИ. Нет. Целью является призыв переосмыслить корпоративные формы работы с ИИ. И прежде всего:
1. Более тщательно относиться к терминам и определениям. Формировать внутренний корпоративный язык, обеспечивающий ясность и однозначность разного рода дискурсов вокруг ИИ.
2. Формировать внутренние программы для повышения осведомленности сотрудников относительно преимуществ и недостатков не только непосредственно ИИ-инструментов, но и возможных последствий внедрения новых бизнес-процессов и процессов принятия решений. Выработке навыков критического мышления.
3. Создавать внутренние методики, не только направленные на оценку эффекта от внедрения ИИ, но и методологические требования к процессу определения целей: разработке технических обоснований (ТО), технических требований (ТТ), технических заданий (ТЗ) и т.д..
4. При подготовке документов проводить более тщательную, а может быть и специализированную, экспертизу препятствующую бессознательной антроморфизации ИИ.
5. Вводить, например, обучение основам и методам аналитической философии. Именно этот раздел философии занят проблемами построения и анализа высказываний. И эта проблема касается не только сотрудников, непосредственно участвующих в разработке ИИ-сценариев, но всех участвующих в процессе внедрения и эксплуатации ИИ-инструментов.
6. Вводить курсы по основам философии науки и техники для формирования правильного понимания роли и месте техники в организации и обществе в целом, пониманию структуры научного знания и методам научного познания: гносеологии и эпистемологии.
Источник: habr.com