Искусственный интеллект (AI) и большие языковые модели (LLM), которые лежат в его основе, обладают широким спектром полезных функций. Однако, несмотря на все их достоинства, они не могут гарантировать стопроцентную надёжность.
Никто не знает, когда эта проблема будет решена, поэтому неудивительно, что стартапы видят возможность помочь компаниям убедиться, что приложения на базе LLM, за которые они платят, работают должным образом.
Лондонский стартап Composo считает, что у него есть преимущество в решении этой проблемы благодаря собственным моделям, которые помогают предприятиям оценивать точность и качество приложений на основе LLM.
Компания похожа на Agenta, Freeplay, Humanloop и LangSmith, которые, как утверждается, предлагают более надёжную альтернативу человеческому тестированию, контрольным спискам и существующим инструментам мониторинга на основе LLM. Но Composo утверждает, что отличается от них тем, что предлагает как вариант без программирования, так и API. Это примечательно, потому что расширяет потенциальный рынок — вам не нужно быть разработчиком, чтобы использовать его, а эксперты в области и руководители могут самостоятельно оценивать приложения AI на предмет несоответствий, качества и точности.
На практике Composo объединяет модель вознаграждения, обученную на результатах, которые человек предпочёл бы видеть в приложении с искусственным интеллектом, с определённым набором критериев, характерных для этого приложения, чтобы создать систему, которая, по сути, оценивает результаты работы приложения по этим критериям. Например, клиент медицинского чат-бота может задать собственные рекомендации по проверке тревожных симптомов, а Composo может оценить, насколько последовательно приложение их выполняет.
Недавно компания выпустила общедоступный API для Composo Align — модели для оценки приложений LLM по любым критериям.
Стратегия, похоже, в какой-то степени работает: в клиентской базе компании есть такие названия, как Accenture, Palantir и McKinsey, и недавно она привлекла 2 миллиона долларов предварительного финансирования. В условиях современного венчурного рынка сумма, которую удалось собрать, не является чем-то выдающимся для стартапа. Однако она примечательна, поскольку речь идёт о сфере искусственного интеллекта, где финансирование подобных компаний обычно весьма значительно.
Но, по словам соучредителя и генерального директора Composo Себастьяна Фокса, относительно небольшое количество средств связано с тем, что подход стартапа не требует больших капиталовложений.
«По крайней мере, в ближайшие три года мы не планируем привлекать сотни миллионов долларов, потому что многие люди создают базовые модели и делают это очень эффективно, а это не наше уникальное торговое предложение, — сказал Фокс, бывший консультант McKinsey. — Вместо этого каждое утро, если я просыпаюсь и вижу новость о том, что OpenAI значительно улучшила свои модели, это хорошо для моего бизнеса».
Благодаря новым средствам Composo планирует расширить свою инженерную команду (во главе с соучредителем и техническим директором Люком Маркхэмом, бывшим инженером по машинному обучению в Graphcore), привлечь больше клиентов и усилить свои исследования и разработки. «В этом году мы уделяем больше внимания масштабированию технологий, которые у нас уже есть в этих компаниях», — сказал Фокс.
Британский предпосевной фонд Twin Path Ventures, специализирующийся на искусственном интеллекте, возглавил посевной раунд, в котором также приняли участие JVH Ventures и EWOR (последний поддержал стартап в рамках своей программы акселерации). «Composo устраняет критическое препятствие на пути внедрения корпоративного AI», — говорится в заявлении представителя Twin Path.
По словам Фокса, это препятствие является серьёзной проблемой для всего движения за AI, особенно в корпоративном сегменте.
«Люди уже не так воодушевлены и теперь думают: «Ну, на самом деле, действительно ли это что-то меняет в моём бизнесе в его нынешнем виде? Потому что это недостаточно надёжно и стабильно. И даже если это так, вы не можете доказать мне, насколько это важно», — сказал он.
Что касается конкурентного преимущества, Фокс считает, что исследования и разработки, необходимые для достижения этого, не являются тривиальными. «Это и архитектура модели, и данные, которые мы использовали для её обучения», — сказал он, объяснив, что Composo Align был обучен на «большом наборе данных экспертных оценок».
По-прежнему остаётся вопрос о том, что могли бы сделать технологические гиганты, если бы они просто использовали свои огромные ресурсы для решения этой проблемы, но Composo считает, что у него есть преимущество первопроходца. «Другое преимущество — это данные, которые мы накапливаем с течением времени», — сказал Фокс, имея в виду, что Composo сформировал предпочтения в оценке.
Поскольку Composo оценивает приложения по гибкому набору критериев, компания считает, что она лучше подготовлена к развитию агентского AI, чем конкуренты, использующие более ограниченный подход. «На мой взгляд, мы определённо не на том этапе, когда агенты хорошо работают, и именно эту проблему мы пытаемся решить», — сказал Фокс.
Источник
Источник: habr.com
Похожие новости:
ML в медицине: дайджест за 21 — 27 октября 2024 г
Гиперперсонализация: как сделать предложение пользователю релевантным
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру
«Слушая подкасты, ничего не узнаешь, ты должен устать, упасть без задних ног — такой должна быть встреча с образованием»