Компания ElevenLabs представляет новый продукт — 11ai, который представляет собой голосового ИИ-помощника, предназначенного для активного участия в цифровых рабочих процессах. Альфа-версия предназначена для демонстрации возможностей технологии, ориентированной на голос, и интеграции с API.
По данным ElevenLabs, большинство голосовых помощников с трудом выходят за рамки простого диалога и редко предпринимают продуктивные действия. 11ai стремится изменить это: пользователи дают голосовые команды, а система выполняет задачи от их имени.
Голосовая продуктивность с прямой интеграцией инструментов
Через веб-интерфейс 11.ai/app/eleven пользователи могут выполнять такие команды, как «Спланируй мой день и добавь мои самые важные задачи в Linear» или «Используй Perplexity, чтобы изучить информацию о нашей сегодняшней встрече с потенциальными клиентами и подвести итоги их недавнего финансирования».
В рекламном видео показано, что 11ai доступен в каждой комнате, хотя ElevenLabs не уточняет, какое оборудование используется для обработки ответов.
Система может выполнять последовательные действия и понимать контекст в различных инструментах. Например, при изучении клиента 11ai выполняет поиск в подключенных системах, находит соответствующие данные и обрабатывает их с помощью обновлений CRM или сообщений для команды.
Встроенные интеграции и пользовательские серверы
Функционал 11ai основан на протоколе контекстной модели (MCP), стандартизированной интеграции API для помощников с искусственным интеллектом. Платформа ElevenLabs с диалоговым искусственным интеллектом изначально поддерживает MCP и подключается к таким сервисам, как Salesforce, HubSpot, Gmail и Zapier.
На момент запуска Elevenlabs предлагает готовые интеграции для Perplexity, Linear, Slack, HackerNews и Google Календаря, а также планирует еженедельно выпускать новые.
Базовая платформа ElevenLabs для диалогового ИИ обеспечивает низкую задержку при общении в реальном времени и поддерживает мультимодальное голосовое и текстовое взаимодействие.
Платформа также включает функцию RAG для доступа к внешним базам знаний и может автоматически определять языки для многоязычных диалогов. Пользователи могут выбирать из более чем 5000 голосов или создавать собственные голосовые клоны для персонализации.
Выбор готовых интеграций по-прежнему очень ограничен, но, вероятно, ситуация быстро изменится благодаря используемому протоколу Model Context
11ai также поддерживает пользовательские серверы MCP. Команды могут подключать внутренние инструменты или специализированное программное обеспечение к 11ai через собственные серверы MCP, расширяя функциональность ассистента в соответствии со своими рабочими процессами.
По данным ElevenLabs, 11ai использует модель разрешений, позволяющую пользователям указывать, какие действия помощник может выполнять для каждого приложения.
В настоящее время 11ai доступен в качестве бесплатной экспериментальной альфа-версии. ElevenLabs использует альфа-версию для сбора отзывов об интеграции, желаемых MCP-серверах, голосовом взаимодействии в сравнении с традиционными интерфейсами и новых функциях для повседневных задач.
Действенные агенты становятся нормой
Выходя на рынок голосовых помощников, ElevenLabs напрямую конкурирует с растущим числом аналогичных продуктов. Perplexity недавно выпустила мобильного помощника, который может выполнять такие задачи, как бронирование столиков в ресторане. Amazon представила Alexa+, обновленную версию Alexa, ориентированную на голосовое взаимодействие.
Claude от Anthropic также совместим с протоколом MCP, хотя он больше ориентирован на использование в сфере B2B. Только недавно Claude получил голосовой режим, основанный на технологии ElevenLabs. Google Gemini поддерживает голосовое взаимодействие, но его возможности по выполнению действий и интеграции с инструментами всё ещё ограничены — даже в рамках собственной экосистемы Google.
По ссылке вы можете получить 100 000 бесплатных токенов для первых задач на BotHub и уже сейчас начать работать!
Источник
Источник: habr.com