Появился инструмент, который обещает убрать языковой барьер из видеозвонков без танцев с бубном. Команда Kizuna AI Lab выпустила Sokuji — кроссплатформенное приложение и браузерное расширение для живого перевода речи с сохранением голоса. Если коротко: вы говорите на одном языке, а собеседник слышит уже осмысленную речь на своём, причём в реальном времени. Проект выложили в открытый доступ на GitHub, плюс сделали расширение для Chrome и Edge — ссылки уже доступны.
Sokuji умеет два главных трюка. Первый — перевод вашего собственного голоса. Вы запускаете приложение или расширение, выбираете языковую пару и просто говорите в микрофон. На выходе собеседники получают аудиопоток на нужном языке. Второй — перевод чужой речи в прямом эфире. Если на созвоне кто-то говорит, скажем, на французском, программа перехватывает аудио и выдаёт вам субтитры или синтезированную речь на вашем родном языке. Всё это работает с основными платформами для конференций: Zoom, Google Meet, Microsoft Teams, Discord, Slack, а также с российскими сервисами вроде Яндекс.Телемост. Для десктопной версии список ещё шире — можно использовать с любым приложением, которое принимает сигнал с микрофона, включая игры и OBS.
Sokuji — кроссплатформенное приложение для живого перевода речи с сохранением голоса
Приложение имеет двойной режим работы и можно подключить облачные нейросети через API: поддерживаются OpenAI, Google Gemini, Palabra.ai, собственный сервис Kizuna AI, китайский Doubao AST 2.0 и любые эндпоинты, совместимые с OpenAI Realtime API. При таком раскладе доступно более 99 языков для распознавания и 53 для синтеза речи. Однако куда интереснее второй вариант — полностью локальный режим. Он работает вообще без интернета и API-ключей. В основе лежат WASM и WebGPU, так что не требуется дискретная видеокарта: обсчёт идёт силами центрального процессора и встроенной графики. Локально уже доступно 48 моделей распознавания речи, более 55 языковых пар для перевода и 136 голосов для озвучки. Все модели скачиваются по клику и кешируются в IndexedDB браузера. Для тех, кто ценит приватность, это весомый аргумент: аудио вообще не покидает устройство. Даже в облачном режиме ключи доступа хранятся только локально, а разработчики не собирают голосовые данные. Из телеметрии — лишь анонимная аналитика через PostHog.
Встроенное шумоподавление отсекает клавиатуру, уличный гул и прочие помехи, также есть эхоподавление через Web Audio API. Виртуальный микрофон позволяет пустить переведённый голос сразу в любую программу для звонков как обычный аудиоисточник. Интерфейс переведён на 30 языков, есть упрощённый режим для тех, кто не хочет лезть в настройки. Версии собраны под Windows, macOS (Intel и Apple Silicon) и Linux (deb-пакеты для x64 и ARM64).
Использование расширения в браузере
Надо понимать, что проект свежий и разработчики честно предупреждают, что локальный перевод пока не дотягивает до уровня облачных гигантов по качеству, особенно на редких языковых парах. Однако открытый исходный код и активная выкладка моделей дают надежду на быстрый прирост точности. Сможет ли Sokuji отвоевать место среди аналогичных решений вроде Rask AI или стартапов на базе Whisper — покажет время, но возможность запустить синхронный перевод полностью офлайн на обычном ноутбуке выглядит серьёзной заявкой.
Как думаете, перейдёт ли такой формат общения в разряд привычных инструментов вроде шумоподавления или до полноценной замены живых переводчиков ещё далеко? Делитесь мнением в комментариях.
НовостиЖелезо и технологииОС и программыискусственный интеллект
Источник: vgtimes.ru