Block Джека Дорси представила речевую модель Dessa. Ее обучили только на записях человеческих разговоров, без текста. Модель слушает и говорит одновременно и распознает сарказм.
Компания Block, которую основал Джек Дорси, представила речевую нейросеть Dessa. Разработчики называют ее первой в мире моделью для живого разговора с ИИ, которую обучали только на человеческой речи. В обучении не использовали ни текстовые данные, ни заранее обученные модели. Язык, интонации и манеру вести беседу Dessa усвоила исключительно на слух.
Обычные голосовые ассистенты сначала переводят речь в текст, обрабатывают его и затем снова озвучивают ответ. Dessa работает со звуком напрямую: на вход получает голос и голосом же отвечает. Это так называемая полнодуплексная модель. Как и человек в телефонном разговоре, она может слушать собеседника и говорить одновременно. По описанию Block, нейросеть сама понимает, когда уместно вставить реплику, поддакивает («ага», «понял»), смеется, вздыхает и меняет громкость голоса по просьбе. Она также распознает эмоции и сарказм. По словам разработчиков, Dessa отвечает быстрее реального времени, поэтому в разговоре не возникает неловких пауз.
Из записей разговоров модель усвоила не только слова, но и акценты, паузы, дыхание и ритм речи. Авторы утверждают, что ей понадобилось в сотни раз меньше слов, чем большим языковым моделям. При этом ей пришлось иметь дело с более сложными явлениями живой речи. Сами разработчики называют Dessa «самой естественной полнодуплексной речевой моделью из когда-либо созданных». Независимых сравнений пока нет.
Модель обучали всего на одной серверной системе Nvidia GB200 NVL72. Запустить ее можно локально, без облака, на ноутбуке уровня MacBook Pro с чипом M4 Max или мощнее. На странице проекта выложены записи демонстрационных диалогов. В них Dessa вспоминает фильмы, дает жизненные советы, обсуждает игры и разговаривает с голосовой моделью GPT-Live-1.
Источник: hi-tech.mail.ru