Следите за нами в социальных сетях:

Единая отраслевая платформа по электронике, микроэлектронике и новым технологиям
我们在俄罗斯为中国公司做广告
Новости электроники и микроэлектроники
Приглашаем подписаться на наш telegram-канал https://t.me/IndustryHunter, где мы публикуем новости, перепосты важных сообщений от ассоциаций и наших информационных партнеров, анонсы ближайших событий и многое другое

Яндекс разрабатывает мультимодальную нейросеть SpeechGPT

| 338

Яндекс разрабатывает новую нейросеть под названием SpeechGPT и набирает для этого специалистов в области машинного обучения. На эту информацию в разделе вакансий компании обратило внимание издание «Коммерсантъ». Нейросеть SpeechGPT будет мультимодальной – способной обрабатывать разные виды вводных данных. Она должна уметь воспринимать текст и звук, отвечать текстом и звуком, решать разные задачи на стыке текста и звука, указано в описании.

Некоторые сервисы Яндекса уже понимают вводные данные разных видов. Например, с ассистентом «Алиса» можно общаться как голосом, так и текстом, а возможность обрабатывать одновременно текст и картинки есть в сервисе «Нейро». Но между мультимодальным пользовательским опытом и мультимодальностью самой нейросети есть разница, считают эксперты: в первом случае данные переводятся из одного вида в другой. 

Так, голосовой ассистент сначала преобразовывает речь в текст, затем его анализирует другая нейросеть, а уже третья превращает ответ обратно из текста в речь. Причём на каждом из этих шагов данные упрощаются. Мультимодальные модели учитывают контент разных типов без задержек и призваны улавливать эмоции, которые теряются при конвертации; так работает, к примеру, GPT-4o от OpenAI.

Аналитики полагают, что MVP-версия (минимально жизнеспособный продукт) SpeechGPT может появиться в ближайшие месяцы, а затем будет дорабатываться. Скорее всего, SpeechGPT будет встраиваться в уже существующие сервисы – будет происходить постепенная замена текущих нейросетевых моделей на более современные.

 

 

Источник: https://www.ixbt.com/news/2024/06/03/jandeks-razrabatyvaet-multimodalnuju-nejroset-speechgpt.html

Изображение: Freepik

 

Подписаться на рассылку

Вернуться к ленте новостей