Следите за нами в социальных сетях:

Единая отраслевая платформа по электронике, микроэлектронике и новым технологиям
我们在俄罗斯为中国公司做广告
Новости электроники и микроэлектроники
Приглашаем подписаться на наш telegram-канал https://t.me/IndustryHunter, где мы публикуем новости, перепосты важных сообщений от ассоциаций и наших информационных партнеров, анонсы ближайших событий и многое другое

В Яндексе придумали новый способ сжатия нейросетей

| 365

Учёные Яндекса разработали и опубликовали в свободном доступе новые методы сжатия больших языковых моделей. По мнению специалистов Yandex Research, они позволят бизнесу сократить расходы на вычислительные ресурсы до восьми раз. Разработка будет полезна корпорациям, стартапам и исследователям, которые запускают нейросети на своём оборудовании.

Чтобы большая языковая модель отвечала качественно и быстро, требуется множество дорогостоящих мощных графических процессоров. Решение Яндекса позволяет уменьшить модель в несколько раз, сократить количество необходимых процессоров и запустить её на устройствах с меньшей вычислительной мощностью. А значит внедрение нейросетей и обслуживание оборудования станет дешевле для бизнеса. 

Решение Яндекса включает в себя два инструмента. Первый позволяет получить уменьшенную до восьми раз нейросеть, которая быстрее работает и может быть запущена, например, на одном графическом процессоре вместо четырёх. Второй инструмент исправляет ошибки, которые возникают в процессе сжатия большой языковой модели.

Качество ответов оригинальной и сжатой версии нейросети сравнивали на англоязычных бенчмарках. Новый подход показал лучший результат среди всех существующих методов сжатия, отмечают в Яндексе. Метод, созданный в Yandex Research, сохраняет в среднем 95% качества ответов нейросети, а другие популярные инструменты сохраняют для тех же моделей лишь 59% — 90% качества. Код нового метода опубликован на GitHub, также можно скачать уже сжатые с его помощью популярные модели с открытым исходным кодом и обучающие материалы.

 

 

Источник: https://www.ixbt.com/news/2024/07/23/v-jandekse-pridumali-novyj-sposob-szhatija-nejrosetej.html

 

Подписаться на рассылку

Вернуться к ленте новостей