Китай и правда понесло: представлена нейросеть OmniHuman-1, которая создаёт максимально живые видео по фотографиям
Кадр из видео
В ByteDance разработали систему искусственного интеллекта, которая преобразует фотографии в максимально реалистичные видеоролики.
Новая система под названием OmniHuman-1 генерирует видеоролики в полный рост, на которых люди жестикулируют и двигаются в соответствии с речью, превосходя предыдущие модели искусственного интеллекта, которые могли анимировать только лица или верхнюю часть тела.
В последние годы сквозная человеческая анимация претерпела заметные улучшения, — заявили в ByteDance. — Однако существующие методы по-прежнему с трудом масштабируются в качестве больших общих моделей генерации видео, что ограничивает их потенциал в реальных приложениях.
Команда обучила OmniHuman-1 на более чем 18 700 часах человеческих видеоданных, используя новый подход, который объединяет несколько типов входных данных — текст, аудио и движения тела. Эта стратегия обучения «всеобщих условий» позволяет ИИ обучаться на гораздо более крупных и разнообразных наборах данных, чем предыдущие методы.
Наша главная идея заключается в том, что включение в процесс обучения множественных кондиционирующих сигналов, таких как текст, аудио и поза, может значительно сократить потери данных, — пояснила исследовательская группа.
В ходе тестирования OmniHuman-1 превзошла существующие системы сразу по нескольким показателям качества. Огромное количество примеров можно найти по этой ссылке.
Ранее китайская технологическая компания Alibaba выпустила новую версию своей модели искусственного интеллекта Qwen 2.5-Max, которая, по словам представителей компании, превзошла высоко оцененную модель DeepSeek-V3. А DeepSeek сообщила о запуске новейшей ИИ-модели Janus-Pro-7B.
06-02-2025 15:25 115
Industry Hunter
только что
