Kandinsky 6.0 создаёт видео вместе с речью, музыкой и звуками окружения

Kandinsky 6.0 создаёт видео вместе с речью, музыкой и звуками окружения

Сбер добавил в «ГигаЧат» бесплатную генерацию видео с синхронным звуком. Достаточно описать сцену и нужное звучание либо загрузить первый кадр. Kandinsky 6.0 Video создаёт изображение и аудио совместно: речь согласуется с движением губ, а звуковые эффекты — с событиями в кадре. Пока продолжительность ограничена пятью секундами; её обещают увеличить.

«Мы хотим, чтобы генеративный ИИ стал таким же естественным инструментом креатора, как сегодня текстовый редактор или камера телефона», — заявил руководитель блока развития генеративного ИИ Сбера Антон Фролов.

Для разработчиков опубликованы код и веса двух моделей под лицензией MIT: Lite с 3 млрд параметров и Pro с 29 млрд. Аудио генерируется с частотой дискретизации 44 кГц, разрешение видео повышается до Full HD отдельной моделью масштабирования. Открытая публикация позволяет запускать Kandinsky на собственном оборудовании и встраивать в свои сервисы.

Создать видео в ГигаЧате · Код и ссылки на веса · Технический отчёт

#dtновости #новости #Сбер #Kandinsky #ГигаЧат #ИИ
@digitaltimeslv

Original in Telegram: https://t.me/digitaltimeslv/10862

Поделиться

TelegramFacebookLinkedInWhatsAppX