Генеративная ИИ-модель от Adobe уже доступна в Premiere Pro. Можно создавать видео из фото и описания

Ещё два ИИ-инструмента — Text-to-Video и Image-to-Video — появились в приложении Firefly

14 октября 2024, 17:35 Новости / ИИ

В начале этого года компания Adobe анонсировала собственную генеративную ИИ-модель Firefly Video для создания видеороликов. Теперь она появилась в редакторе Premiere Pro в виде новых инструментов. Это позволит расширить возможности программы и в какой-то мере упростить обычным пользователям и профессионалам выполнение задач.

Telegram-канал создателя Трешбокса про технологии

Интегрированный в Premiere Pro инструмент называется Generative Extend, его можно использовать для растягивания ролика во времени или внесения изменений в середине кадра. Generative Extend может заполнить пробелы в отснятом материале, которые обычно требуют полной пересъёмки, например, добавить несколько дополнительных шагов человеку, идущему рядом с автомобилем. Работает как с видео-, так и с аудиоматериалом.

Ролики можно удлинять только на 2 секунды, поэтому Generative Extend подходит для небольших правок. Видео создаётся в формате 720p или 1080p с частотой 24 кадра в секунду. Звуковые эффекты или музыку можно удлинить до 10 секунд.

Два других инструмента для создания видео — Adobe Text-to-Video и Image-to-Video — развёртываются в виде ограниченной бета-версии в приложении Firefly. Первый работает аналогично другим генераторам видео — пользователям нужно просто вставить в текстовое поле описание того, что они хотят создать. Инструмент Text-to-Video умеет эмулировать различные стили, как будто это настоящий фильм или 3D-анимация, а сгенерированные клипы можно редактировать с помощью «управления камерой», меняя углы обзора, движение и расстояние.

Image-to-Video идёт ещё дальше, позволяя пользователям добавлять референсное изображение вместе с текстовым запросом. Adobe предлагает задействовать этот инструмент для создания дополнительного материала из изображений, используя кадр из существующего видео. Ниже приведен пример изменения видео, однако, как показывает результат, эта технология пока не способна полностью заменить пересъёмку из-за ошибок. К примеру, на сгенерированном видео можно заметить шевелящийся кабель и меняющийся фон.

Оригинал

Отредактированное с помощью Image-to-Video 

Создавать целые фильмы с помощью этих инструментов не получится. Максимальная длина клипов для Text-to-Video и Image-to-Video составляет 5 секунд, а максимальное качество — 720p с частотой 24 кадра в секунду.

Генерация видео с помощью всех трёх инструментов занимает около 90 секунд. Adobe заявляет, что работает над «турборежимом», чтобы сократить это время. Компания также утверждает, что её инструменты «коммерчески безопасны», поскольку обучены на разрешённом контенте.

Источник

Telegram-канал создателя Трешбокса про технологии 30···Последнее изменение:
14 октября 2024, 17:58https://tbx.su/lSS

Svidetel Автор

ИИ 2,8K участников Вступить