Я только что опробовал новые функции видео генеративного искусственного интеллекта от Runway

Создать видео из изображения или даже простой текстовой подсказки стало проще благодаря набору новых инструментов от стартапа искусственного интеллекта Runway. Новые функции включают в себя настройку того, какую часть изображения вы хотите анимировать, и улучшенную генерацию изображений. В отличие от генеративной фотографии, где за внимание конкурируют множество компаний и моделей, генеративное видео — относительно новая область. Meta недавно анонсировала Emu Video, модель искусственного интеллекта, которая могла бы стать частью будущего Instagram или Facebook, но на данный момент выбор ограничен. Есть несколько инструментов, таких как Synthesys и Pictory, которые ориентированы на создание аватаров, и есть HeyGen. , которая занимается созданием инструментов перевода. Однако Runway — это более общий инструмент для создания, предоставляющий полный набор инструментов для редактирования и создания видео.

Как создать видео с помощью Runway Motion Brush

Motion Blur — одно из самых громких обновлений Runway. Он позволяет вам делать именно то, что написано — создавать эффекты движения с помощью кисти. По умолчанию работа Runway заключается в создании движения по всей фотографии, но это позволяет вам сказать: «Сдвиньте только этот кусочек». Другая новая функция основана на серии предустановок стилей, которые позволяют вам действовать как арт-директор фильм, сообщая ему, как должно выглядеть, как должно работать движение и световые эффекты. Режим режиссера также был обновлен с более точными настройками управления камерой. Чтобы увидеть, что возможно, я решил попробовать. Я использовал изображение Я создал модель SDXL 1.0 от Stable Diffusion. Подсказка была такой: «Ковбой, идущий на закат на Диком Западе». Затем я усовершенствовал его до размера 16×9 и в гиперреалистичном стиле заставки с боковым освещением и красочным фоном.

Создать учетную запись на подиуме

(Изображение: © Runway) Вы можете подписаться на бесплатный аккаунт чтобы попробовать это. Runway позволяет вам зарегистрироваться напрямую, указав адрес электронной почты, или использовать службу единого входа от Apple или Google. После регистрации вы увидите страницу проекта Runway — нажмите «Начать с изображения».

Как выбрать изображение

(Изображение: © Runway) Чтобы добавить фотографию, которую можно превратить в видео, нажмите «Загрузить файл», чтобы выбрать изображение со своего компьютера. В моем случае это изображение ковбоя, которое я создал ранее. Вы также можете ввести простую текстовую подсказку, чтобы Runway создала для вас изображение.

Как добавить кисть движения

(Изображение: © Runway) После загрузки изображения нажмите кнопку «Кисть движения» (бета). Это загрузит вид кисти движения, в котором вы просто рисуете область, которую хотите анимировать.
Элементы управления по горизонтали, вертикали и близости предложат ИИ установить направление и размер движения в нарисованном вами окне. Нажав кнопку «Сохранить», вы вернетесь обратно.

Как сделать видео

(Изображение: © Runway) Существуют и другие параметры тонкой настройки, включая масштабирование изображения, если вы используете один из платных планов, удаление водяного знака и сглаживание кадров. Вы также можете установить движение и направление камеры. Когда вы будете довольны, нажмите «Создать 4s». Это создаст ваш первый 4-секундный клип.
Ваше видео будет помещено в очередь до тех пор, пока не освободится время обработки. Платные планы имеют приоритет над бесплатными учетными записями, но вы редко ждете более нескольких секунд. Создание видео после выхода из очереди может занять несколько минут.

Создание видео

(Изображение: © Runway) После создания видео вы можете воспроизвести его, загрузить для использования в видеоредакторе или превратить в gif — я рекомендую использовать Бесплатное преобразование видео в GIF от Adobe инструмент для этого — или даже опубликуйте его в библиотеке Runway.
Другой вариант — продлить его еще на четыре секунды — до 16 секунд. Для этого просто нажмите «Расширить 4s» в правом нижнем углу. Он создаст новый экземпляр, который будет на четыре секунды дольше. Это полезно, если у вас есть движение ходьбы, как в моем видео, для которого нужно еще несколько кадров. Помните, что каждое расширение использует больше ограниченных бесплатных кредитов, которые предоставляются вместе с учетной записью.