Про запуск відкритого бета-тестування Adobe Firefly Video компанія оголосила на конференції MAX, присвяченій оновленням продуктів Adobe. Розробники стверджують, що Firefly Video — перша публічна відеомодель, якою можна користуватися у комерційних цілях
В Adobe також наголосили, що тренували Firefly лише на ліцензованому контенті з Adobe Stock та матеріалах з відкритих джерел, a роботи користувачів програм компанії не використовували.
Що може Firefly Video
Модель працює з готовими відео: їх можна розширювати, якщо фрагмент закороткий, та видозмінювати, наприклад, напрямок погляду людини в кадрі.
Такі ж дії можна проводити й з аудіо, проте модель не розширюватиме діалог та не працюватиме з музикою. Під час експорту відео також можна позначити як таке, що створили за допомогою ШІ.
Firefly Video може генерувати відео за текстовим запитом чи з фотографії. Серед форматів — 2D та 3D анімації, графічні відео, текстова графіка, короткі відео з тваринами, природою, a також анімовані доповнення для відео, наприклад дим, відблиски тощо.
Формуючи запит, користувач має вказати персонажа, місце, рух та естетику відео. Він також може регулювати напрямок, ракурс та швидкість камери, наприклад:
«Кінематографічний середній кадр, на рівні очей, красивого пухнастого кролика в засніженому лісі на сході сонця, мрійливе боке, відблиски об’єктива, теплі кольори, кролик реалістичний з м’яким, деталізованим хутром, що виблискує в сонячному світлі, рух камери тонкий і м’який, в сповільненому зніманні, знятий на зернисту плівку, сніжинки, що м’яко падають на задньому плані, високодеталізовані».
Функції розширення та видозміни готових відео доступні у бета-версії застосунку Adobe Premiere Pro. Генерувати нові відео можна на сайті Firefly.adobe.com після подачі та підтвердження заявки на відкрите тестування.
Про інші ШІ-моделі з генерування відео
У лютому 2024 року OpenAI представила ШІ-модель Sora, яка за запитом користувача генерує з тексту однохвилинні відео.
ШІ здатна генерувати «складні сцени з декількома персонажами, певними видами рухів та деталізацією фону». Відтворюючи текстовий запит, Sora спиратиметься на свої знання про те, як речі існують у реальному світі.
View this post on Instagram
Окрім генерування абсолютно нового відео, Sora може розширювати раніше згенерований контент, заповнювати відсутні кадри та анімувати фотографії.
Наразі Sora перебуває на стадії збору відгуків та перевірки безпеки. Докладніше про неї ми розповідали тут.
