Вчера DeepMind анонсировала Veo 2, ИИ видеогенератор следующего поколения и преемник Veo. Расскажу о возможностях, ограничениях и первых впечатлениях счастливцев от модели.
Google DeepMind — флагманская исследовательская лаборатория Google в области ИИ, хочет превзойти OpenAI в области генерации видео.
Что может?
Заявляется, что Veo2 может:
— создавать двухминутные клипы с разрешением до 4k (4096 x 2160 пикселей).
— генерировать видеоролики по текстовой подсказке (например, «Автомобиль мчится по автостраде») или по тексту и контрольному изображению
— DeepMind утверждает, что модель имеет улучшенное «понимание» физики и управления камерой, а также создает «более четкие» кадры.
— текстуры и изображения в клипах более четкие — особенно в сценах с большим количеством движения
— более реалистично моделировать движение, динамику жидкости (например, кофе, наливаемый в кружку — а это ахилессова пята нейронок в части видео) и свойства света (например, тени и отражения). Это включает в себя различные линзы и кинематографические эффекты, говорит DeepMind, а также «нюансированное» человеческое выражение.
VideoFX (экспериментальный инструмент для создания видео от Google) Истоник
Veo 2, похоже, хорошо разбирается в преломлении и сложных жидкостях, таких как кленовый сироп, а также обладает способностью имитировать анимацию в стиле Pixar.
Вот пример видео, созданного с помощью Veo2:
Все ли так хорошо?
И все же Veo 2 не может полностью преодолеть «зловещую долину»: такие элементы как дополнительные пальцы или «неожиданные объекты» могут иметь место. Почему это так сложно — читайте тут.
Обратите внимание на безжизненные глаза этого мультяшного существа, Источник
DeepMind продолжает работать с артистами и продюсерами над совершенствованием своих моделей и инструментов генерации видео.
В чем отличие от Sora?
-
в 4 раза больше разрешения
-
в 6 раз больше длительности, чем может обеспечить Sora от OpenAI.
Это теоретическое преимущество на данный момент. Сейчас видео ограничены разрешением 720p и продолжительностью восемь секунд. (Sora может создавать клипы до 1080p и продолжительностью 20 секунд).
Во внутреннем тестировании Google (и по мнению первых пользователей) модель обошла Sora, Kling и другие модели по общему качеству генерации и уровню следования промту пользователя.
Как получить доступ?
VideoFX (экспериментальный инструмент для создания видео от Google) недоступен, но Google заявляет, что на этой неделе расширит число пользователей, которые смогут получить к нему доступ.
Вице-президент по продуктам компании DeepMind сообщил TechCrunch, что Google сделает Veo 2 доступным через свою платформу для разработчиков Vertex AI, «когда модель станет готова к масштабному использованию».
Google планирует внедрить модель в YouTube Shorts и другие свои сервисы.
Статья оригинал здесь