Блог
Искуственный интеллект

Нейросеть Midjourney генерирует кадры из несуществующих фильмов: как сделать такое самому

Меня зовут Евгений Кузьмин, и я хочу предложить вам уникальную идею. Позвольте мне отказаться от своих денег, чтобы предоставить возможность Дэвиду Линчу снять новый фильм о Бэтмене. Я полностью уверен в его таланте и умении создавать захватывающие произведения искусства. Благодаря этому, я готов пожертвовать своими средствами, чтобы увидеть, как Линч воплощает свою уникальную визию этого персонажа.

В интернете великое множество творений нейросетей, которые впервые демонстрируют нам, каким образом выглядела бы знаменитая лента, если бы она была снята известными режиссерами.

В середине ноября, мы представили четвертую версию нейросети Midjourney, которая приносит важные новшества в мир использования искусственного интеллекта. Одним из уникальных новых сценариев стало возможность генерировать фильмы с такой реалистичностью, что могут создаться впечатление, будто они существуют на самом деле. Пользователи могут сочетать различные картины, режиссеров и эпохи, редактировать культовые сцены и даже изменять актеров, занимающих главные роли.

В результате, были созданы работы, которые быстро распространяются по социальным сетям: начиная от фильмов "Мстители" в стиле Уэса Андерсона и заканчивая "Чужим" в стиле Хаяо Миядзаки. Некоторые энтузиасты используют нейросети, чтобы показать кадры из фильмов, которые были задуманы, но никогда не были сняты. Например, такие, как "Дюна" Алехандро Ходоровски или "Гарри Поттер" Терри Гиллиама.

Я разведал, как легко создавать собственные кадры из фильма, и делюсь примерами, которые я сам создал или обнаружил в специальном сообществе на Reddit.

УЧЕБНИК Т⁠—⁠ЖH3: Новинка: курс отом, как получить права

Получите бесплатный курс, который поможет вам стать владельцем лучшего положения как в автошколе, так и на дороге. Ознакомьтесь с программой уже сейчас.

Введение в Midjourney: как пользоваться нейросетью

Midjourney - это инновационная нейросеть, способная создавать уникальные визуальные образы на основе текстового описания. Ранее мы уже детально рассказывали о функционале этого сервиса в нашем отдельном материале, однако сейчас мы хотим повторно обратить внимание на его удивительные принципы работы.

Stable Diffusion - самая удобная нейросеть среди своих конкурентов. В отличие от Dall-E, у Stable Diffusion есть ограниченный доступ, и для запуска требуется мощный компьютер. Однако работа с Midjourney происходит полностью в мессенджере Discord, что делает ее доступной для всех. Просто скачайте приложение и присоединитесь к сообществу нейросети, и вы сможете использовать Stable Diffusion без необходимости владеть навыками программирования.

Окажитесь в новых и захватывающих каналах, известных как Newcomer Rooms, где вас ожидают сотни интригующих чатов для новичков. Вместе с вами эти увлекательные чаты будут посещать тысячи пользователей, превращая ваше пребывание в незабываемое исследование.

Для того чтобы нейросеть создала изображение, необходимо ввести команду /imagine в одном из чатов Newbies и задуматься над запросом. Для точного описания желаемой картинки следует использовать английский язык. После формулировки запроса следует нажать кнопку "Отправить". Бот немедленно начнет процесс генерации изображения, и вы сможете в режиме прямого эфира наблюдать, как смутные контуры преобразуются в четыре уникальные картинки.

Рерайт:

В современном мире индустрия косметики играет важную роль в жизни многих людей. Каждый человек стремится выглядеть привлекательно и ухоженно. Однако, найти подходящую косметику, которая сочетает в себе эффективность и натуральные компоненты, может быть сложной задачей. Наша команда экспертов в области косметологии разработала уникальную линию продуктов, которая соответствует самым высоким стандартам качества. Мы гордимся тем, что наша косметика прошла все необходимые клинические тесты, и ее эффективность подтверждена десятками положительных отзывов наших довольных клиентов. Мы предлагаем вам возможность обрести идеальное сочетание красоты и ухода, которое даст вашей коже здоровый и молодой вид.
После процесса генерации, вы имеете возможность повысить качество одного из изображений, представленных кнопками U1, U2, U3 и U4 или создать различные вариации конкретного результата, используя кнопки V1, V2, V3 и V4. Данные функции доступны на канале Newcome Room в Discord.

Midjourney предлагает бесконечные возможности для творчества и самовыражения. Неограниченное количество настроек и стилей позволяют не только создавать кадры из фильмов, но и воплощать в жизнь арт-проекты, создавать фотореалистичные изображения, 3D-модели, а также улучшать и редактировать собственные фотографии. Вдобавок, Midjourney предлагает вам уникальные инструкции о том, как создать нейроаватарку в любом желаемом стиле.

Во бесплатной версии нашей нейросети предоставляется 25 попыток. Каждая попытка может быть использована и для полноценного запроса, и для апскейла конкретной картинки. Однако, если вы желаете избавиться от этих ограничений, вы можете приобрести подписку. Платная версия предлагает множество преимуществ, включая безлимитную генерацию, повышенное качество и возможность создания картинок в приватном канале. Стоимость безлимитной подписки составляет 30 долларов в месяц, однако, к сожалению, оплата российской банковской картой невозможна.

Один из подходов, который поможет увеличить количество допустимых попыток, состоит в создании новых аккаунтов в Discord после истечения каждой пробной версии. Однако, следует быть осмотрительным, поскольку существует риск быть забаненным на данной платформе.

Обычно клиенты Midjourney начинают с простых экспериментов: они придумывают несложные запросы, перекрещивают картинки-референсы без какого-либо дополнительного описания. Однако создание кадров из фильмов является более сложным и комплексным процессом. Но с правильным подходом результаты работы нейросети поражают воображение.

Как составить запрос и сгенерировать фильм

Убедитесь, что вы используете самую актуальную версию Midjourney. Внутри Discord введите команду /settings и проверьте, чтобы была активирована настройка MJ version 4. Или просто добавьте --v 4 в конец вашего запроса.

Заодно советую подписать параметр --q 2, он улучшает качество генерации.
Для поиска специфичных кадров фильма рекомендуется использовать запрос "DVD screengrab". Сообщество Midjourney всегда предпочитает начинать поисковый запрос именно с этой фразы, и у него есть на это две весомые причины. Во-первых, при упоминании просто названия фильма, нейросеть часто выводит постер, а не конкретные кадры из него. Во-вторых, при попытках копирования изображения с DVD-диска Midjourney по умолчанию предоставляет реалистичные снимки, а не художественные произведения.

Проблема с использованием DVD screengrab заключается в том, что время от времени алгоритм неправильно интерпретирует запрос и вместо этого рисует экран телевизора. В такой ситуации рекомендуется либо запустить генерацию заново, либо изменить дополнительные параметры.

Вы также можете использовать инновационный инструмент под названием Different Dimension Me для обработки фотографий с помощью нейросети и создания уникальных аниме-аватаров.
При выборе фильмов и режиссеров следует обращать внимание на их выразительный стиль. Уникальность и качество сгенерированного контента напрямую зависят от того, насколько успешно нейросеть справляется с воссозданием особого авторского почерка и атмосферы данного творца или картины.

Midjourney первоначально тренировалась на работах художников, поэтому, возможно, нельзя однозначно утверждать, насколько хорошо нейросеть узнает стили режиссеров. Поэтому нам приходится проводить эксперименты. Однако, с фильмами все ясно: лучше выбирать те, которые имеют узнаваемые поп-культурные образы или фирменную эстетику и дизайн. Например, "Мстители", "Матрица", "Терминатор", "Чужой", "Звездные войны", "Отель Гранд Будапешт" и "Трон" могут стать отличными отправными точками в данном случае.

С режиссерами сложнее. Приведу некоторые из опробованных мной референсов, которые точно работают.

Хаяо Миядзаки является символом японской анимации благодаря своему уникальному стилю. Однако, когда дело касается запроса, даже указание "режиссером Studio Ghibli" будет более подходящим.
Тим Бертон - приносит долю готики. Уже само имя режиссера навевает темное настроение, но для более точного выбора можно использовать "Чарли и шоколадная фабрика" в качестве примера.

Андрей Тарковский выделяется среди российских и советских режиссеров. Его стиль особенно интересно сочетается с современным кинематографом. Если вы хотите узнать, как преобразить свое фото с помощью приложения Lensa и создать аватарку в различных стилях, прочитайте нашу статью на Tinkoff Journal.
Midjourney с легкостью передает визуальные особенности Уэса Андерсона - включая пастельные тона, симметричное компонование и центральное расположение персонажей. Независимо от выбранного фильма, стиль Midjourney идеально подойдет для его воплощения.

Алехандро Ходоровски - для тех, кто всегда мечтал увидеть фильм "Дюна" от известного чилийского режиссера. Этот проект являлся поистине величественным, в котором принимали участие такие знаменитости, как Сальвадор Дали, Мик Джаггер и группа Pink Floyd. Однако, несмотря на несколько лет подготовки, съемки были отменены. Единственным остатком от этого потрясающего фильма стали концепт-арты, которые называют "самым величайшим неснятым фильмом".
Выберите конкретную сцену из DVD-издания Властелин Колец. Хотя запрос "Кадр из DVD-издания Властелин Колец" может быть хорошим вариантом, но нейросеть получает слишком много свободы. В результате у вас будет меньше шансов получить желаемый результат. Лучше использовать запрос "Сцена из DVD-издания Властелин Колец, где Арагорн, Леголас и Гимли бегут по зеленому полю за орками". В этом случае вы получите гораздо более точный исходный материал.

Если ваш уровень владения английским языком не достаточно высок, чтобы описать сцену, то вам пригодится переводчик. Один из рекомендуемых сервисов – DeepL. Благодаря нейросетям, он качественно переводит тексты с русского на английский язык.

ChatGPT: как пользоваться нейросетью и что она умеет
Если вы испытываете трудности с описанием, воспользуйтесь картинками-референсами. Они помогут вам наиболее точно передать конкретную сцену фильма, которую вы хотите изменить, или выбрать подходящего актера для главной роли. Вместо того чтобы написать множество описаний вроде "Сцена из Матрицы, где Нео останавливает летящие пули", гораздо проще отправить картинку и указать, что именно вы хотите изменить или добавить.

Как работать скартинками-референсами, мыподробно рассказывали вдругом материале. Повторю инструкцию:

  • Выберите подходящее изображение из открытых источников в Интернете или загрузите собственное на платформу фотохостинга. Просто загрузить изображение непосредственно в Discord не представляется возможным.
  • Скопируйте ссылку на изображение и введите команду /imagine в поле Prompt.
  • Дополните команду дополнительными параметрами: определите желаемую стилистику изменения изображения, а также какие элементы добавить. Вы можете экспериментировать, но помните об ограниченном количестве бесплатных попыток.
  • По желанию вы можете вставить несколько сравнительных изображений-референсов. В этом случае система Midjourney автоматически объединит их в равных пропорциях. Однако учтите, что нейросеть самостоятельно выбирает, какие элементы берет из каждого изображения.

Измените пропорции изображения. По умолчанию генерируются квадратные картинки в соотношении 1:1. Однако, вы можете добавить к запросу --ar 3:2, чтобы изображения больше напоминали реальные кадры из кино.

Какие запросы должны получиться в итоге

Ниже представлены реальные запросы от пользователей Reddit, которые они делились с сообществом Midjourney. Эти запросы могут использоваться в качестве шаблонов для создания уникальных сцен, оставляя при этом их структуру, но меняя фильмы, годы, описания сцен и режиссеров. Для простого запроса случайного кадра из фильма можно использовать такую конструкцию: «DVD screengrab из фильма Возвращение Джедая 1983 года --ar 3:2 --v 4». Для создания запроса сцены в стиле другого фильма или режиссера можно использовать такой пример: «DVD screengrab сцены [описание сцены] из фильма Звездные войны в режиссуре Алехандро Ходоровского 1975 года --ar 3:2 --q 2 --v 4». Если нужен простой теговый запрос, то можно использовать такую формулировку: «DVD screengrab, фильм Чужой 1989 года в стиле анимации от Studio Ghibli --ar 3:2 --q 2 --v 4». Для сложного тегового запроса можно использовать следующую конструкцию: «DVD screengrab, фильм Studio Ghibli 1989 года, Вторая мировая война, [подробное описание сцены] --ar 3:2 --q 2 --v 4».

Если вы занимаетесь генерацией картинок с помощью нейросетей, мы приглашаем вас поделиться своими впечатлениями и результатами. Нам интересно узнать, какие запросы вы использовали, чтобы достичь таких впечатляющих результатов. Не стесняйтесь делиться своим опытом в комментариях ниже!

В нашем телеграм-канале @t_technocult вы найдете собрание интересных кружочков, привлекательных карточек и захватывающих новостей из мира технологий и поп-культуры. Подписывайтесь и окунитесь в удивительную атмосферу!