Пиксельные видео что это
С момента своего появления в начале 70х годов прошлого века, пиксель арт остается одним из наиболее популярных направлений в компьютерной графике.
Он прошел долгий путь от бессмертной классики, до дешевых безделушек со дна Стима.
Почему пиксель арт вообще появился? Откуда взялось слово пиксель и что оно значит? Почему пиксель арт остается популярным на протяжении почти 50 лет и как он связан с французскими живописцами 19 века? Обо все по порядку.
Начнем с простого — что такое пиксель? Ну, разумеется вы знаете, что же мы, за дураков вас держим? Вовсе нет, ведь слово “пиксель” давно и плотно вошло в современный лексикон, и всем прекрасно известно его значение, но откуда взялось само слово — предмет отдельных споров.
Наиболее распространенная версия звучит так — пиксел, именно такое произношение является верным, без смягчения на конце, это сокращение от picture element. В свою очередь слово pictures в английском языке принято сокращать до короткого pics, которое позже трансформировалось в жаргонное pix.
Таким образом появилось словосочетание pix element, которое затем сократилось до уже знакомого нам pixel.
И так, Picture element, он же pixel, означает наименьший элемент в растровой графике, основу основ.
Пикселы как атомы, или кирпичики, из которых собирается нечто большее. Такой прием построения графики был продиктован техническими ограничениями железа тех лет.
В те времена никто и подумать не мог, что когда-нибудь в играх можно будет выстраивать всю сцену целиком, поэтому оставалось кропотливо, подобно строительству дома или созданию мозаики, собирать картинку из небольших плиточек-пикселей.
Однако, придумали этот прием не разработчики прошлого, а живописцы прошлого, а именно представители французского неоимпрессионизма.
В 1884 году парижский художник Жорж-Пьер Сёра написал картину “Воскресный день на острове Гранд-Жатт”, которая дала начало пуантилизму.
Пуантилизм, буквально переводится с французского как “точечность”. Технически, в основе пуантилизма лежала техника нанесения точечных, раздельных мазков прямоугольный формы.
При этом художник отказался от традиционного смешения красок, потому что мозг сам смешивает краски в нужные цвета, когда цветные точки создают на полотне единый визуальный образ.
Очень похоже на пиксель арт, не находите?
Прародителем пиксель арта, как и современных видеоигр вообще, является легендарный Pong — аркадный настольный теннис.
Игра вышла в далеком 1972 году для игровых автоматов, а спустя 5 лет, в 1977, и для домашних консолей Atari 2600. И хотя на самом деле Atari позаимствовала идею Pong у своего конкурента, консоли Magnavox, в историю вошла именно версия Atari.
В незамысловатой, как сейчас кажется, аркаде, всего несколько графических элементов. Pong можно назвать апофеозом минимализма, и современный игрок может подумать, что игра выглядит так из-за технических ограничений тех лет, но это не совсем так. На Atari 2600 были гораздо более богатые в визуальном плане игры, поэтому минимализм консольной версии Pong — осознанное творческое решение.
Перед тем как продолжить, пройдемся по самым значимым игровым событиям индустрии тех лет.
Начало 80-х ознаменовалось приходом легендарной Nintendo Entertainment System, она же NES, она же Денди.
Именно NES видеоигры обязаны повсеместной популяризации.
Ну а мы запомнили первую Нинтендо как консоль с самым трушным пиксель артом, ведь эпоха 80-х подарила индустрии много эпохальных игр изменивших историю. Именно в этот период появились Pac-Man, Mario, Donkey Kong, Galaga, Mega Man, Metroid, Legend of Zelda и многие другие.
В 1984 году студент Йельского университета Джордан Мехнер выпустил игру Karateka. Сначала игра была доступна только на компьютерах Apple 2, но затем набрала невероятную популярность и разошлась по всем основным платформам той эпохи.
Джордан Мехнер решил не останавливаться на достигнутом, и в 1989 году создал легендарную Prince of Persia. Кроме стильного минималистичного дизайна, в игре была передовая на тот момент система анимаций.
Если честно, принц 89’ года до сих пор двигается реалистично.
Секрет в том, что для создания анимация Мехнер использовал технику ротоскопирования — это такой прием, пришедший из мультипликации, когда сначала на камеру снимают движения реального человека, а потом буквально обводят его и таким образом точно переносят его движения на нарисованного героя.
Тем временем, в 1987 Nintendo закрепили успех обновленной версией легендарной консоли под названием Super Nintendo, или просто SNES, которая успешно просуществовала аж до конца 90-х, а в Японии поддержка вообще прекратилась только в 2003 году.
Вообще 80-е по понятным причинам стали символом пиксель арта, других графических технологий просто не существовало. Разработчики пытались разнообразить видеоряд, но в основе все равно лежали пресловутые пиксели.
Конец 80-х также отметился появлением серии Final Fantasy, игры которой долгие годы оставались верными пиксель арту, ну и невозможно пройти мимо пиксельных point-and-click квестов от Lucasarts.
Кроме пиксельных игр никаких других в 80-е не было, поэтому нам не хотелось бы зацикливаться на этом периоде и пытаться вспомнить вообще все классные игры, мы все таки про сам пиксель арт хотим рассказать, поэтому двигаемся дальше.
Итак, пиксель арт начал терять популярность в 1994 году с выходом пятого поколения консолей, которые поддерживали полностью трехмерную графику. Не смотря на общую неказистость первых 3d-игр, сама технология очень впечатляла.
Двухмерная, так называемая спрайтовая графика продолжала повсеместно использоваться в 90-е годы, но мы не будем относить ее к классическому пиксель арту, потому что в это время спрайты были скорее необходимостью, а не творческим решением.
Например, создатели оригинальной DOOM создали полностью трехмерные уровни, который стали основой левел-дизайна, но враги и оружие были спрайтовыми, пиксельными.
В данном случае уместно привести в пример Mortal Kombat и Street Fighter — первый был пиксельным лишь формально, потому что пиксель артом были оформлены задники на локациях и некоторые эффекты, а герои же были перенесены с помощью фотографии.
В то время как Street Fighter использовал классический пиксель арт вплоть до 1997 года.
Также не стоит забывать, что 90-е — это и Sonic, и Metal Slug, и продолжение Final Fantasy, и тот же Street Fighter, и адвенчуры Lucasarts которые вообще являются выдающимися образцами арт дирекшена, просто посмотрите как выглядят The Secret of Monkey Island, Day of the Tentacle и Full Throttle.
Однако было очевидно, что эпоха пиксель арта подходит к концу, уступая новым измерениям.
Трехмерная графика изменила основы геймплея и переход в 3d до сих пор остается наиболее масштабным событием в истории индустрии. Со временем, трехмерные игры просто заменили собой пиксель арт как основной прием технического и визуального исполнения.
С середины 90-х по начало 2010-х, более чем на 15 лет, про пиксель арт практически забывают. До конца 90-х продолжали выходить многочисленные продолжения известных серий, но про что-то принципиально новое говорить не приходилось.
Переход в 3D, кроме всего прочего, привел так же и к коммерческому успеху. Люди были готовы платить за инновационные технологии, инвесторы обратили внимание на рынок видеоигр, и в индустрию хлынули деньги. Именно по этой причине в начале нулевых начал зарождаться легендарный конвейер, производство ААА-игр поставили на поток, и все решили, что время небольших и скромных творений закончилось, но не тут то было.
В 2005 году Microsoft представляет Xbox Live Arcade. Запуск новой площадки знаменует появления индустрии небольших игр от независимых разработчиков. Сейчас инди игры занимают огромную часть рынка, но тогда все только начиналось. Microsoft хотели впечатлить игроков, поэтому среди простеньких развлечений, вроде Dash of Destruction и The Maw, в Arcade выходили серьезные игры от серьезных ребят, вроде Shadow Complex.
Где тут уже традиционный для инди пиксель арт, спросите вы? Так вот же он, в многочисленных HD-версиях старых игр, которые заполонили Arcade. В разное время в сервисе выходили Gauntlet, Streets of Rage, DOOM, Castlevania и многие другие, но использовать пиксельную графику в новых играх разработчики не торопились.
Ситуация изменилась лишь в 2011 году, когда независимый разработчик Эдмунд Макмиллен, который до этого создавал flash-игры, выпустил пиксельную Binding of Isaac.
Binding of Isaac не была первой пиксельной игрой после долгих лет застоя в жанре, но скорее всего, оказалось самой важной не только для пиксель-арта, но и для инди рынка в целом. Невероятных успех игры вдохновил многих независимых творцов на создание новых игр.
Инди-разработчики располагали очень скромными бюджетами и не могли позволить себе графон уровня старших братьев. Во многом именно из-за нехватки денег пиксель арт стал самым распространенным визуальным стилем независимых игр. Для крутого арт-дирекшена было достаточно одного талантливого художника, а не целой команды аниматоров и визуализаторов, как того требовали ААА-проекты.
Вдохновленные успехом Макмиллена, разработчики начали творить шедевры. Начало 2010 подарило нам Hotline Miami, Papers Please, и Terraria, середина 2010 порадовала Faster than Light, Hyper Light Drifter и Undertale, ну а дальше маховик закрутился так, что мы, пожалуй, закончим с перечислением конкретных игр.
Все они по-своему прекрасны, и что важно, очень по-разному используют визуальные основы пиксель арта.
К примеру, Hyper Light Drifter — настоящий шедевр, яркий но минималистичный. Undertale и Baba is You с их предельно простым артом возвращают нас к истокам видеоигр, а долгострой The Last Night, Octopath Traveller и недавно анонсированная Replaced наоборот выводят пиксель арт на невиданный уровень проработки, добавляя картинке глубину и объем.
Сейчас пиксель арт всем порядком надоел. Игроки клеймят все пиксельные игры дешевым инди, да и не все разработчики работают с пикселями одинаково хорошо.
Из единственно возможного технического решения, пиксель арт превратился в модный прием независимых студий, а сейчас и вовсе стал раздражающей обыденностью.
Тем не менее, инновационные приемы, вроде тех, которые используются в уже упомянутых The Last Night и Replaced дают надежду на светлое будущее пиксельной графики, которую, на наш взгляд, недолюбливают совершенно незаслуженно.
У нас в Беларуси пиксель-арт на флаге появился задолго до этого :)
"Двухмерная, так называемая спрайтовая графика продолжала повсеместно использоваться в 90-е годы, но мы не будем относить ее к классическому пиксель арту, потому что в это время спрайты были скорее необходимостью, а не творческим решением."
"Metal Slug"
Который был спрайтовый и выходил на нео-гео, которая не могла ни во что, кроме спрайтов.
Пиксели на чёрном фоне не перестают быть пикселями. Визуальный приём другой, технология та же.
Это полигоны. По такой логике все современные игры - пиксель арт, потому что внезапно выдают изображение в пикселях.
Нет, полигоны это 3D графика. На твоих скринах трёхмерная игра? Это без сарказма, я правда не вижу. Если нет, то это тоже пиксели. И нет, это совсем другая логика. Статья про технологию пикселей и пиксель арт как визуальный приём, а не про пиксели на мониторе.
Battlezone и elite - вполне трехмерные. Те же полигоны.
Ты прав, это 3д, но технически это все таки не полигоны (и не пиксели).
В элитке не просто вайрфрейм, а вайрфрейм с заливкой, что не так уж далеко от полигонов. Один фиг, это 3д, а не пиксель-арт.
В Metal Slug это было полностью творческим решением и до сих пор выходит в таком формате, в отличие от шутеров того времени. Правда сейчас есть пару шутеров, которые копируют стилистику DOOM и Duke Nukem 3D, но это уже осознано так скажем.
Metal Slug - одна из редких игр, где вместо модных на то время полигонов сознательно использовали традиционную двухмерную спрайтовую анимацию.
Полигоны=3д, ты запутался
Я знаю, что полигоны - 3д. И авторы метал слага отказались от модной трехмерки в угоду качественного 2д.
"Кроме пиксельных игр никаких других в 80-е не было"
Ну пиксельные игры хотя бы выглядят гораздо симпатичнее чёрно-белой векторной графики. Ещё тут надо упомянуть ASCII графику в старых Roguelike и текстовые игры.
Кстати да, псевдографические игры же тоже были. Плюс всякие вектрексы с векторной графикой.
Не, статью переписывать надо.
Хорошая статья. Да и не забудем, что ещё в древние времена люди создавали мозаики, где изображение делали из небольших частиц.
Я люблю хорошо детализированный пиксель-арт. До сих пор удивляюсь играм 16-битной эпохи, чья графика и поныне смотрится отлично.
Ну а насчёт клишированности пиксель-арта в инди сегменте вы правы. Если раньше подобные игры были прикольными, то сейчас они уже надоедают. Хочется чтобы в сегменте инди игр было больше проектов с детально прорисованной графикой как в каком-нибудь Hollow Knight и Little Nightmares. А то весь минимализм уже задолбал.
Благодарим за развернутый комментарий!
Добрался до дома и дочитал статью до конца. Покритикую еще немного:
"С середины 90-х по начало 2010-х, более чем на 15 лет, про пиксель арт практически забывают."
Очень странное утверждение. С середины 90х по начало 10х вышли те самые классические Метал Слаги, КоФы и огромное количество других игр от Капком, СНК и Арк Систем Воркс. Одни из самых красивых пиксельных игр выходят именно в это время.
Вышла вся библиотека GBA. Вышли NDS и PSP, на которых была куча игр с классической спрайтовой пиксельной графикой. На NDS так вообще была такая популярная штука, как Flipnote Studio, в которой люди рисовали пиксельные мультфильмы.
На ПК в то же время расцветают эмуляторы, а скорости интернета позволяют скачивать классические консольные и аркадные игры. Появляются различные хаки и переводы ранее не переведенных игр, что дает им вторую жизнь. Автор Undertale начинал с модов на Earthbound например.
Появляются и новые проекты, использующие рипнутую из игр графику, вроде Mugen и OpenBOR.
Появляется куча игр и анимационных роликов на Флэше со спрайтами из классических игр (например тот же Super Mario Bros. Z).
Никто не забывал в те времена про пиксель-арт.
Ух ты, канал воскрес! Надо наверное заново подписаться.
Выводы какие-то идиотские, кому надоел? Мне лично нет. Для многих разрабов пиксель арт самый правильный выбор, другой могут просто не потянуть. Да и выглядит это лучше чем рисованная модульная анимация как в каких нибудь мобилках и флеш играх.
Почему сразу идиотские? Вывод сформирован на личном опыте многолетнего чтения комментариев под тематическими постами в соц сетях, отзывы стима нередко читаем, да простого общения со знакомыми, что конечно не рисует полную картину, но и ресурсы не те, чтобы провести всеобщий опрос. Если тебе не надоел, так это хорошо (в твоем случае), но сейчас редко где встретишь подобный отзыв «еее пиксель арт», кроме как под трейлерами the last night и replaced. Пиксель арт стал модной заманухой, как пример VirtuaVerse, да симпатичная, да саундтрек хороший, но содержание, что просто жалко потраченного времени.
Язык не поворачивается сказать что данный вывод не имеет права на сосуществование.
Посмотрев несколько видеороликов Дениса Ширяева, вдохновился попробовать улучшить свой видеофрагмент, и какого было мое разочарование узнав, что человек который уже фактически является мастером этого ремесла, тратит столько времени на эту сферу (судя по количеству роликов на его канале) - не сделал ни одной инструкций по этому процессу.
Anyway, хочу поделиться своими знаниями, полученными неделей поисков решений, проб и ошибок, ожидании рендеринга.
Весь процесс состоит из 4 этапов:
(Почему именно в таком порядке - объясню в конце)
2) Увеличение FPS
3) Разрешение 4К
4) Чистка дефектов
В начале каждого этапа, буду указывать:
- Ссылку где скачать (если она бесплатная)
В конце каждого этапа:
- Ссылку на автора урока
AMD Ryzen 3300X
MSI GeForce GTX 1650
Потребуется примерно 10-15 Гб места на жестком диске - за 1-о минутное видео.
Оригинал - 960х720 / 30 FPS / 72,6 Мб
1) Покраска ~ 30 мин
Переходим по этой ссылке и нажимаем на кнопку (внизу страницы) как на картинке.
1 - Заходим на свой аккаунт Google
2 - Подключаемся к серверу
3 - Сохраняем проект себе на Google Диск
4 - Спускаясь все включаем по очереди, дожидаясь загрузки каждого отдела
1 - Указываем ссылку на ваше видео в YouTube
2 - Запускаем процесс
Если видео большое, нужно разделить его на несколько частей.
Свое я нарезал по 10 секунд.
В качество 35 (render_factor), 10 сек (960х720 / 30 FPS) рендерится - 4 мин.
2) Увеличение FPS ~ 2 часа
Рекомендую сначала перезагрузить компьютер и не открывать ничего, кроме данной программы.
Распаковываем архив, запускаем этот файл:
Не закрывайте черное окно.
Тут всего три шага:
1 - Нужно выбрать ваше видео
2 - Место куда сохраниться файл
3 - Запуск процесса (по умолчанию увеличивает FPS в два раза)
Настройки увеличения FPS, если нужно увеличить более двух раз:
Означают нехватку видеопамяти, заходим в настройки показанные ниже и (до запуска процесса) уменьшаем разрешение видео:
При моей конфигурации допустимая высота видео - 600 пикселей.
800х600 / 60 FPS / 34,8Мб
3) Разрешение 4К ~ 4 часа
Topaz Video Enhance AI - платная
Выбираем все настройки - как на картинках:
Рекомендую не менять место сохранения - у меня после этого вылетала программа.
3840x2160 / 60 FPS / 3,31 Гб
4) Чистка дефектов ~ 3 часа (суммарно)
Flicker Free - плагин для Adobe Premiere Pro
1 - Устанавливаем плагин
2 - Применяем на видео
В различных уроках советуют оставлять стандартные настройки.
3 - Ставим галочку рядом с Detect Motion
4 - Экспортируем видео
Лучше провести процесс чистки 2 раза.
3840x2160 / 60 FPS / 70,3 Мб
5) Дополнительные эффекты
Цветокоррекция - Adobe Premiere Pro
Удаление шума из аудио - Audacity (бесплатная)
Эффект до / после - стандартные эффекты Adobe Premiere Pro
3840x2160 / 60 FPS / 71 Мб
Уверен можно добиться лучших результатов если поиграться с настройками.
Ошибочные пути:
Попытка 1) Сначала увеличил видео в 4K, потом попытался поднять FPS до 60 - максимально допустимое разрешение для моей системы видео высотой 600 px .
Попытка 2) Поднял FPS, потом увеличил видео в 4K, затем провел чистку и попытался покрасить - нейросеть DeOldify тоже очень ресурсоемкий.
Попытка 3 (Финальная) Сначала покрасил видеофайл, потом поднял FPS, затем увеличил разрешение до 4K, провел чистку и добавил эффекты.
1) Для серьезного увлечения этой сферой - нужен очень мощный PC.
Улучшать 1 минутное видео 10 часов - приносит радость и удовлетворение только в первый раз.
2) В сети на эту тему крайне мало уроков (особенно на русском языке), либо специалисты не хотят делиться своими знаниями, либо заинтересованных редакторов и читателей не слишком много, в любом случае из - за этого приходится искать информацию обрывками.
Возможно, порядок этапов улучшение видео - другой, но опять же, в сети на эту тему нет никакой информации.
Если вы также как и я, хотели сконвертировать "Metropolis" (1927) Фрица Ланга до цветной версии в 4K и 60 FPS - сейчас все еще слишком рано.
Надеюсь мой пост был полезным и максимально доступным. Peace.
в dain app можно не уменьшать видео, а включить нарезку кусками, правда дольше будет обрабатывать)
Инструкции по каждой программе есть по несколько штук, потому Денис, очевидно, не делает еще одну.
Дарю лайфхак:
Проверено на ртх2060 с 6гб памяти на борту. DAIN ругается на видео 720р, мол для него нужно 10-11гиг памяти. Заходим в настройки даунскейла видео и выставляем высоту 719. Профит. Видео рендерится, причем по-прежнему в 720р.
На печ1060 с 3гб на борту у меня совсем не получилось найти правильную последовательность. Прям обидно.
У меня была проблема поднятия качества обучающих мультсериала Disney's Magic English. С этой задачей лучше всех справился Topaz video enhance AI. Результаты выложил на своем ютуб канале
Ну даже не знаю. Лица стали криптовые жуть.
У меня видеокарта AMD, с ней DAIN не работает, т.к. нет поддержки CUDA. Подскажите, какая подойдет минимальная модель видеокарты NVIDIA?
Тут более детально показано как запустить - DeOldify (Покраска)
Возможно следует упомянуть что на более старых видеокартах обработка нейросетями может и не запуститься (ранее 10хх или если повезет 9хх серии) и работает только на Nvidia, если не ошибаюсь.
Обработка на проце или не запустится, или будет так долго что лучше бы и не запускали.
Нейронные сети учатся распознавать Deepfake
Пару недель назад я выложил пост про нейронные сети, которые способны удалять с видео любые движущиеся объекты и всякие следы их существования. Тени от этих объектов, поднятую пыль, иногда даже почти хорошо удалялись волны на воде. И тогда, под тем постом, прямо таки развернулась дискуссия о том, как в принципе можно было бы бороться с подделкой видео. Не только с удалением объектов, но и с теми же дипфейками.
И вот сегодня я бы хотел представить один из способов, который на сегодняшний день активно прорабатывается. Собственно, способ вполне логичный - если мы можем создать нейронные сети, которые способны подделывать видео настолько, что эта подделка становится неразличима человеческим глазом, то почему бы не использовать ровно эти же самые сети для того, что бы распознавать эти незаметные человеческому глазу подделки?
Этим вопросом и задались учёные из Германии и Италии. Ниже прикладываю презентацию их совместной научной работы.
А также, как и в прошлый раз, прикладываю своё собственное видео, с разбором того, а чём именно идёт речь в их презентации.
Итак, краткая выжимка того, о чём именно их работа. Конкретно эта группа учёных не ставила перед собой задачу разработать концептуально новую нейронную сеть, которая бы хорошо распознавала подделку на видео. Они провели комплексную сравнительную работу. Взяли набор видео, часть из которых была отредактированная нейронными сетями, а часть нет. И, с одной стороны, попросили группу людей угадать, какие именно видео являются подделками, а с другой стороны точно такую же задачу поставили перед распространёнными свёрточными нейронными сетями, основная задача которых как раз заключается в распознавании на видео и фотографиях тех или иных объектов. То есть, они брали не специализированные нейросети, а самые обычные. Те, которыми можно распознавать на видео котиков, к примеру.
И итог их исследования оказался следующим - нейросети уже сейчас способны настолько качественно подделывать видео, что люди их практически не распознают. Обычный человек уже сегодня не отличит качественный дипфейк от оригинального видео. С другой стороны, самые обычные свёрточные нейронные сети эти же самые дипфейки распознают вполне уверенно. Не всегда со стопроцентной точностью, но самые новые архитектуры вполне достигают точности более 80%.
По сути, самая очевидная идея в данном случае оказывается самой эффективной. Зачем придумывать сложные схемы борьбы с нейросетями, если можно просто заставить бороться с ними другие нейросети. Безусловно, данный метод не является самым надёжным. Но уже сегодня он является наиболее оправданным с позиции точности распознавания и ресурсов, которые требуются на создание такой системы. По факту, использовав созданный учёными в данной работе массив видео для обучения нейросетей, вы сможете у себя дома создать свою собственную систему распознавания дипфейков. Единственным ограничением правда будет время обучения такой сети. Если не использовать видеокарты NVidia старше 20хх серии и разработанную ими же библиотеку для машинного обучения, создание такой сети может затянуться на месяцы. Но тем не менее, такая возможность у вас всё ещё остаётся.
Ну и подводя итог, если углубиться в эту область (а я полагаю многие спецслужбы многих стран мира занимаются этим уже не первый год) и создать специализированную нейросеть, которая была бы эффективна конкретно в распознавание дипфейков, то в принципе можно и не бояться коллапса судебной системы от вала поддельных видео и фотографий. Правда всё это в конечном итоге придёт к войне щита и меча - когда с одной стороны будут создаваться всё более совершенные нейросети для подделки видео, а с другой те же самые нейросети для распознавания этих подделок. Но специалистов способных на подобное сейчас итак с руками отрывают крупнейшие мировые корпорации, поэтому вряд ли их сможет нанять какая то местечковая мафия. Если подобная война и развернётся, то начнётся она в высоких груг И опять же, поскольку это буквально практически одни и те же архитектуры нейросетей, существенного и долговременного перевеса в данной войне ни одна из сторон получить не сможет.
Конечно, мы когда-нибудь видели по телевидению или в каком-нибудь интернет-видео, как некоторые объекты или люди выглядят пиксельными. Не всем нравится, когда их записывают, и если вы не дадите разрешения уйти, это должно быть подвергнуто цензуре. В пикселизации фотографии нет загадки, но как насчет видео? Это уже кажется немного сложнее. А что, если человек движется? Тогда это может показаться еще более сложным. Однако с саман Premiere Pro это детская игра.
До недавнего времени цензурирование объектов в видео было сложной задачей, выполняемой вручную. Если мы хотели, чтобы результат был точным, необходимо было отслеживать след лица или объекта вручную на протяжении всего видео. И не всегда получалось. К счастью, все фото- и видеоредакторы (особенно от Adobe) имеют все больше и больше искусственного интеллекта, который значительно облегчает нашу жизнь. И функция пикселя - одна из них.
Примечания
Почему файлы большие? - они в lossless качестве, поэтому большие. Используйте параметр запуска --noraw и тогда видео будет сжато получше, но качество будет хуже.
Как скомпилировать? - используется система сборки SCons, так что вам понадобится интерпретатор питона и сама система сборки. Её можно скачать через pip. Другие подробности смотрите здесь.
Звук - на выходе в видео нет звука, это потому что звуковой поток игнорируется и я с ним никогда не работал, поэтому не добавил его поддержку.
Почему хэши не совпадают? - однажды меня спросили почему libstdc++ имеет не тот размер что в официальном релизе и нет ли там вирусов. Вирусов нигде нет, все программы и библиотеки урезаны с помощью утилиты strip и пожаты с помощью UPX с опцией --ultra-brute. Если вы не доверяете моим билдам, то можете лично собрать всё из исходников.
Это лучше чем альтернативы? - конечно нет, я эту программу только вчера выложил, но думаю что лёгкий вес и многопоточность являются её преимуществом. FFmpeg сам по себе быстро работает, а собрано всё с оптимизациями на C++. Оптимизировать остаётся только сами алгоритмы эффектов.
Выберите лицо или объект, который мы хотим пикселизировать
Прямо сейчас у нас будет все видео подверглось цензуре . Но мы хотим, чтобы только часть изображения была пиксельной. Для этого нам нужно будет использовать инструменты, которые появляются рядом с эффектом, чтобы точно настроить ту часть, которую мы хотим подвергнуть цензуре. Мы можем используйте эллипс, квадрат или нарисуйте часть, которую мы собираемся пикселизировать от руки. Да, важно то, что мы делаем это с начала видео.
Вот как мы будем рисовать маску видео. Когда мы его настраиваем, мы можем увидеть, насколько хорошо выглядит видео, за исключением той части, которую мы оставили пиксельной.
Теперь нам нужно создать маску. И вот где Искусственный интеллект в Adobe Premiere входит . Как мы видим, у нас будет ряд элементов управления в разделе под названием " Маска следа «. Мы должны нажать кнопку воспроизведения, чтобы этот ИИ воспроизводил видео и разумно отслеживал его движение.
Этот процесс может занять много времени, поэтому нужно набраться терпения и дождаться его завершения. Когда процесс будет завершен, мы сможем воспроизвести предварительный просмотр видео, чтобы убедиться, что объект действительно подвергается цензуре правильно.
6. 8 -Битный Пиксельный пакет стикеров Cat
Последние штрихи: проверьте правильность цензуры
У нас уже есть цензура или пиксели для нашего видео, но мы еще не закончили. Следующим шагом будет проверка того, действительно ли объект правильно пикселизирован и остается неизменным на протяжении всего видео. Это автоматический процесс, хотя и очень удобный, но не совсем точный, а в некоторых ситуациях может дать сбой. Особенно в видеороликах с объектами, которые могут сбивать с толку. Поэтому в первую очередь надо все хорошо проверить. И когда отслеживание потеряно, мы должны сделать разрез и перенастроить маску.
В параметрах мониторинга мы можем найти ряд режимов, которые могут быть полезны в этом отношении для повышения точности. Например, мы можем выбрать, хотим ли мы, чтобы он только следовал за положением объекта, или мы хотим, чтобы его положение, масштаб и вращение контролировались.
Можем попробовать разные конфигурации. Конечно, каждый раз, когда мы меняем, нам нужно будет регенерировать маску, и Premiere потребуется несколько минут, чтобы повторно пикселизировать элемент.
Мне нравятся разные 2D эффекты типа дизеринга или pixel sort и я написал несколько плагинов для Paint Dot Net, но они были только для статичных изображений, а мне захотелось сделать то же самое, только для видео и сейчас я опишу какие были подводные.
Ссылки
Репозиторий SEZE II на Гитхабе - MIT лицуха. Можете скопировать себе реп и делать что угодно. Предлагайте свои улучшения и рассказывайте друзьям прогерам.
Современный гайд по FFmpeg API - модерн-уроки. Примеры кода в FFmpeg года аж 2001-го и компилятор часто ругается что функции устарели, поэтому используйте именно это руководство.
Паблик в ВК - тут будет инфа о новых эффектах.
Автор статьи является разработчиком этой программы, поэтому вы можете в комментариях спросить что-то по коду или предложить улучшения.
Шаг 1: Эффект Постеризации
Для начала создайте фигуру, которую нужно превратить в пиксельную графику. Затем создайте корректирующий слой из своей временной шкалы, а затем добавьте эффект постеризации. Этот эффект управляет цветовыми тонами объекта.
Если на графике присутствует градиент, различные диагональные линии будут отображаться уникальными цветами. Чтобы придать вашим видеоиграм ретро-вид, можно использовать диапазон от 5 до 15:5. Для современного образа предпочитайте 15.
Шаг 2: CC Черная Нагрузка
Чтобы получить детальный обзор, будет использоваться черная загрузка CC, поскольку она помогает улучшить квадратные пиксели. Вставьте черную нагрузку CC в свой корректирующий слой и оставьте настройки завершения равными 0. Двигаясь дальше, используйте значение сканирования 3, а затем снимите флажок "Начать очищено". Теперь графика движения будет соответствовать вашему желанию.
Шаг 3: Оттенок
Чтобы придать цветовой палитре эффект оттенка, подготовьте карту белого цвета с нужным вам цветом. Можно выбрать мохово-зеленый цвет, чтобы выглядеть как "Геймбой", для которого требуется оттенок до 95%. Цветовая композиция будет изменена в соответствии с вашим выбором и вернет ностальгию.
Шаг 4: Сетка
Эффект сетки используется для создания границы каждого пикселя и придания ему ретро-вида. Перенесите эффект сетки на корректирующий слой и сохраняйте режим наложения "Нормальным". После этого выберите темный оттенок цвета и установите размер границы равным 2. Чтобы настроить размер сетки в соответствии с размером пикселя, оставьте расположение якоря равным (0,0), а размер угла равным (8,8).
Шаг 5: Отложите время
Чтобы настроить частоту кадров графики, вставьте эффект постеризации в корректирующий слой. Установите частоту кадров на 8 кадров в секунду. Композиция будет блочной, такой, какой мы хотим видеть нашу графику.
Шаг 6: Анимационный эффект
Чтобы оживить, создайте 3D-фигуру и затем вытяните ее. Это обеспечит монете 3D-глубину. Теперь создайте нулевой объект и вставьте его в 3D-слой.
После этого поверните нулевой объект в ориентации (ось y) и вставьте ключевой кадр в первый кадр. Поверните его на 360 градусов за 2 секунды и вставьте рамку для удобства. Теперь добавьте выражение в значение поворота loopOut ().
Давайте вкратце рассмотрим эффекты, предлагаемые Wondershare Filmstock.
7. Пакет блоков Пикселей
Как вообще можно сделать видео фильтр?
Существуют программы, для которых можно написать свой видео плагин и он будет что-нибудь делать с кадрами видео. Это похоже на плагины LADSPA, которые обрабатывают аудио сигналы в Audacity или плагины к Фотошопу. Вот некоторые из этих программ:
GStreamer - этот фреймворк может использоваться другими приложениями для манипуляциями над видео, но он так же может самостоятельно открывать файлы и конвертировать их через программу gst-launch-1.0. Для GStreamer можно написать видео плагин пользуясь этой документацией. Мне показалось что юзерам будет сложно скачать 150 мб программы и завести всё это, поэтому я отказался от создания плагинов для GStreamer.
FFmpeg - эта программа способна конвертировать видео любого формата. Вы конечно можете написать весь видео фильтр через -filter_complex, но FFmpeg поддерживает frei0r плагины, которые можно написать на C++. Я же захотел немножечко свой велосипед, поэтому мне это не подошло.
OBS Studio - для этой программы тоже можно написать фильтр. Его так же надо писать на сях и компилировать как и в случае с первыми вариантами. Видео фильтр будет применяться для всех кадров получаемых при записи через OBS.
VirtualDub - даже на Хабре есть статья как писать плагин к этой программе. Но VirtualDub доступен только для Windows.
AviSynth - тоже поддерживает возможность создания плагинов, но работает только в Windows.
Shotcut - открытый видео редактор, почти весь работает на сторонних видео и аудио фильтрах. Ну а как там писать плагины - гайды есть. Даже frei0r поддерживается. К сожалению у меня в Линуксе Шоткат не видит некоторые фильтры и разрабы мне не помогли советом перекинуть фильтры с билда на Юбунту к себе в Арч. На Винде-то всё работает ;-/
Kega Fusion - это эмулятор игр для Сеги. Его автор Stive Snake расщедрился на создание графических плагинов к которым ещё и прикрепил исходники (см. раздел с плагинами). Хоть это и эмулятор, но его эффекты очень интересны и я, зная как работает API плагинов, пытался воссоздать декодер плагинов, но не вышло. Я не понял как там кадры устроены, слишком длинный pitch у битмапа, если вы в этом разбираетесь, то помогите мне и я добавлю декодер этих плагинов себе в SEZE.
MPV - универсальный видео плеер позволяющий накладывать на видео пиксельные шейдеры и даже конвертировать всё в файл.
Теоретически, даже в VLC плеере можно сделать фильтр на вывод, но как вы поняли, ни одни из этих вариантов я не выбрал и сделал свой православный конвертер с эффектами и выложил на Гитхабе.
SEZE II
Программа имеет такое название, потому что я допустил ошибку в слове size и ничего больше не придумал как назвать программу именно так. Кстати, оказалось что в китайском языке слово seze обозначает цвет, что символично, учитывая назначение программы. II это римская цифра 2, потому что это моя вторая попытка сделать эту прогу, теперь она с интерфейсом и более юзер-френдли.
Упрощённая схема работы SEZE II
Программа SEZE написана на С++ и использует FFmpeg API для работы с видео. Кадры из видео преобразуются в нужный создателю плагина формат и раздаются потокам процессора для обработки. Затем, прошедшие через фильтр кадры выводятся на экран посредством SDL2 и записываются в выходное видео в высоком качестве (libx264rgb, crf 0, RGB24, без звука).
Сама по себе программа консольная и чтобы узнать все её команды, запустите seze в консоли без параметров или с -h ключом. Так же есть простая GUI версия, но она не имеет всех опций CLI версии. Для применения эффекта требуется файл фильтра, который является .dll или.so файлом и подключается при запуске программы. В репозитории проекта есть API к плагинам в виде одного хедера, его можно использовать для создания собственного плагина. Автор плагина сам решает какие опции будет получать плагин, в каком формат будут изображения из видео и какие оптимизации применять при компиляции. Как сделать плагин, можно узнать здесь. Для обладателей Windows доступны Drag'N'Drop-батники, на которые можно перетащить ярлык с видео файлом и обработка сразу начнётся без ручного выставления настроек.
Применить пиксельный эффект к видео
пиксельный эффект можно найти как «Мозаика» в списке эффектов, которые по умолчанию поставляются с Adobe Premiere Pro. Чтобы выбрать его, мы будем искать панель эффектов, которая должна быть справа от программы, и перейдем к Видео Эффекты> Стилизация> Мозаика .
Как только эффект найден, мы просто перетаскиваем его на видео, которое у нас есть на временной шкале внизу. И он будет применен автоматически. Как мы увидим, все видео будет пиксельным. Потом мы это настроим.
После того, как эффект будет применен, следующее, что мы собираемся сделать, это настроить его. Для этого в левой части выберем " Элементы управления эффектами ”, И здесь появится наш эффект мозаики, который мы только что добавили. Что мы собираемся с этим сделать, так это изменить размер пиксельных кадров, поскольку по умолчанию они очень большие. Подбираем варианты «Горизонтальные блоки» и «Вертикальные блоки» и настроим как хотим. Оптимальные значения от 50 до 150. Ниже пиксель будет слишком большим, а верхний элемент не будет хорошо размываться.
4. 8 -битный пакет Геймеров-Захватчиков
3. 8 -битный Пакет Блоков для Геймеров
Эффекты падающего пиксельного блока делают игроков энергичными и создают интересную игровую среду. С 4 музыкальными опциями и 1 переходом пользователь, несомненно, сделает это стоящим того времени.
Как на основе фотографий нейросети создают видео
Полагаю, за последние пару лет на глаза многим попадались примеры того, как нейронные сети заставляли людей двигаться на фотографиях. Это было довольно забавно, но на таких "видео" было довольно много артефактов, да и толку от них было не особо. Но развитие на месте не стоит и нейросети научились буквально дорисовывать целые кадры на видео. К примеру как в данном случае.
Может возникнуть вопрос, к примеру, чем такая сеть отличается от той же DLSS созданной компанией NVidia и похожих сетей? Которые тоже повышают частоту кадров, делают изображение чётче и так далее. Почему бы не скормить таким нейросетям точно так же набор фотографий? Разница как раз в том, что существующие нейросети именно повышают качество изображения в реальном времени. Берут видео низкого разрешения и достраивают его до высокого. И прирост частоты происходит именно за счёт того, что видео низкого разрешения проще отобразить. Но эти сети не дорисовывают недостающие кадры.
Данная разработка была представлена учёными из Германии и её цель именно в полноценном создании промежуточных кадров. Данная сеть с нуля дорисовывает недостающие кадры, с учётом сдвига камеры и теней, с учётом изменения освещения и прочих нюансов. Она полностью "додумывает" как должны выглядеть эти кадры. На этом видео я более подробно рассказал о том, как подобная сеть работает.
Может возникнуть вопрос - а зачем вообще эта сеть нужна? Самый простой вариант - для повышения качества и плавности старых фильмов, за счёт дорисовывания недостающих кадров. Но если говорить о чуть более интересных вещах - что бы нейросеть смогла дорисовывать эти кадры, она на фотографиях прежде всего должна определить границы объектов. Трёхмерные границы. И высчитывается это всё исключительно на основание фотографий. Так что подобные нейросети на сегодняшний день разрабатывают в том числе для того, что бы строить 3д модели по фотографиям. Сейчас они ещё довольно громоздки и требуют больших вычислительных ресурсов. Но данное направление развивается очень быстро и, вполне возможно, скоро их можно будет спокойно использовать вместо лидаров. И вам будет достаточно иметь на руках простой смартфон, что бы построить 3д модель своей комнаты, к примеру. А там уже недалеко и до полноценных дешёвых систем жестового управления и дополненной реальности.
Русская культура через нейросети
Приветствую, попытался воссоздать Кремль в лесу через колаб Disco Diffusion Zomming построенный на модели Diffusion.
Генерация 400 кадров - составила 10 часов на видеокарте Tesla A100 40gb
И полное видео с фолк исполнительницей в русском народном жанре. Ссылка на автора композиции в ссылке описание видео.
8. Pixel World Pack
Pixel World Pack гарантирует, что у вас есть мир под одним эффектом пакета хранения, если геймер ищет пиксельные эффекты с помощью значков на рабочем столе, пиксельной графики кошек, продуктов питания и окон браузера. Он совместим с Filmora 9.6 и предлагает 10 названий.
Видеоэффекты, предлагаемые этим программным обеспечением, включают в себя креативные переходы, элементы движения и заголовки фильтров, которые передают сильное послание. Wondershare Filmora позволяет музыке затухать, чтобы выделить диалог с помощью инструмента "Приглушение звука". Наряду с этим, контроль скорости и цветопередача оказывают длительное влияние на зрителей.
Шаг 1: Вставка видео
Для начала запустите Wondershare Filmora. В опции "Файл" пользователю рекомендуется импортировать исходные файлы в библиотеку мультимедиа. После этого из серии видеофайлов нажмите на миниатюру целевого видео, а затем перетащите его на временную шкалу.
Шаг 2. Посещение фильма с вкладки Эффекты
На следующем шаге пользователю будет предложено перейти на вкладку "Эффекты". На ней появится опция "Посетить фильм", и вы можете нажать на нее. Однако также можно получить доступ к фильмостоку, нажав на значок "Загрузить", расположенный в правом верхнем углу. Теперь войдите в свою учетную запись Wondershare Filmstock, и все готово!
Шаг 3: Примените Эффекты Пиксельной Графики
Пользователь может ознакомиться со всеми эффектами, кратко описанными в разделе 2. Примените их к своим видео и получите потрясающие результаты.
Шаг 4: Совместное использование и экспорт видео
Последний шаг очень прост. Выберите любой медиа-формат по вашему выбору и поделитесь им со всеми, кто вам нравится! Просто нажмите на кнопку "Экспорт", расположенную в правом верхнем углу интерфейса.
Для Win 7 или позднее (64-bit)
Безопасная загрузка
Для macOS 10.12 или позднее
Безопасная загрузка
1. 8 -битный пакет Waka для Геймеров
Цензура лиц в премьере: требования
Первое, что нам нужно для выполнения этой задачи, - это использовать обновленная версия программы . В старых версиях, помимо несколько иного интерфейса, нет некоторых функций, которые мы собираемся использовать в этой статье, таких как, например, возможность автоматического отслеживания движущегося объекта или лица. Мы использовали Adobe Premiere Pro 2020, поэтому не рекомендуем делать это с предыдущими версиями.
Кроме того, процесс анализа и отслеживания видео ресурсоемкий . Но на самом деле многие. Следовательно, необходим ПК с мощным процессором и большим количеством доступных Оперативная память. И даже тогда на обработку уйдет много времени.
Также рекомендуем сбросить Настройки Premiere по умолчанию чтобы избежать путаницы с параметрами и меню.
Коллекция плагинов
Зацените видео с демонстрацией эффектов, так же в нём есть инструкция по установке и запуску программы:
Ну а сейчас я буду издеваться над картинкой Лены:
tvsim color noise.bat tvsim bw ringing.bat colorop rnd.bat YUVA classic.bat lineswap.bat pixelsort h.bat stars lights diagonal.bat rdither.bat
TVsim - эффект имитирует работу аналогового телевизора. Доступны стандартные разрешения, ЧБ цвет и NTSC формат. AM-модуляцию не вышло добавить. Имитируется ТВ сигнал с гасящими импульсами, пустыми строками, уровнями напряжения и на это всё накладывается шум, из-за чего получаются правдоподобные помехи. Так же есть затухание кинескопа, интерлейсинг и эффект Гиббса (Ringing artifact).
Colorop - этим эффектом можно применять математические операции к цветовым компонентам, например к красному оттенку применить операцию XOR со случайным.числом
YUVA - это мой очень старый видео эффект. Он не в папке свободных плагинов, потому что его код настолько убогий и медленный, что его лучше не видеть никому.
Lineswap - строки случайным образом копируются вверх или вниз несколько раз.
Pixelsort - популярный эффект, пиксели сортируются по яркости или другим признакам в пределах интервалов. Пока что выглядит не так шикарно как на картинках в интернете.
Почти у каждого эффекта есть собственные команды для настроек, которые можно увидеть в консоли при их запуске. Команды передаются через ключ --opts "всё что в кавычках уже будет относиться к командам для плагина".
Импортируйте видео, которое мы хотим пикселизировать
Первое, что нужно сделать, это, конечно, создать новый проект Premiere. Для этого откроем программу и создадим новый проект. Мы также можем сделать это из «Файл» МЕНЮ . Если у нас нет особых требований, мы можем оставить параметры по умолчанию.
И мы окажемся в главном окне редактирования с открытым новым проектом.
Следующим шагом будет добавление видео, которое мы хотим подвергнуть цензуре. Для этого мы можем использовать " Медиа Браузер », Которое появляется в нижней левой части окна. Как только видео будет найдено, мы перетащим его на временную шкалу справа. Конечно, мы можем добавить все видеоклипы, какие захотим. Конечно, нам придется провести этот процесс для каждого из них.
У нас уже есть видео, загруженное в программу. Теперь следующий шаг - начать работу с эффектами.
2. 8 - битный Игровой Боевой Набор
5. 8 -битный Геймерский Пиксельный Пакет для вечеринок
Читайте также: