Upscale видео с использованием AI (обсуждение, предложения, обмен опытом)

Современный зритель избалован визуальным контентом в высоком разрешении. Да и верхний предел качества картинки не установлен. Не беда, если видеоролик не отвечает стандартам, улучшить его качество помогут нейросети. Помогут ли?..Обработка видео с использованием ПО на базе искусственного интеллекта (AI)

Щебечем здесь на тему увеличения разрешения (обработки) видео с использованием программного обеспечения на базе искусственного интеллекта (AI)

Современный зритель избалован визуальным контентом в высоком разрешении. Да и верхний предел качества картинки не установлен. Не беда, если видеоролик не отвечает стандартам, улучшить его качество помогут нейросети. Помогут ли?..

апскейл музыкальных клипов FullHD -> 4K 60fps

Попадаются версии master музыкальных клипов. Неплохи и blu-ray диски с хорошей аудио дорожкой.
Моя любимая модель для апскейла с топазом - это Ирида 2 (iris-2).
Но вот для музыкальных клипов, на мой вкус, больше подходит Диона 4 (dtd-4). Мало того, для большого экрана хорошо ещё и увеличивать частоту кадров. С 23.976 до 59.94.
tvai_fi=model=apo-8:slowmo=1:rdt=-0.000001:fps=59.94:device=0:vram=1:instances=0,tvai_up=model=dtd-4:scale=0:w=3840:h=2160
Приведу отрывок из Katy Perry - Prismatic World Tour. 4K 60fps dts-hd ma, 96000 Hz, 5.1, s24
Конечно, с такими то параметрами, даже отрывок получился здоровым. Надеюсь не только размером, но и качеством.

Сравнение и кадры.

обновил каталог файлов с командными файлами

🦖 командный файл для подготовки и кодирования видео в топазе •▄

Новая версия дополнительно позволяет использовать только AviSynth скрипт и ffmpeg программное или аппаратное кодирование.
Так будет если в каталоге с исходным видео есть файлы ffmpeg32.avs и ffmpeg.txt и нет tvai.txt.

Добавлен фильтр обработки чересстрочной развёртки nnedi для ffmpeg.
Работает быстро (для FullHD и 4K быстрее AviSynth QTGMC) и качественно.
ffmpeg.txt (замените путь на полный путь к вашему каталогу tvaiplus/nnedi, \ перед : и вместо \ поставьте /):
-vf nnedi='c\:/Program Files (x86)/tvaiplus/nnedi/nnedi3_weights.bin':deint=all:nsize=s8x6 ... -c:v libx265 ...

Не угадаешь что получится, пока не попробуешь.
tvai_up=model=iris-2:scale=2:preblur=0:noise=-0.2:details=0.15:halo=0:blur=0:compression=0.15:estimate=8:grain=0.02:gsize=2

Просмотр доступен только для зарегистрированных пользователей

Больше деталей на другом форуме.

TOPAZAVR писал(а):

Не угадаешь что получится, пока не попробуешь.
tvai_up=model=iris-2:scale=2:preblur=0:noise=-0.2:details=0.15:halo=0:blur=0:compression=0.15:estimate=8:grain=0.02:gsize=2

Просмотр доступен только для зарегистрированных пользователей

Больше деталей на другом форуме.

Получилось неплохо. Но всё портит мазня вместо логотипов каналов. Так и охота взять тряпку и оттереть

Лучше бы оставили как есть...

bukla111 писал(а):

Получилось неплохо. Но всё портит мазня вместо логотипов каналов. Так и охота взять тряпку и оттереть

Лучше бы оставили как есть...

...щас не об этом...

Это ведь не раздача.
Источник смотрим и увеличитель топаз. Тереть лого или нет — дело вкуса.
Мало ли кому приглянулся фильм в FullHD и возникла мысль содеять 4K этаким способом.

Цитата:

Получилось неплохо. Но всё портит мазня вместо логотипов каналов. Так и охота взять тряпку и оттереть

Лучше бы оставили как есть...

Ничего хорошего там в принципе нет. Такая насыщенность накручена, что начинают болеть глаза. Наверное у автора плохо откалиброван монитор. Ну или глаза, лол.

Посмотрите на этот скриншот: https://i.ibb.co/xhdC947/4-K-0006.jpg

У мужчины волшебным образом появилась помада на губах? Для чего придумывать такие ядовитые и неестественные цвета, лично мне непонятно.

Leo 69 писал(а):

Ничего хорошего там в принципе нет. Такая насыщенность накручена, что начинают болеть глаза. Наверное у автора плохо откалиброван монитор. Ну или глаза, лол.

Посмотрите на этот скриншот: https://i.ibb.co/xhdC947/4-K-0006.jpg

У мужчины волшебным образом появилась помада на губах? Для чего придумывать такие ядовитые и неестественные цвета, лично мне непонятно.

Для советского кино это мелочи...Спишем это на сказочный замысел авторов...
P.S. Сегодня смотрел этот фильм на канале Мосфильма...Губы у Гафта розовые

Может быть они спецом использовали помаду? :задумался:

здравствуйте. планируете ли вы сделать раздачу handmade upscale AI
для сериала Californication (1-7 сезон)
с оригинальной английской озвучкой и английскими субтитрами?
заранее спасибо!!!

😎
Мне не нравится 3D кино с большими чёрными полосами. Ни на ТВ, ни на экране.
Для себя я увеличиваю изображение 2.35/1 в 1.333 раза, обрезая его слева и справа.
Увеличение или улучшение с помощью Топаза.
Кроме того, мне больше понравилось не воссоздавать 3D iso образ, а делать full SbS картинку (3840x1080), кодированную 10-bit hevc. И размер меньше и красивей.

Просмотр доступен только для зарегистрированных пользователей

Если смотреть "одним глазом" (только левое поле, переключив 3D в 2D), то картинка также превосходна.
Больше деталей на другом форуме

QTGMC на PROB-у

Цитата:

Более года назад

Сделано комбинацией dtd-4+iris-2:
Шерлок Холмс и доктор Ватсон. 1 Знакомство
Безымянная звезда
Трасса 60
Старые песни о главном: Постскриптум
Чисто английское убийство

Примечательно, что скрипт avisynth хорошо работает как источник перед tvai с такой комбинацией.

Многим понравилась идея вместо qtgmc использовать dtd-4.
Через пару месяцев появился Proteus v4. За год руки не дошли попробовать ещё раз улучшить.
(Как говорит наш замечательный сатирик Аркадий Райкин: А улучшать можно до бесконечности, до бесконечности можно улучшать!)
Не вспомню, писал ли, что скорость dtd-4+iris-2 лишь немного ниже qtgmc плюс одна модель. На мощной карте двойная модель быстрее.
Итак, вместо dtd-4 поставил prob-4! prob-4 вполне конкурент qtgmc. Как и с dtd-4, на первом шаге модель prob-4 размер не увеличивает.
Как и прежде, можно использовать скрипт avisynth (без qtgmc) как источник перед комбинацией prob-4+iris-2.
Вместо сравнения отдельных кадров напишу лишь, что видео стало ещё чуть приятней. На глаз глаже что ли, сохраняя все мелкие детали.
Можно попробовать для iris-2 параметр :halo=0.1.
Ещё немного.
tvai_up=model=prob-4:scale=1:preblur=0:noise=0:details=0:halo=0:blur=0:compression=0:estimate=8:grain=0.02:gsize=1:device=0:vram=1:instances=0,tvai_up=model=iris-2:scale=0:w=1920:h=1080:preblur=0:noise=0.2:details=0:halo=0:blur=0:compression=0
grain на первой итерации , как мне показалось, лучше, чем prenoise на второй.

Этот текст размещён и на другом форуме.

TOPAZAVR писал(а):

обновил каталог файлов с командными файлами

🦖 командный файл для подготовки и кодирования видео в топазе •▄

Новая версия дополнительно позволяет использовать только AviSynth скрипт и ffmpeg программное или аппаратное кодирование.

Спасибо TOPAZAVR, наконец-то скачал и нашел время посмотреть, очень интересно, можно пожелания?
1-ое и самое главное хочется побольше примеров с пояснениями параметров.
Помимо использования фильтров AviSynth, хочется фильтры VapourSynth, и особенно примеры использования фильтров самой ffmpeg, как видео, так и аудио, к сожалению документация ffmpeg заумная, и там очень мало примеров.
К примеру в новых ffmpeg встроена крутая библиотека libplacebo обработки видео с ускорением на GPU, очень хочется примеров ее использования, взамен всех основных фильтров AviSynth.

Может это уже обсуждалось, но спрошу тем не менее - зачем выкладывать в таком количестве АV1 апскейлы, которые пока кроме стримеров и компьютерного софта ничем не поддерживаются? Размер меньше, все правильно, но как смотреть?

ramy писал(а):

АV1 апскейлы, которые пока кроме стримеров и компьютерного софта ничем не поддерживаются?

Поддерживается наверное всеми более или менее свежими тв и тв приставками

ramy писал(а):

... Размер меньше ...

HEVC (h.265) при использовании программного кодировщика (libx265) даёт сопоставимый размер.
Программное кодирование даёт размер видео дорожки раза в полтора меньше, хоть и работает вдвое-втрое дольше.
Для "поточников" и "многостаночников" важна скорость кодирования. На видеокарте что для AV1, что для HEVC скорость сильно выше.

Тут главное без излишеств.
Восьми-канальная звуковая дорожка Dolby TrueHD with Dolby Atmos может иметь размер 4-5 Гигабайт. А если таких дорожек две, русская и оригинальная, то очень сжатая видео дорожка (подразумевается сохранение очень высокого качество картинки) не сильно сэкономит полный размер файла.
А если не очень экономно, то зачем мучаться?

Какой процент в общем объёме занимает каждая дорожка фильма можно посмотреть программами вроде mediainfo.

ramy писал(а):

зачем выкладывать в таком количестве АV1 апскейлы, которые пока кроме стримеров и компьютерного софта ничем не поддерживаются? Размер меньше, все правильно, но как смотреть?

Эти вопросы будут еще много лет, пока последний дед не поменяет свой дедов ТВ на ТВ с AV1!
Лично у меня уже несколько лет нет ни одной дедовой железяки без AV1!
Посмотрите на кодек XviD, нужно постараться, чтоб найти новые релизы с этим кодеком? А почему? Да потому, что H.264 намного лучше и даже у дедов уже нет железа, которое бы не поддерживало H.264. А что будет через пару-тройку лет? Уже трудно будет найти новинки с H.264, потому, что уже не будет железа без H.265, и потому, что уже везде будет 4K, а H.264 разрабатывали для 1080p, а не для 4K! Ну а что будет еще через пару-тройку лет? Через несколько лет именно AV1 будет самым популярным кодеком, а не другие, а деды будут вопрошать, зачем кодек Next AV2/AVM, когда есть обычный AV1. Вот зачем сейчас нужны релизы с AV1, чтоб релизы были актуальны на года, а не только для сейчас.

TOPAZAVR писал(а):

Восьми-канальная звуковая дорожка Dolby TrueHD with Dolby Atmos может иметь размер 4-5 Гигабайт. А если таких дорожек две, русская и оригинальная, то очень сжатая видео дорожка (подразумевается сохранение очень высокого качество картинки) не сильно сэкономит полный размер файла.
А если не очень экономно, то зачем мучаться?

Я не понимаю народ, который мучается, часами сжимает видео, и к нему прикручивает 5-6-ти Гиговый Atmos.
Ну не будет у большинства людей в квартирах дорогих 8 канальных систем, у многих и 6-ти канальных нет в квартирах.
Ну что мешает нормально сжать, практически не сжатый Atmos аудио? Звук, в отличие от видео, сжимается всего за пару минут!

TOPAZAVR писал(а):

ramy писал(а):

... Размер меньше ...

HEVC (h.265) при использовании программного кодировщика (libx265) даёт сопоставимый размер.

AV1 при использовании программного кодировщика (AOMEnc) даёт меньший размер. А программный SVT-AV1-PSY дает еще меньший размер, при психовизуальном сохранении качества. Совсем маленький размер дает vvenc для H.266/VVC.