Upscale видео с использованием AI (обсуждение, предложения, обмен опытом)

Современный зритель избалован визуальным контентом в высоком разрешении. Да и верхний предел качества картинки не установлен. Не беда, если видеоролик не отвечает стандартам, улучшить его качество помогут нейросети. Помогут ли?..Обработка видео с использованием ПО на базе искусственного интеллекта (AI)

---

 
Щебечем здесь на тему увеличения разрешения (обработки) видео с использованием программного обеспечения на базе искусственного интеллекта (AI)

Современный зритель избалован визуальным контентом в высоком разрешении. Да и верхний предел качества картинки не установлен. Не беда, если видеоролик не отвечает стандартам, улучшить его качество помогут нейросети. Помогут ли?..

StasMih писал(а):

Буду дальше осваиваться

всё будет хорошо

anti-alias/deblur - вот очень! коварная настройка - при больших положительных значениях (более +15), можно получить уродующую толстую контурность (особенно если исходник болеет гало - цветные ореолы), так же при положительных значениях почти всегда вылезает ступенчатость (её можно рассмотреть при зуме картинки предпросмотра в том же самом топаз-е ) и ее будет видно на больших диагоналях (при настройках телевизора на сверхчёткость)

anti-alias/deblur я лично всегда использую в минус.

LORDKILL писал(а):

всегда использую в минус

самое надежное и безопасное, я же иногда безбожно усиливаю, вплодь до "волосы-канаты", как кто-то образно сказал

Господа спецы, нужна ваша помощь!
К сожалению, никак не могу побороть частичные артефакты на апскейле, которые видны на зеленом фоне и в волосах. Кроме того, дамочка все никак не может побриться
Исходник 1080р Blue-Ray


апскейл до 4К


Для апскейла использовал Artemis MQ V10 с восстановлением деталей 20 (по другому шумы вообще никак не убирались или было все замылено)
+ Proteus V4 с компрессией +30, усилением деталей +55, шарп +40, шумы 0, дегало +15, деблюр -10.
И получается такая фигня как выше.
Iris пробовал, но мылит дополнительно после Artemis'а.
Не сможете подсказать, что я делаю не так?

P.S. Исходник та еще засада... На кроп не смотрите, обычные вырезанные скрины с экрана.
U.P.S. И если вас сильно не затруднит, можете еще "носом натыкать" где накосячено

StasMih писал(а):

частичные артефакты

впечатление от скриншотов -
пробуйте NYX-3 настраивая на максимальный шумодав и постепенно снижая его до результата который понравится. остальное - по нулям, можно дегало дать 8-12 в плюс, можно одновременно деграйн повысить до 20-80 (но нужно смотреть: совместное использование денойз+деграйн в моделях nyx часто дает артефакты, особенно в более быстрой (по времени обработки) модели nyx fast-1). с появлением новых моделей от артемиса (любого) я бы остерегся - после него вообще мало что остается из деталей

StasMih писал(а):

с восстановлением деталей 20

0 - детали исходного изображения не важны, модели работают не сохраняя их
100 - программа будет стремиться сохранить аутентичность картинки

90-95 не мешает убирать шум и не позволяет коверкать изображение. т.н. накачка* картинки дорисованными деталями при этом слабая, но учитывая постоянную артефакт-готовность топаза - эти дорисованные детали пользы не приносят.

StasMih писал(а):

усилением деталей +55

в исходнике нет деталей под шумом, усилить можно тут только искажения
------------

личное мнение кустаря-непрофессионала

Календарь, спасибо огромное!
Буду дальне экспериментировать.

StasMih писал(а):

Artemis MQ V10 Исходник 1080р Blue-Ray

StasMih, по вашему исходнику видно, что это скорее всего сильное зерно или шум, которое ИИ считает за детали и усиливает.
Аrtemis не настраиваемый, но V13 немного лучше, чем V10.
NYX-3 в этом плане лучше, в нём нужно увеличивать шумоподавление и удаление зерна, и иногда уменьшать шарп до изчезания артефактов, но и мылить соответственно будет сильнее.
Если артефакты все равно останутся или сильно размылит, нужно отказаться от Artemisа и NYXа и использовать стандартные шумодавы VapourSynth или AviSynth, например в StaxRip, там есть фильтры, которые удалят зерно или шум без артефактов, особенно если во временном фильтре вручную увеличить максимально временной интервал.

afmla писал(а):

StasMih писал(а): Artemis MQ V10 Исходник 1080р Blue-Ray StasMih, по вашему исходнику видно, что это скорее всего сильное зерно или шум, которое ИИ считает за детали и усиливает. Аrtemis не настраиваемый, но V13 немного лучше, чем V10. NYX-3 в этом плане лучше, в нём нужно увеличивать шумоподавление и удаление зерна, и иногда уменьшать шарп до изчезания артефактов, но и мылить соответственно будет сильнее. Если артефакты все равно останутся или сильно размылит, нужно отказаться от Artemisа и NYXа и использовать стандартные шумодавы VapourSynth или AviSynth, например в StaxRip, там есть фильтры, которые удалят зерно или шум без артефактов, особенно если во временном фильтре вручную увеличить максимально временной интервал.

Спасибо, возьму на заметку на будущее!
Вроде удалось справиться NYX-3. Правда пришлось посидеть и помучаться с настройками

Попробовал новый алгоритм AI rhea1
Работает в 4 раза медленнее, чем iris
Исправил только облака на 02:07
Вот обнаружил прикол на 22.53.497.
Это я о своем ...
Небесный тихоход (1945) BDRip [H.265/1080p] [handmade upscale AI]
Полиции понравится.
Портрет в левом верхнем углу вообще не резкий в оригинале.
Но вот вытягивает и уваля ...
Кто это?
https://i8.imageban.ru/out/2024/07/14/d37f0a96534f764abeb399b08ed9996c.png

Сравнение Proteus (2.6.4. и 5.2.1), iris и rhea (параметры в правом верхнем углу)
https://powerserv.sourceforge.net/sc/BW/

Скорость на 4060Ti:
2.6.4 Proteus - 4.4 frames/s
5.2.1 Proteus - 5.7 frames/s
5.2.1 Iris - 5.2 frames/s
5.2.1 Rhea - 3.1 frames/s

Вот поэтому я все еще сижу на 2.6.4 :)

StasMih Поздравляю с 1 релизом в разделе HANDMADE
Сквозь горизонт / Горизонт событий / Event Horizon (1997) BDRip [H.265/2160p] [hand made Upscale AI]
Замечания: Это конечно недокроп по бокам главная проблема многих релизеров.

Вот сравнение с моим рипом: https://imgsli.com/Mjc4OTEw
Неплохо, но все же шумоподавитель преувеличен и многие детали в некоторых местах стерлись.

LORDKILL писал(а):

StasMih Поздравляю с 1 релизом в разделе HANDMADE Сквозь горизонт / Горизонт событий / Event Horizon (1997) BDRip [H.265/2160p] [hand made Upscale AI]

Спасибо!
Хорошие учителя в этой теме на форуме

LORDKILL писал(а):

Замечания: Это конечно недокроп по бокам ... Неплохо, но все же шумоподавитель преувеличен и многие детали в некоторых местах стерлись.

Действительно, и то и другое присутствует(
Ну хоть кто-то указал на мои косяки)) постараюсь не повторять

Ещё вопрос (несколько не в тему) - может кто-нибудь подскажет, как вывести OSD информацию текущего кадра?

StasMih писал(а):

Ещё вопрос (несколько не в тему) - может кто-нибудь подскажет, как вывести OSD информацию текущего кадра?

В PotPlayer - tab. Но лучше это делать средствами рендера, например в настройках MPCVideoRenderer: Show statistics

Q[Mi5] писал(а):

Сравнение Proteus (2.6.4. и 5.2.1), iris и rhea (параметры в правом верхнем углу) https://powerserv.sourceforge.net/sc/BW/ Скорость на 4060Ti: 2.6.4 Proteus - 4.4 frames/s 5.2.1 Proteus - 5.7 frames/s 5.2.1 Iris - 5.2 frames/s 5.2.1 Rhea - 3.1 frames/s Вот поэтому я все еще сижу на 2.6.4

Сравнение Proteus (2.6.4. и 5.2.1) - явно что-то не так, Proteus 4 - не на столько плох, по сравнению с Proteus 3, попробуйте перепроверить.

topazik1961 писал(а):

Попробовал новый алгоритм AI rhea1 Работает в 4 раза медленнее, чем iris Исправил только облака на 02:07 Вот обнаружил прикол на 22.53.497. Это я о своем ... Небесный тихоход (1945) BDRip [H.265/1080p] [handmade upscale AI] Полиции понравится. Портрет в левом верхнем углу вообще не резкий в оригинале. Но вот вытягивает и уваля ... Кто это? https://i8.imageban.ru/out/2024/07/14/d37f0a96534f764abeb399b08ed9996c.png

Это перешло в модель rhea от iris, с плохими источниками и высокими настройками iris пытается дорисовывать лица, так как нацелена именно на лица, чем хуже источник, тем хуже лицо, переход от источника к искусственному лицу слишком резкий, да, надеюсь в следующих версиях iris и соответственно rhea это исправят, чтоб не бросалось в глаза.