Термин интерполяция пришел из математики. В общем виде это нахождение неизвестных промежуточных значений функции по уже имеющимся. Например, из значений температуры воздуха в 11:00 и 13:00 вычисляют значение в 12:00.
В случае с видео – это достраивание промежуточных кадров в видеоряде на основе соседних. Эта технология часто встречается в телевизорах для повышения кадровой частоты и общей плавности картинки.
Интерполяцию используют для восстановления утерянных кадров в ходе видеотрансляций и конференций, создания Slow-Mo эффекта в анимации и видео, а также повышения кадровой частоты в видеоиграх. Рассказываем, как именно работает технология и где еще ее можно применить.
Как работает интерполяция
Выделяют три основных метода интерполяции от самого простого к самому продвинутому: усреднение кадров, оценка движения (MEMC) и AI-интерполяция.
Усреднение кадров – алгоритм, который берет два соседних кадра и накладывает их друг на друга. Никаких дополнительных вычислений или обработки не производится, так что реализовать такой метод проще остальных.
Интерполяция. Тема
Несмотря на это, прибегают к такому методу редко. Все дело в артефактах, вызванных наложением кадров. Чем больше в кадре движущихся объектов – тем больше артефактов. Так что смысл в такой интерполяции есть лишь на относительно статичных видео, где нужно убрать статтеры (небольшие подергивания, заметные на медленно движущихся объектах в 24 к/с).
Гораздо более популярная технология – оценка движения (Motion Estimation – Motion Compensation, сокращенно MEMC). Она работает в два этапа: сперва делит кадр на множество блоков, далее оценивает вектор движения каждого блока.
Чем больше блоков, тем точнее работа алгоритма. Но вместе с этим возрастает время обработки, так что для оптимизации часто используют динамические блоки – их размер меняется в зависимости от разницы между соседними кадрами.
На правах рекламы
Робот-пылесос 360 Botslab P7
Бюджетный робот-пылесос с голосовым управлением, умением строить карты помещения и временем работы до 90 минут, а также влажной уборкой.
Субботний кофе №247
Налейте чашку ароматного субботнего кофе и познакомьтесь с новостями недели. Xiaomi представила свой флагман, realme привезли новый смартфон, в Москве открылся шоурум с умными устройствами, а легендарный сериал вернется на экраны…
Тест Changan CS35 Plus. Симпатичный и доступный кроссовер
Сегодня на тесте городской кроссовер Changan CS35 Plus от китайского автопроизводителя, который уже давно присутствует на нашем рынке, но не так активен у нас, как его конкуренты…
Xiaomi Mi TV Q1 75: лучший телевизор Xiaomi
Квантовые точки, поддержка Dolby Vision и HDR10+, яркость 1000 нит, 30 Вт звука и много чего ещё. Самый дорогой и продвинутый телевизор от Xiaomi.
После деления на блоки каждому из них присваивается вектор движения, то есть, изменение местоположения блока между кадрами. На основании этой информации достраиваются промежуточные кадры.
5 Настроек телевизора, наносящие вред качеству изображения | ABOUT TECH
MEMC часто встречается в современных телевизорах. Такой метод гораздо точнее усреднения кадров, однако и у него есть свои недостатки. Например, он не способен разделять передний и задний план – из-за этого при построении новых кадров искажается перспектива.
Так как промежуточные кадры строятся путем сдвига блоков изображения, области вокруг движущихся объектов могут деформироваться. Кроме того, технология плохо работает с нелинейно движущимися объектами, вокруг них возникают заметные глазу шлейфы.
При работе алгоритма на видео возникает эффект мыльной оперы – он выражается в неестественной плавности движений. Название эффекта отсылает к одноименному жанру сериалов, которые в основе снимались на камеры с более высокой частотой, чем «кинематографические» 24 кадра в секунду.
Усреднение кадров и оценка движения уже давно применяются в обработке видео. Однако сейчас они уступают место более совершенным технологиям интерполяции, в основе которых лежит искусственный интеллект.
Нейросети на страже плавности
Интерполяция на основе ИИ гораздо точнее, чем два предыдущих метода. Благодаря машинному обучению алгоритмы способны разделять статичные и движущиеся объекты и по-разному с ними работать.
Такой подход уменьшает количество артефактов на генерируемых кадрах, а также убирает эффект мыльной оперы. Также решается проблема перспективы – нейросети определяют передний и задний планы и учитывают их при построении новых кадров.
Понимание того, где расположен объект, является ключевым отличием методов интерполяции на базе ИИ. Еще одно отличие «умной» интерполяции – способность анализировать не только два соседних кадра, но выборки из десятков кадров видеоролика. Так в распоряжении нейросети оказывается больше информации, и финальный результат выглядит естественнее.
Однако для столь сложных вычислений требуется высокая производительность, которой не располагают сигнальные процессоры в телевизорах. Зато такие вычислительные ресурсы есть в современных видеокартах.
Для интерполяции на компьютере существуют такие утилиты, как Topaz Chronos и Adobe Pixel Motion. Правда, тут следует сделать оговорку: они не работают в реальном времени. То есть, приходится ждать, пока графический ускоритель обработает видеоролик, и только потом его можно посмотреть с увеличенной частотой кадров.
Впрочем, уже есть схожая технология, работающая в реальном времени – Nvidia DLSS 3. Она тоже генерирует дополнительные кадры при помощи ИИ, благодаря чему повышается кадровая частота в играх. Время генерации кадра при этом гораздо меньше, чем у приведенных выше аналогов.
Именно в таких случаях интерполяция особенно полезна. Разница между соседними кадрами невелика ввиду малого времени, так что нейросетям не составит труда сгенерировать дополнительные кадры и улучшить плавность картинки.
Также с развитием алгоритмов интерполяции улучшится качество видеосвязи. Сейчас видеосигнал передается с использованием межкадрового сжатия – метода, при котором записываются только отличающиеся друг от друга последовательные кадры. Такая технология эффективна, но при чрезмерном сжатии изображение станет неузнаваемым.
Недавно вышла статья Nvidia о синтезе кадров для видеоконференций. В частности, говорится о сжатии видео. Из одного несжатого изображения новый алгоритм смог достроить целую последовательность кадров. Реализация технологии повысит качество видеосвязи при медленном подключении.
Наконец, интерполяция видео найдет применение в медицине. В 2020 году вышла научная работа, в которой авторы разработали алгоритм синтеза изображений на базе машинного обучения – он предназначен для кардиокоронарографии с высокой частотой кадров. Внедрение алгоритма позволит снизить рентгеновское излучение, которому подвергают пациентов в ходе процедуры.
В конце концов, мы можем увидеть технологию генерации целых видеороликов из нескольких кадров. Вместе с этим откроются новые сценарии применения интерполяции как в потреблении, так и создании медиа, а также в других индустриях. Учитывая, как быстро развиваются нейросети, произойти это может уже в этом десятилетии.
Что такое RTX Video Super Resolution и почему вы захотите им пользоваться
Новая технология улучшит качество видео при помощи ИИ. Однако у нее есть ограничения.
Источник: mobile-review.com
Что такое эффект мыльной оперы?
Эффект мыльной оперы, также называемый интерполяцией движения или интерполяцией кадров, представляет собой форму обработки видео, при которой кадры искусственной анимации генерируются между существующими посредством интерполяции.
Цель состоит в том, чтобы попытаться сделать анимацию более плавной и компенсировать размытость изображения при движении.
Вы, вероятно, купили новый телевизор и задаетесь вопросом, почему фильмы выглядят так гипер-реалистично с ультра-плавным движением. Вы уверены, что с изображениями, показываемыми по телевизору, происходит что-то, что вам не нравится, но вы не можете понять, что?
Скорее всего, вы переживаете что-то, что заставляет все на вашем телевизоре выглядеть как дешевый сериал; поэтому это называется «эффектом мыльной оперы».
Эффект мыльной оперы, сокращенно SOE, характерен для многих современных телевизоров. Это также называется «сглаживанием движения», «интерполяцией движения» или «интерполяцией кадров». У разных производителей телевизоров есть свои собственные выражения для этой технологии, например, LG TruMotion.
Это вопрос предпочтений. Некоторые люди этого не замечают, некоторые ненавидят, а некоторым это нравится. Однако в основном люди ненавидят его, потому что он кажется несколько искусственным и незнакомым, поскольку мы не привыкли смотреть телевизор с такой высокой частотой кадров, которую нам показывают.
Как работает интерполяция движения?
Он был разработан, чтобы помочь уменьшить размытость изображения при движении на ЖК-дисплеях, поскольку это большая проблема с панелями этого типа. Размытие в движении означает, что любой объект на экране, который находится в движении, будет менее детализированным (размытым) по сравнению с тем же объектом в неподвижном состоянии.
Вот почему были разработаны ЖК-дисплеи с более высокой частотой кадров (120 Гц, 144 Гц, 240 Гц). Чтобы эти типы дисплеев были наиболее эффективными, они должны вставлять новые настоящие кадры между исходными кадрами.
Благодаря современным процессорам современные телевизоры могут «угадывать», что происходит между кадрами в исходном видеоматериале. Эти новые кадры представляют собой «гибрид» кадра до и кадра после. Размытие при движении будет значительно уменьшено с помощью этой техники.
В зависимости от модели телевизора сглаживание движения можно включить со скоростью 30, 60 и 120 FPS.
При сглаживании движения 30 кадров в секунду контент с 30 или менее кадрами в секунду интерполируется для отображения 60 кадров в секунду, тогда как интерполяция 60 кадров в секунду дает изображение со 120 ложными кадрами в секунду и, наконец, интерполяция 120 кадров в секунду дает 240 кадров в секунду.
Большинство фильмов в Голливуде снимаются с разрешением 24p (24 кадра в секунду), и именно здесь возникает проблема. Каденция фильма и связанное с этим размытие изображения с более низкой частотой кадров связаны с восприятием художественной литературы.
Даже если это восприятие кажется грандиозным — «вид» 24FPS ожидается от фильмов и художественных телешоу. Несмотря на то, что теле- и киноиндустрия в основном больше не использует пленку, новые цифровые камеры настроены на запись со скоростью 24 кадра в секунду, потому что это то, чего ожидает публика.
Эффект мыльной оперы нарушает этот ритм. Создание кадров между 24 исходными кадрами делает фильм (24FPS) похожим на мыльную оперу (30/60FPS), и это то, что не нравится многим зрителям.
Для игр и определенного динамичного контента, такого как спорт, контент будет иметь лучшую детализацию с движением с минимальными побочными эффектами. Однако сглаживание движения также может привести к дополнительной задержке ввода, которую многие геймеры не сочтут стоящей.
Как найти функцию сглаживания движения на вашем телевизоре?
Многие телекомпании имеют собственное название для обработки / алгоритма интерполяции кадров :
- SONY Motionflow
- Samsung Auto Motion Plus
- Sharp AquoMotion
- Toshiba ClearFrame или ClearScan
- Vizio плавное движение
- LG TruMotion
- Привод JVC Clear Motion
К счастью, почти все телекомпании позволяют отключать SOE, и большинство из них также позволяют регулировать его интенсивность.
Плазма
Производители телевизоров также внедрили методы сглаживания движения в схемы плазменных дисплеев. У плазмы обычно нет проблем с размытием движения, поэтому сглаживание движения в значительной степени избыточно.
Что происходит внутри плазменного телевизора, использующего методы сглаживания движения, так это то, что он создает новые кадры, которые вставляются между кадрами фильма, просто чтобы сделать фильм более плавным.
Panasonic называет свою версию Cinema Smoother. Вы можете найти его в меню в разделе «Настройки движущегося изображения».
Вывод
Интерполяция кадров позволяет дисплеям показывать более плавное движение, чем то, что было изначально снято, путем создания искусственных кадров между исходными кадрами на основе предыдущего и следующего кадра.
Если вам это не нравится, вы можете просто выключить его и смотреть фильмы, как привыкли. Возможно, вы захотите включить эту настройку, когда смотрите спорт или другой контент со скоростью 30, 60 и 120 кадров в секунду.
Источник: fps-up.ru
О выборе телевизора простыми словами
Что ж. С чего бы начать. Не так давно моя семья столкнулась со сложностью выбора телевизора. Придя в магазин электроники, мы увидели огромное количество разнообразных марок, моделей, которые внешне отличались максимум пультом управления и цветом корпуса, а также расположением мультимедийных портов.
Дальше был какой-то смех. К нам подошел продавец, который, мягко говоря, не внушал доверия своим внешним видом, и впоследствии стало ясно, что с тех.характеристиками он не знаком от слова совсем. Но эта статья немного не об этом, хотя такая некомпетентность пугает. О словах продавца расскажу чуть ниже.
Немного о главных параметрах телевизоров:
1. Диагональ.
Ничего сложного, выбираем ту, которая подходит для ваших нужд и финансов.
2. Выбор способа подсветки матрицы телевизора.
Сейчас используется 2 способа подсветки — Direct LED и Edge LED. Первый тип подсветки предполагает расположение светодиодов сзади матрицы телевизора, а второй – боковое расположение светодиодов.
Рассмотрим плюсы и минусы данных типов подсветок:
3. Разрешение .
Разрешение – это информация по количеству пикселей по вертикали и горизонтали экрана. Более высокое разрешение позволяет воспроизведение более детального и качественного изображения.
4. Частота обновления экрана.
Данный параметр определяет, как часто изображение на экране заново перерисовывается. Чем больше, тем лучше и дороже соответственно.
P. S. Небольшое лирическое отступление. Продавец в магазине втирал, что интерполяция телевизора — это частота обновления матрицы… просто туши свет… об интерполяции чуть ниже.
5. Интерполяция.
Многие смарт-телевизоры используют технологию интерполяции (вставки) промежуточных кадров между уже существующими с целью достижения более плавной визуализации изображения. Каждый производитель использует свои обозначения (названия и числовые значения) уровня интерполяции. Samsung использует PQI (Picture Quality Index), LG использует PMI (Picture Mistering Index) и т.д. Найти эти обозначения не составляет труда.
6. Операционная система.
В основном, операционные системы базируются на ядре Linux, большинство используют android tv, но крупные игроки рынка разрабатывают свои операционные системы. Samsung — Tyzen, LG — WebOS и т.д.
7. Вид матрицы — TN, VA, IPS.
- TN — самая простая, а следовательно, и самая дешевая матрица. Не рекомендую к покупке, так как очень сильно страдает качество изображения и современных технологий она не поддерживает. Под экстремальными углами очень сильно искажается передача цветов изображения.
- IPS — главным достоинством является максимальные углы обзора в 180 градусов, реалистичная передача цветов, включая почти идеальный черный, и очень хорошая контрастность изображения. У Samsung этот вид называется PLS (собственная разработка Samsung).
- VA — так сказать, компромисс между IPS и TN. Дешевле, чем IPS, но намного лучше, чем TN. Небольшое время отклика и хорошая передача цветов. Под экстремальными углами выбеливает изображение (это, так сказать особенность VA панелей). В большинстве телевизоров средней ценовой категории используется именно VA панель.
В магазине тщательно тестируйте смарт-оболочку телевизора, браузерный серфинг и т.д.
Для более детального разбора телевизоров рекомендую сайт https://www.displayspecifications.com/ru . Он поможет вам в выборе и сравнении телевизоров/мониторов, а так же подойдет для более глубокого изучения вопроса о характеристиках телевизоров.
Удачи в выборе телевизора, дорогие читатели! Желаю вам знающих консультантов и хороших покупок.
Источник: dzen.ru