Что такое «апскейлинг» на телевизоре и как это работает?

Поскольку 4K заменяет HD в наших домах, производители используют некоторые интересные маркетинговые термины, такие как «апскейлинг Ultra HD» (UHD). Но апскейлинг не является уникальной функцией — оно просто позволяет телевизорам 4K работать с видеоформатами более низкого разрешения, такими как 1080p и 720p.

Все телевизоры имеют апскейлинг

Повышение разрешения означает, что контент с низким разрешением будет заполнять весь экран телевизора. Без него видео с низким разрешением занимает меньше половины экрана. Это типичная функция для всех телевизоров. Даже телевизоры 1080p имели это — они могли масштабировать контент до 720p и отображать его в полноэкранном режиме на экране 1080p.

Благодаря апскейлингу до UHD ваш 4K-телевизор будет работать как любой другой. Он может принимать контент с более низким разрешением и отображать его на всем экране 4K.

Увеличенный контент 1080p на экране 4K часто выглядит лучше, чем контент 1080p на обычном экране 1080p. Но апскейлинг — это не волшебство — вы не получите четкого изображения, которое было бы от настоящего, нативного контента 4K. Вот как это работает.

Разрешение существует на физическом и визуальном уровне

Прежде чем перейти к апскейлингу, нам нужно понять концепцию разрешения изображения. На первый взгляд, это относительно простая концепция. Изображение или видео с высоким разрешением выглядит «лучше», чем изображение или видео с низким разрешением.

Однако мы часто забываем некоторые ключевые аспекты, а именно разницу между физическим и оптическим разрешением. Эти аспекты работают вместе, чтобы создать хорошее изображение, и они являются основой для понимания апскейлинга. Мы также собираемся рассмотреть плотность пикселей — но не волнуйтесь — мы будем краткими и приятными.

Физическое разрешение: в технических характеристиках телевизора физическое разрешение обозначается просто как «разрешение». Это количество пикселей на дисплее. 4K-телевизор имеет больше пикселей, чем телевизор 1080p, а изображение 4K в четыре раза больше изображения 1080p. Все дисплеи 4K, независимо от их размера, содержат одинаковое количество пикселей. Хотя телевизоры с высоким физическим разрешением могут использовать свои дополнительные пиксели для обеспечения дополнительной детализации, это не всегда срабатывает. Физическое разрешение зависит от оптического разрешения.
Оптическое разрешение: вот почему ваши старые фотографии с одноразовой камеры выглядят лучше, чем красивые фотографии с цифровой камеры вашего претенциозного друга. Когда фотография выглядит резкой и имеет четкий динамический диапазон, она имеет высокое оптическое разрешение. Телевизоры иногда тратят свое высокое физическое разрешение, отображая видео с дерьмовым оптическим разрешением. Это приводит к размытости изображения и контрасту. Иногда это результат апскейлинга, но мы вернемся к этому через минуту.
Плотность пикселей: количество пикселей на дюйм на дисплее. Все дисплеи 4K содержат одинаковое количество пикселей, но на меньших дисплеях 4K пиксели расположены ближе друг к другу, поэтому они имеют высокую плотность пикселей. Например, iPhone 4K имеет более высокую плотность пикселей, чем 70-дюймовый телевизор 4K. Мы упоминаем это, чтобы укрепить идею о том, что размер экрана — это не то же самое, что физическое разрешение, и что плотность пикселей экрана не определяет его физическое разрешение.

Теперь, когда мы все освежили разницу между физическим и оптическим разрешением, пора перейти к апскейлингу.

Апскейлинг делает изображение «больше»

В каждом телевизоре есть множество алгоритмов интерполяции, которые используются для повышения качества изображения с низким разрешением. Эти алгоритмы эффективно добавляют пиксели к изображению для увеличения их разрешения. Но зачем вам увеличивать разрешение изображения?

Несоответствие размеров между разными разрешениями.  1080p примерно вдвое больше 720p, а 4K в четыре раза больше 1080p.

Помните, что физическое разрешение определяется количеством пикселей на дисплее. Это не имеет ничего общего с фактическим размером вашего телевизора. Экран телевизора 1080p состоит всего из 2 073 600 пикселей, а экран 4K — из 8 294 400 пикселей. Если вы показываете видео 1080p на 4K-телевизоре без апскейлинга, видео займет только четверть экрана.

Чтобы изображение 1080p соответствовало дисплею 4K, оно должно получить 6 миллионов пикселей в процессе масштабирования (в этот момент оно станет изображением 4K). Однако апскейлинг полагается на процесс, называемый интерполяцией, который на самом деле является просто прославленной игрой в угадывание.

Повышение разрешения снижает оптическое разрешение

Есть несколько способов интерполировать изображение. Самый простой метод называется интерполяцией «ближайшего соседа». Чтобы выполнить этот процесс, алгоритм добавляет к изображению сетку из «пустых» пикселей, а затем угадывает, какое значение цвета должен иметь каждый пустой пиксель, глядя на его четыре соседних пикселя.

Например, пустой пиксель, окруженный белыми пикселями, станет белым; тогда как пустой пиксель, окруженный белыми и синими пикселями, может получиться голубым. Это простой процесс, но он оставляет на изображении множество цифровых артефактов, размытости и неровных контуров. Другими словами, интерполированные изображения имеют плохое оптическое разрешение.

Слева четкое, яркое, неотредактированное изображение женщины на желтом фоне.  Справа - размытая, пиксельная версия того же изображения после интерполяции ближайшего соседа.Слева: неотредактированное изображение. Справа: после интерполяции ближайшего соседа.

Сравните эти два изображения. Тот, что слева, не редактировался, а тот, что справа, стал жертвой процесса интерполяции ближайшего соседа. Изображение справа выглядит ужасно, хотя его физическое разрешение совпадает с разрешением слева. Это происходит в небольшом масштабе каждый раз, когда ваш 4K-телевизор использует интерполяцию ближайшего соседа для повышения масштаба изображения.

«Подождите минутку», — можете сказать вы. «Мой новый 4K-телевизор совсем не похож!» Ну, это потому, что он не полностью полагается на интерполяцию ближайшего соседа — он использует сочетание методов для повышения масштаба изображений.

Апскейлинг тоже пытается решить проблему оптического разрешения

Итак, интерполяция ближайшего соседа некорректна. Это метод грубой силы для увеличения разрешения изображения, который не принимает во внимание оптическое разрешение. Вот почему телевизоры используют две другие формы интерполяции наряду с интерполяцией ближайшего соседа. Это называется бикубической (сглаживающей) интерполяцией и билинейной (с повышением резкости) интерполяцией.

Слева: резкое, но неровное изображение женщины на желтом фоне, отредактированное с помощью билинейной интерполяции.  Справа: То же изображение, отредактированное с помощью бикубической интерполяции, выглядит восковым и размытым.Слева: пример билинейной интерполяции. Справа: пример бикубической интерполяции.

При бикубической (сглаживающей) интерполяции каждый пиксель, добавленный к изображению, смотрит на свои 16 соседних пикселей, чтобы принять цвет. В результате получается изображение, которое явно «мягкое». С другой стороны, билинейная (повышающая резкость) интерполяция смотрит только на двух ближайших соседей и дает «резкое» изображение. Смешивая эти методы и применяя некоторые фильтры для контраста и цвета, ваш телевизор может генерировать изображение без заметной потери оптического качества.

Конечно, интерполяция — это все еще игра в догадки. Даже при правильной интерполяции некоторые видео могут иметь «ореолы» после масштабирования, особенно если ваш дешевый телевизор плохо справляется с масштабированием. Эти артефакты также становятся более очевидными, когда изображения сверхнизкого качества (720p и ниже) масштабируются до разрешения 4K или когда изображения масштабируются на безумно больших телевизорах с низкой плотностью пикселей.

Николас Брендон из плохо апскейтированного DVD-диска Buffy The Vampire Slayer HD.

Изображение выше не является примером масштабирования по сравнению с телевизором. Вместо этого это пример апскейлинга, сделанного для выпуска DVD Buffy The Vampire Slayer HD (взят из видеоэссе автора Страсть ботаника). Это хороший (хотя и крайний) пример того, как плохая интерполяция может испортить изображение. Нет, Николас Брендон не носит воскового вампирского макияжа, это именно то, что случилось с его лицом во время процесса масштабирования.

Хотя все телевизоры предлагают апскейлинг, у некоторых могут быть лучшие алгоритмы апскейлинга, чем у других, что дает лучшее изображение.

Апскейлинг необходим и редко заметен

Даже при всех его недостатках апскейлинг — это хорошо. Это процесс, который обычно проходит без сбоев и позволяет вам смотреть различные видеоформаты на одном телевизоре. Это идеально? Конечно, нет. Вот почему некоторые сторонники кино и видеоигр предпочитают наслаждаться старым искусством на предполагаемом носителе: старых телевизорах. Но на данный момент апскейлинг не вызывает особого энтузиазма. И не стоит слишком расстраиваться из-за этого.

Стоит упомянуть, что видеоформаты 8K, 10K и 16K уже поддерживаются некоторым оборудованием, которое мы используем каждый день. Если технология апскейлинга не сможет догнать эти форматы с высоким разрешением, есть шанс, что это приведет к гораздо большей потере качества, чем то, к чему мы привыкли.

Однако, поскольку производители и потоковые сервисы все еще тянутся к 4K, возможно, нам пока не стоит беспокоиться о 8K.