Все больше и больше производителей хвастаются тем, что в их телефонах есть камеры Time of Flight (ToF). Но что такое ToF-камеры, как они работают и зачем они нужны в вашем смартфоне?
Оглавление
Камеры ToF имеют дополнительное разрешение по глубине
На самом базовом уровне камеры ToF — это обычные HD-камеры с увеличенным разрешением по глубине. Фактически, такие телефоны, как 2019 Huawei P30 Pro обладают разрешением глубины в четыре раза лучше, чем у обычных камер. Хотя «разрешение глубины» может показаться запутанным на жаргоне фотографа, на самом деле его легко понять. Камера с высоким разрешением по глубине может различать объекты, которые находятся поблизости (на переднем плане) и далеко (на заднем плане).
В фотографии это представление о переднем и заднем планах называется глубиной резкости. Это то, что создает ощущение реализма или сосредоточенности. Объекты, находящиеся поблизости, выглядят резкими, с чистыми контурами, а удаленные объекты выглядят слегка размытыми.
С камерой ToF у фотографов есть больше возможностей для управления глубиной резкости. Конечно, вам не обязательно быть фотографом, чтобы воспользоваться увеличенным разрешением глубины камеры ToF. Автоматические настройки камеры в сочетании с камерой ToF должны создавать потрясающие изображения с четко определенным передним планом и фоном. Камера ToF также может использоваться для создания потрясающего видео с улучшенной стабилизацией изображения или для повышения точности ваших фильтров Instagram.
Кроме того, камеру ToF телефона можно использовать для расширенного распознавания лиц, жестов и видеоигр с дополненной реальностью. Помните, как Pokemon Go использует вашу камеру, чтобы разместить покемона в вашем окружении? Камеры ToF могут сделать эту функцию более убедительной.
Эта технология не нова
Как ни странно, камеры ToF существуют с конца 70-х годов. Просто потребовалось время, чтобы технология стала достаточно дешевой и удобной для потребительских приложений.
В прошлом ToF-камеры использовались для топографической съемки, автоматизации промышленных машин и автоматических дверей. Но эта технология проникла во многие дома (в том числе, вероятно, и в ваш) еще в 2014 году. Kinect Xbox One использует камеру ToF для точного определения лиц и отслеживания жестов рук.
По состоянию на апрель 2019 года есть только несколько телефонов со встроенными камерами ToF, например LG G8 ThinQ, то Honor View 20, то Huawei P30 Pro, а Oppo RX17 Pro. Эти телефоны предназначены для фотографов и компьютерных фанатов, но они устанавливают стандарт для будущих телефонов, в том числе Samsung и Apple Выпуски 2019 и 2020 гг.
Хорошо, камеры ToF супер крутые, и они существуют с момента выхода «Звездных войн». Но как они работают? Почему у них такое большое разрешение по глубине?
ToF-камеры используют лидар для измерения глубины
Вы знаете, как летучие мыши и дельфины используют звук, чтобы «видеть» окружающую их среду? Что ж, мы украли этот трюк, воткнули его в несколько подводных лодок и назвали гидролокатором. Камеры ToF используют аналогичный метод измерения глубины, но он называется лидар, и он полагается на импульсы инфракрасного света вместо звука.
Когда вы делаете снимок с помощью камеры ToF на телефоне, она испускает импульс невидимого ИК-света, который отражается от близлежащих объектов. Часть этого света рассеивается в бездне, но большая часть возвращается обратно в камеру ToF телефона.
Подобно волне сонара летучей мыши, лидарная волна возвращается по частям. ИК-свет, который отражается от близлежащих объектов, быстро возвращается в камеру ToF, тогда как свет, отражающийся от далеких объектов, займет немного больше времени. Ваш телефон измеряет, сколько времени требуется каждому лучу света, чтобы вернуться, вычисляет некоторые числа и создает подробную трехмерную карту глубины.
Это немного похоже на детские игрушки что ты прижимаешься к лицу. Эти игрушки обладают «трехмерным эффектом», потому что ваш нос, который находится близко к доске, создает большее углубление, чем ваши глаза и щеки, которые находятся относительно далеко от доски.
Конечно, отражение инфракрасного света дает вашему телефону только информацию о глубине. Вот почему камеры ToF сочетают ИК-функции с обычной камерой с высоким разрешением. Ваш телефон использует программное обеспечение для смешивания обычной фотографии с картой глубины IR 3D, и вы получаете изображение с четко определенным передним планом и фоном.
Будущие приложения для ToF-камер
В ближайшие несколько лет камеры ToF произведут революцию в способах съемки фотографий и видео на наши телефоны. Но давайте подумаем об общей картине. Мы говорим о форме технологии, которая может создавать карту глубины окружающей среды со скоростью света. Его приложения выходят далеко за рамки фотографии.
Фактически, ваш первый опыт работы с камерой ToF в телефоне, вероятно, будет связан не только с фотографией. В Samsung Galaxy S10 5G будут включать камеры ToF, как спереди, так и сзади. Apple, как известно, хранит молчание о планах на будущее iPhone, но ходят слухи iPhone 2019 года также может включать в себя камеры ToF. Да, это обновление сделает ваши селфи потрясающими, но оно также повысит точность Face ID и другие меры безопасности. Если вы включите распознавание лиц при настройке телефона, он незаметно сделает 3D-карту вашего лица, прежде чем вы получите возможность сделать какие-либо селфи.
Управление жестами — еще одно захватывающее (но, возможно, глупое) приложение для камер ToF. Да, система жестов Kinect стоит изрядно закатив глаза, но в следующие несколько лет вы, вероятно, обнаружите, что используете аналогичную технологию для управления своим телефоном, компьютером, умным помощником или умными часами. Прямо сейчас такие компании, как В движении работают над приложениями ToF для настольных компьютеров, а производители любят Google используют радарные и лидарные системы для создания умных часов и умных помощников, управляемых жестами, без использования рук.
Камеры ToF идеально подходят не только для управления жестами, но и для VR и AR Приложения. На базовом уровне такие вещи, как Instagram Filters и Pokemon Go, будут казаться намного более «реальными» при использовании с камерой ToF. Но для более сложных приложений, таких как VR, камеры ToF могут использоваться для регистрации жестов рук и шагов геймера. Их также можно использовать для быстрого отображения физических сред и преобразования их в миры VR, что может ускорить профессиональную разработку игр или открыть рынок VR для инди-разработчиков.
Но у ToF-камер есть и практические цели. В прошлом они использовались для автоматизации машин на заводах. Это не изменится. По мере того, как камеры ToF становятся лучше (и дешевле), они найдут свое применение в еще более промышленных и потребительских продуктах AI. Наиболее умные автомобили уже используют технологию лидаров, чтобы «видеть» окружающую их среду (что интересно, автомобили Tesla не используют лидары).
Хотя ToF-камера в вашем новом мобильном телефоне ограничена приложениями для фотографирования, дополненной реальности и распознавания лиц, сейчас хорошее время, чтобы освоиться с этой технологией. В конце концов, камеры ToF будут везде.
Источники: Mouser