Обработчик сигналов изображения (ISP), принцип работы и характеристики

Каждый день мы все используем камера на ежедневной основе; Является ли специализированный или интегрированный Веб-камера для проведения видеоконференций, зеркальной камеры для фотосъемки или камеры, встроенной в смартфон, этот элемент стал практически незаменимым в нашей жизни. Но задумывались ли вы когда-нибудь о том, как запечатлеть то, что мы видим в реальной жизни, в цифровом изображении? Многое связано с Интернет-провайдер, процессор обработки изображений , и об этом мы поговорим дальше.

Много лет назад те, у кого была веб-камера на своем ПК, были привилегированными, но сегодня они интегрированы в такие маленькие пространства, как край экрана ноутбука или смартфона. Это стало возможным, потому что оптика была значительно уменьшена, а качество захваченных изображений было улучшено, и это благодаря небольшому процессору под названием ISP, который все они включают.

Процессор сигналов изображения

Какой ISP (процессор обработки изображения) у камер

ISP - это небольшой процессор, встроенный в камеру (в случае смартфонов он может быть встроен в SoC), и чтобы понять, как он работает, вы должны знать, что пиксели чувствительны к свету между некоторыми наборами длин волн; по сути, они не зависят от цвета. Чтобы получить цветное изображение, установите сверху фильтр, обычно это фильтр цвета байеровского шаблона, а затем интерполируйте цвет соседних пикселей. Таким образом, CMOS-датчик камеры не определяет красный, зеленый и синий для каждого пикселя, а скорее определяет разные цвета для каждого из них, и именно процессор ISP угадывает цвет в зависимости от того, что находится рядом с ним.

Интернет-провайдер

Это называется демонстрацией, и это основная работа интернет-провайдера перед камерой. Кроме того, ISP берет на себя все основные задачи камеры, такие как, например, автофокусировка, экспозиция или баланс белого. Недавно была добавлена ​​функция исправления недостатков линз, таких как виньетирование или цветопередача, вызванные несовершенной системой линз, а также такие вещи, как рекомбинация HDR, шумоподавление, фильтры, обнаружение лиц и преобразование между цветовыми пространствами. .

Очевидно, что вся эта последняя часть означает, что в случае, если производитель камеры этого захочет, он может назначить интернет-провайдеру все функции конфигурации изображения, которые мы затем используем в программном обеспечении, хотя у них также есть возможность сделать все либо автоматическим (Apple) или что параметры настраиваются пользователем по своему вкусу. Это то, что позволяет, например, размывать фон в вашем Skype видеоконференции.

Интернет-провайдер Skype

Почему этот процессор важен?

Поскольку смартфоны стали основным устройством для захвата изображений и видео в повседневной жизни людей (а в последнее время также и веб-камеры, даже если они встроены в ноутбуки), этот ряд функций мы считаем базовыми.Поскольку автофокус становится все более важным, производители был вынужден улучшить ISP и увеличить количество задач, которые он может выполнять.

Прямо сейчас пользовательский интерфейс и интерфейс камеры быстро меняются от поколения к поколению, и все более серьезные функции интегрируются в том смысле, что они требуют большего использования ресурсов (например, пример размытия фона Skype, который мы поместили раньше), так что как контроллер SSDИнтернет-провайдер камеры будет играть все более важную роль, помимо возможностей оптики или мегапикселей камеры.

Для видео мы также должны добавить к этому уравнению еще один фактор - кодировщик. Принцип его работы очень похож, хотя поставщик услуг Интернета обычно работает с подвыборками CMOS-сенсора камеры в зависимости от возможностей сенсора. Кодировщик берет эти изображения и сжимает их в формат и скорость передачи данных по выбору OEM или пользователя (в основном это H.264), и хотя не все кодировщики одинаковы, они должны работать совместно с интернет-провайдером. чтобы иметь возможность записывать видео.

Точно так же видео записывается в более высоком разрешении и с добавлением эффектов в реальном времени, и это создает нагрузку на процессор камеры, на которую способен не каждый. Короче говоря, по мере развития технологий к камерам добавляется больше функций, а их процессор перегружается, поэтому важно, чтобы их развитие продолжалось в соответствии с развитием отрасли, в противном случае мы останемся на месте.