Интерполяция кадров - это то, что можно найти в самых передовых телевизорах на данный момент, но реализация специального оборудования для искусственного интеллекта вместе с реализацией облачных вычислений сделает эту технику критически важной для всех систем. Но как это работает и из чего состоит?
Интерполяция кадров известна как способность программного и / или аппаратного обеспечения генерировать промежуточные кадры из информации двух или более ранее визуализированных кадров.
В зависимости от того, визуализируем ли мы изображение в 2D или в 3D, интерполяция кадров выполняется совсем другим способом, наиболее распространенным из которых является интерполяция изображений в 2D.
Как работает кадровая интерполяция
Для выполнения интерполяции нам нужны два заключительных кадра, и поэтому у нас есть окончательная информация.
В случае, когда мы говорим об интерполяции потокового видео, у нас есть два разных метода:
- Интерполяция выполняется расширенными системы искусственного интеллекта которые были обучены обнаруживать различные объекты на одном изображении и классифицировать их. Это широко используется в интеллектуальных системах вождения.
- Другой метод заключается в записи 2D-изображений с помощью инфракрасной камеры или камеры во время полета, указанная камера сопровождается излучателем света, комбинация обоих позволяет получить карту глубины каждого объекта, которая помогает разделить различные элементы изображения. место действия.
Но в видеоиграх, визуализируемых с помощью 3D-движка в реальном времени (поскольку карта глубины необходима, чтобы знать, какие объекты имеют предпочтение при рисовании), существует возможность создания карты данных с идентификационной позицией каждого объекта.
Следующим шагом для оборудования является создание буфера скорости. Это построено с учетом начального и конечного положения каждого ранее идентифицированного объекта между двумя кадрами, таким образом система может создать промежуточный кадр со всеми элементами, которые были перемещены из одного кадра в другой.
Приложения и полезность интерполяции кадров
Самая очевидная утилита заключается в добавлении дополнительных кадров в видео с низкой частотой кадров в секунду, особенно она используется для восстановления старых фильмов, которые были записаны с очень низкой скоростью или их кадры были потеряны из-за ухудшения прохождения. времени .
Но с точки зрения игр у этого есть ряд довольно интересных приложений. Например, когда дело доходит до потоковой передачи игр: транслируем ли мы наши игры другим пользователям через Интернет или играем в игровом сервисе, возможность добавлять промежуточные кадры помогает создать плавное ощущение игрового процесса. и избегает ощущения, что изображения доходят до игрока слишком поздно.
Причина, по которой эта идея в конечном итоге будет реализована на оборудовании, заключается в том, что блоки, отвечающие за кодирование и декодирование видео, очень похожи по своей природе на те, которые используются для ускорения алгоритмов искусственного интеллекта, поэтому разработчикам оборудования это не стоит им попытка реализовать это в своих продуктах.
Необходимо принять во внимание, что концепция заключается не в том, что наши игры обрабатываются с удвоенным количеством кадров в секунду, а в том, что их приложение предназначено для потоковых интернет-приложений, а также в возможности передачи видеоконтента между устройствами по беспроводной сети. в локальной сети.
