VPU, кодирование, декодирование и транскодирование видео

Бизнес потокового контента, созданного пользователями, существует с нами более десяти лет, равно как и трансляция сериалов и фильмов через Интернет. За всем этим стоит специализированное оборудование, которое все чаще находится в процессе разработки, а именно VPU, что означает возврат к специализированному видеооборудованию.

Кодирование, декодирование и перекодирование

Одним из наиболее важных элементов является передача видео в реальном времени, а это означает, что между передачей события и его приемом должно быть минимально возможное время. Другими словами, должна быть полностью плавная повторная передача, а это требует большой вычислительной мощности, поскольку скорость обработки, которая нам нужна, намного выше, поскольку она требует кодирования за гораздо меньшее время.

К этому усложнению следует добавить огромное количество устройств, подключенных к сети, которым будет требоваться контент с разным разрешением и в разных форматах. Это то, с чем аналоговому телевидению вообще не приходилось иметь дело, поскольку все телевизоры работали с одним и тем же разрешением независимо от их размера, поэтому не было необходимости генерировать множество разных разрешений.

С точки зрения воспроизведения все проще, поскольку им нужно только обрабатывать видеосигнал с определенной скоростью передачи данных, форматом файла и определенным разрешением. К этому мы должны добавить, что большинство ПК, которые есть у людей дома, уже оборудованы для одновременного воспроизведения нескольких видеопотоков, но кодирование - это другая проблема, которая намного сложнее, когда дело доходит до его реализации и с точки зрения ваши вычислительные затраты.

Графический процессор не подходит для перекодирования

У графических карт в течение многих лет были устройства, кодирующие видео, их задача - брать последние последовательные кадры приложения и создавать с ними видео в определенном формате, а затем сохранять его или передавать по сети. Кодирование сделано потому, что если бы у нас был файл с исходной информацией, он потребовал бы большого количества данных и очень высокой скорости загрузки.

Но аппаратный видеокодек внутри GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР не имеет скорости, чтобы иметь возможность передавать с разными разрешениями и в реальном времени, если вы посмотрите на это, у подавляющего большинства людей, которые стримят, время задержки составляет несколько секунд и, следовательно, сотни кадров.

Таким образом, графические процессоры, будь то выделенные или интегрированные, недостаточно хороши для передачи контента в реальном времени, и необходимо использовать специализированное оборудование, которое есть не у всех, именно в этот момент они выходят на сцену. VPU как выделенный процессор для обработки видео.

Необходимость обрабатывать больший объем данных, чем кодеки, входящие в стандартную комплектацию SoC и графических процессоров, делает VPU эквивалентом выделенной видеокарты по сравнению с простыми интегрированными аппаратными кодеками, поэтому процессоры просто создаются специализированными, которые мы называем VPU.

Архитектура ВПУ

VPU, как и графический процессор, является сопроцессором для основного ЦП, поэтому его задача - освободить ЦП для выполнения определенной работы и сделать ее в лучших условиях и за меньшее время, чем сам ЦП.

Его внутренняя организация очень похожа на GPU и, следовательно, является производной от него, но с некоторыми важными изменениями:

• У вас могут быть шейдерные блоки, но в них отсутствует блок текстур и другие элементы для графики, такие как блок вычислений для пересечения лучей в сцене, который используется в трассировке лучей.
• Он также не имеет специализированных модулей для графики за пределами модулей шейдера, таких как модули тесселяции, модули растеризации и выходные данные рендеринга.
• Они имеют большое количество аппаратных видеокодеков с возможностью одновременной обработки нескольких видеопотоков. Эти кодеки занимают значительную часть чипа по сравнению с тем, что они занимают в обычном графическом процессоре.
• Некоторые устройства используют оборудование искусственного интеллекта для выполнения таких алгоритмов, как изменение разрешения кадра, стиля, интерполяции и экстраполяции.

По сравнению с графическим процессором его возможности по преобразованию данных из одного формата в другой и из одного разрешения в другое намного выше с точки зрения скорости. Таким образом, его кодеры намного мощнее, отчасти потому, что они обеспечивают высокую скорость кодирования, декодирования и транскодирования не только благодаря аппаратным кодекам, но и вычислительной мощности окружающих их устройств.

Где расположены VPU?

В общем, VPU - это не тип оборудования, которое обычно входит в стандартную комплектацию большинства компьютеров, поскольку очень немногие люди нуждаются в оборудовании для обработки видео с таким уровнем мощности для повседневного использования.

VPU обычно можно найти в следующих типах оборудования.

• На серверах платформ потокового видео независимо от типа контента, который через них передается пользователям.
• В специализированном оборудовании, используемом для перекодирования, это, как правило, видеоплееры с рядом видеовходов и выходов. Некоторые старые телевизионные сети используют этот тип оборудования для прямой трансляции своего старого и аналогового контента в цифровой формат.
• В системах видеоконференцсвязи, где появление удаленной работы привело к необходимости иметь возможность осуществлять четкую и плавную связь между различными сторонами.
• В системах компьютерного зрения, чтобы система имела глаза и могла «видеть» то, что находится вокруг, не только в роботах или умных автомобилях, но также в смартфонах и планшетах.

Таким образом, VPU всегда будут видны, когда требуется гораздо более высокая обработка видео, чем у обычного ПК, и постепенно они проникают на разные рынки, учитывая важность получения потокового видео для нескольких разных клиентов, которые проигрывают. разные условия.