Наверняка вам интересно, как это возможно, что искусственный интеллект помогает разработчикам создавать лучшие игры, лучшие изображения и, в конечном итоге, улучшать графику с большей реалистичностью. Ответ, если не весь, - в значительной степени очень малоизвестная технология, которая исходит из рук NVIDIA: NGX , который является одним из святых Граалей будущего ИИ при работе с графическими процессорами.
Самый простой вопрос, если мы не очень разбираемся в любой из этих тем, может заключаться в том, как GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР работать с искусственным интеллектом? Все намного проще, но в то же время несколько сложно объяснить, если принять во внимание RTX-архитектуры видеокарт NVIDIA, особенно конкретного модуля для этой цели - Тензорных ядер.
Глубокое обучение формирует NVIDIA NGX AI
Как мы наверняка уже знаем, блоки тензорных ядер используются NVIDIA в видеоиграх для суперсэмплирования глубокого обучения, поскольку для суперсэмплинга пикселей требуется вывод ИИ.
Но это представление о тензорных ядрах является неполным, поскольку мы видим только то, что происходит со стороны игрока, а не со стороны разработчика, который создает те изображения, которые затем масштабируются. Именно здесь на помощь приходит NVIDIA NGX, и в ее основе лежит ее использование для создания более реалистичных изображений, поскольку это не более чем стек технологий на базе Глубокое обучение который предоставляет разработчикам функции искусственного интеллекта для ускорения или улучшения обработки графики, изображений и даже видео в реальном времени.
Как мы уже упоминали, для работы ему необходим конкретный блок, который работает снизу, и именно здесь вступают в силу тензорные ядра графических процессоров RTX. NVIDIA NGX SDK предоставляет разработчикам ряд функций искусственного интеллекта в их распоряжении через сети, обученные на суперкомпьютере NVIDIA Saturn V.
На что способна эта технология и как она это делает?
Можно сказать, что в целом есть 3 сценария, которые охватывают все остальное: изображения, видео и игры. Для каждого из них есть разные функции, которые разработчики могут использовать для разных целей, поскольку мы говорим о полном и очень мощном SDK.
Чтобы включить несколько примеров, в изображении мы можем удалить контент из него и создать его с помощью ИИ, который идеально заменит контент, поскольку нейронная сеть (InPainting) была обучена.
Мы можем вставлять интерполированные кадры в видео, оживлять любую жидкость в серии изображений, которые ее не содержали, и с двумя разными скоростями, поскольку ИИ определяет движение камеры и позволяет нам добавлять те FPS на экран, которые не существует.
При низком разрешении или дефектных изображениях вы можете масштабировать до 8 раз по сравнению с исходным качеством, растягивая существующие пиксели и фильтруя их между ними благодаря AI.
Он создает новые пиксели на основе ваших тренировок и размещает их там, где они необходимы, улучшая как качество изображения, так и резкость. В играх это еще более удивительно, поскольку функция включена в драйвер NVIDIA и, как мы уже догадались, она используется для DLSS в ходе предыдущего обучения на Saturn V.
Его работа проста, поскольку, когда драйвер обнаруживает вызов функции, он предоставляет NGX полный доступ к оборудованию и масштабированию кадров в реальном времени с помощью DLSS.
