Взаимосвязь между пропускной способностью RAM и VRAM и их задержкой

Связь между RAM и пропускной способностью VRAM

Когда дело доходит до измерения производительности Оперативная память и VRAM мы обычно говорим о двух параметрах производительности, а именно о пропускной способности и задержке. Но какова связь между этими двумя характеристиками и можем ли мы классифицировать их как постоянные?

Одна из проблем с техническими характеристиками заключается в том, что они, как правило, дают данные, работающие со 100% производительностью в идеальных условиях. В случае с памятью этого не происходит, поскольку не все данные имеют одинаковую задержку и пропускная способность никогда не бывает 100%.

Большая пропускная способность не означает меньшую задержку

ширина полосы

Мы понимаем задержку между процессором и связанной с ним памятью, время, необходимое для получения запрошенной информации или получения сигнала о том, что в памяти были внесены изменения. Таким образом, задержка - это действительно способ измерения времени.

Пропускная способность - это количество данных, которые передаются за каждую секунду, поэтому это скорость. Таким образом, с помощью прямой логики мы можем прийти к выводу, что при более высокой скорости, когда мы ищем данные, за меньшее время ЦП, GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР или любой другой процессор получит данные.

Реальность такова, что это не так, более того, есть особенность, что чем больше пропускная способность у памяти, тем она обычно имеет большую задержку по сравнению с другими. У этого явления есть объяснение, которое мы собираемся объяснить вам в следующих разделах этой статьи.

Поиск данных увеличивает задержку

Освободить оперативную память

Сегодня почти все процессоры имеют иерархию кешей, в которой процессор сначала запрашивает каждый из них, прежде чем обращаться к ОЗУ. Это связано с тем, что прямая задержка между процессором и ОЗУ достаточно велика, чтобы привести к потере производительности по сравнению с идеальным процессором.

Представьте, что вы ищете конкретный продукт, первое, что вы делаете, это ищите в местном магазине, затем в магазине немного большего размера и, наконец, в универмаге. посещение каждого заведения не происходит сразу, но требует времени в пути. То же самое происходит в иерархии кеша, это называется «промахом кеша», поэтому мы можем суммировать время следующим образом:

Время поиска = поиск время в первом кэше + период промаха кэша +… время поиска в последнем кэше.

Если время поиска в кэше больше, чем время, необходимое для перехода к основному ОЗУ, то система кеширования будет плохо спроектирована на процессоре, поскольку не соответствует цели, для которой кеш был бы создан.

Теперь проблема задержки более сложна, поскольку ко времени доступа, добавляемому поиском в кэше, мы должны добавить задержку, которая добавляется для поиска данных в ОЗУ, если они не найдены в ОЗУ. С какими проблемами мы можем столкнуться? Ну, например, все каналы памяти заняты и возникает конкуренция, которая возникает, когда RAM занимает каналы памяти и принимает или доставляет другие данные.

Как задержка влияет на пропускную способность?

Курва Латенсия Анчо де Банда

Как видно на графике, время ожидания не одинаково для всей пропускной способности памяти.

  • Постоянный регион: Задержка остается постоянной и составляет 40% от постоянной пропускной способности.
  • Линейный регион: Между 40 и 80% устойчивой полосы пропускания задержка увеличивается линейно. Это происходит из-за того, что происходит перенасыщение запросов к памяти, которые накопились в конце из-за конкуренции.
  • Экспоненциальный регион: В последних 20% части полосы пропускания задержка данных растет в геометрической прогрессии, все запросы памяти, которые не могли быть разрешены в предыдущий период, накапливаются в этой части, создавая конфликты между ними.

Это явление имеет очень простое объяснение: первыми отвечающими запросами к памяти являются те, которые обнаруживаются первыми, большинство из них находится в кэше, когда у него есть копия, но те, которые не находятся в кеше, накапливаются. Одно из различий между кешами и ОЗУ заключается в том, что первый может поддерживать несколько одновременных доступов, но когда поиск данных происходит в ОЗУ, задержка намного выше.

Мы склонны представлять RAM как своего рода поток воды, в котором данные не перестают циркулировать с указанной скоростью, когда RAM на самом деле не собирается перемещать данные, если у нее нет запроса к ней. Другими словами, задержка влияет на пропускную способность и, следовательно, на полосу пропускания.

Способы уменьшить задержку

3ДВИК

Как только мы узнаем, что конкуренция за доступ к данным создает задержку, которая влияет на пропускную способность, мы должны думать о решениях. Самым очевидным из них является факт увеличения количества каналов памяти с помощью ОЗУ, именно это один из ключей, благодаря которому память HBM имеет более низкую задержку доступа, чем GDDR6, поскольку 8 каналов памяти допускают меньшую конкуренцию, чем 2 канала GDDR6.

Лучший способ уменьшить задержку - создать память как можно ближе к процессору, чем кэш, но невозможно создать ОЗУ с достаточной емкостью для полной функциональности. Мы можем разместить микросхему памяти и подключить ее через TSV, но поскольку память находится так близко, чтобы избежать теплового утопления, а вместе с ним и эффективной пропускной способности.

В этом случае, поскольку задержка влияет на пропускную способность из-за близости между памятью и процессором, влияние задержки на память будет намного меньше. Компромисс реализации CPU или GPU с 3DIC? Это удвоит стоимость ПК, а более сложный производственный процесс приведет к тому, что к нам будет поступать меньше единиц, следовательно, больший дефицит и, следовательно, даже более высокие цены.