성능 측정과 관련하여 램 일반적으로 대역폭과 지연 시간이라는 두 가지 성능 매개 변수에 대해 이야기합니다. 그러나이 두 특성 사이의 관계는 무엇이며이를 상수로 분류 할 수 있습니까?
기술 사양의 문제점 중 하나는 완벽한 조건에서 100 % 성능으로 실행되는 데이터를 제공하는 경향이 있다는 것입니다. 메모리의 경우 모든 데이터가 동일한 지연 시간에 있지 않고 대역폭이 100 %가 아니기 때문에 이런 일이 발생하지 않습니다.
더 많은 대역폭이 더 짧은 지연 시간을 의미하지는 않습니다.
처리 장치와 관련 메모리 간의 대기 시간, 요청 된 정보를 수신하거나 메모리에서 변경 사항이 있다는 신호를 수신하는 데 걸리는 시간으로 이해합니다. 따라서 대기 시간은 실제로 시간을 측정하는 방법입니다.
대신 대역폭은 초당 전송되는 데이터의 양이므로 속도의 비율입니다. 따라서 직접적인 논리를 통해 우리는 데이터를 찾을 때 더 빠른 속도로 더 짧은 시간에 CPU, GPU 또는 다른 처리 장치가 데이터를 가져옵니다.
현실은 그렇지 않습니다. 게다가 메모리에 대역폭이 많을수록 일반적으로 다른 메모리에 비해 대기 시간이 더 길다는 특징이 있습니다. 이 현상에는 설명이 있으며,이 기사의 다음 섹션에서 설명 할 것입니다.
데이터를 검색하면 지연 시간이 추가됩니다.
오늘날 거의 모든 처리 장치에는 캐시 계층 구조가 있으며, 프로세서는 RAM에 액세스하기 전에 먼저 각 처리 장치를 요청합니다. 이는 프로세서와 RAM 간의 직접적인 대기 시간이 이상적인 프로세서보다 성능이 저하 될 수있을만큼 충분히 크기 때문입니다.
특정 제품을 찾고 있다고 가정 해 보겠습니다. 가장 먼저 지역 매장을 살펴본 다음 약간 더 큰 매장을 살펴보고 마지막으로 백화점을 살펴보세요. 각 시설 방문은 즉시 이루어지지 않지만 이동 시간이 필요합니다. 캐시 계층 구조에서도 동일한 일이 발생합니다.이를 "캐시 미스"라고하므로 시간을 다음과 같이 요약 할 수 있습니다.
검색 시간 = 검색 첫 번째 캐시의 시간 + 캐시 미스 기간 +… 마지막 캐시의 검색 시간.
캐시 조회 시간이 주 RAM으로 이동하는 데 걸리는 시간보다 길면 캐시 시스템이 캐시가 생성 된 목적을 위반하기 때문에 프로세서에서 제대로 설계되지 않습니다.
이제 캐시 검색에 의해 추가 된 액세스 시간에 RAM에서 데이터를 찾을 수없는 경우 RAM에서 데이터를 검색하기 위해 추가되는 대기 시간을 추가해야하므로 대기 시간 문제는 더 복잡합니다. 우리는 어떤 문제를 겪을 수 있습니까? 예를 들어, 모든 메모리 채널이 점유되고 경합이 발생합니다. 이는 RAM이 메모리 채널을 점유하고 다른 데이터를 수신하거나 전달할 때 발생합니다.
대기 시간은 대역폭에 어떤 영향을 줍니까?
그래프에서 볼 수 있듯이 대기 시간은 모든 메모리 대역폭에서 동일하지 않습니다.
- 일정한 영역 : 지연 시간은 지속 대역폭의 40 %로 일정하게 유지됩니다.
- 선형 영역 : 지속 대역폭의 40 ~ 80 % 사이에서 지연 시간은 선형 적으로 증가합니다. 이는 경합으로 인해 마지막에 누적 된 메모리에 대한 요청이 과포화되어 있기 때문에 발생합니다.
- 지수 영역 : 대역폭 섹션의 마지막 20 %에서 데이터 지연 시간이 기하 급수적으로 증가하고 이전 기간에 해결할 수 없었던 모든 메모리 요청이이 부분에 누적되어 이들 사이에 경합이 발생합니다.
이 현상은 매우 간단한 설명을 가지고 있습니다. 응답 된 첫 번째 메모리 요청은 먼저 발견 된 요청이며, 복사본이있을 때 대부분 캐시에 있지만 캐시에없는 요청은 누적됩니다. 캐시와 RAM의 차이점 중 하나는 전자가 여러 동시 액세스를 지원할 수 있지만 RAM에서 데이터 검색이 발생하면 대기 시간이 훨씬 길다는 것입니다.
우리는 RAM이 요청이없는 한 실제로 데이터를 이동하지 않을 때 RAM이 지정된 속도로 데이터 순환을 멈추지 않는 일종의 급류라고 상상하는 경향이 있습니다. 즉, 대기 시간은 처리량과 대역폭에 영향을줍니다.
지연 시간을 줄이는 방법
데이터 액세스의 경합으로 인해 대기 시간이 발생하고 이것이 대역폭에 영향을 미친다는 사실을 알게되면 솔루션에 대해 생각해야합니다. 가장 분명한 것은 RAM으로 메모리 채널 수를 늘린다는 사실입니다. 정확히 이것은 6 개의 메모리 채널이 GDDR8의 2 개 채널보다 경합을 덜 허용하기 때문에 HBM 메모리가 GDDR6보다 액세스 대기 시간이 낮은 키 중 하나입니다.
대기 시간을 줄이는 가장 좋은 방법은 캐시처럼 프로세서에 가깝게 메모리를 만드는 것이지만 완전히 작동 할만큼 충분한 저장 용량을 가진 RAM을 만드는 것은 불가능합니다. 메모리 칩을 배치하고 TSV를 통해 연결할 수 있지만 메모리가 너무 가까워서 열 익사를 방지하고 유효 대역폭을 사용할 수 있습니다.
이 경우 대기 시간이 메모리와 프로세서 간의 근접성으로 인해 대역폭에 영향을 미치기 때문에 대기 시간이 메모리에 미치는 영향은 훨씬 낮습니다. 3DIC로 CPU 또는 GPU를 구현하는 것의 절충안? 이는 PC 비용을 두 배로 늘리고 더 복잡한 제조 공정으로 인해 우리에게 도달하는 장치 수가 줄어들고 더 많은 희소성이 발생하여 가격이 더 높아집니다.
