我们不断看到有关处理器元素数量的消息,无论是 中央处理器,以 GPU 或诸如SoC之类的异构系统增加了内核数量,我们相信这是事实。 但是,处理器的不同元素之间的内部通信受到一个元素的限制,该元素直到最近还没有完全考虑到能耗。
通常存在明显的成本,原因是该成本似乎与处理器可以执行的计算数量或其中的元素数量没有直接关系,但是近年来它已变成对于硬件架构师来说,这是一个问题,而在专业媒体中,关于计算的讨论最少,尤其是由于它是会议室中的笨蛋这一事实,我们正在谈论在处理器内传输数据的能源成本。
内部通讯和数据传输
在一个电子系统中将数据传输到另一个系统的最简单方法是通过连续发送信号脉冲的发送器和接收器,时钟信号是控制发送到接收器的每个位的罗盘的时钟信号。 就像是节拍器一样。 电缆是这些信号传播的途径。
如果我们要在两个方向上传输数据,我们只需要在每个方向上放置一个发送器和一个接收器,并且在我们要并行传输几个位的情况下,我们只需要放置大量的发送器即可。和接收者。
听起来很简单,不是吗? 但是我们缺少一件事,那就是将信息从芯片的一部分传输到另一部分的成本。 好像他们告诉我们,一队卡车可以运输数以千计的货物,但突然之间,由于在某个时刻之前完全是微不足道的事实,所以有人一直忘记了这段时间的燃料成本。
一点历史:丹纳德量表的终结
Dennard量表的终点发生在2000年代中期,特别是当它到达65 nm时,但是今天仍然有相当重要的后果,其法则陈述可以总结如下:
如果我们以与电压相同的方式将一个光刻的特性扩展到另一个制造节点,那么每单位面积的能量消耗应该保持不变。
Dennard量表的末端是如何达到的? 只是不同微处理器的设计者按时钟速度扩展其设计的速度远远超过了他们应有的速度,并且碰壁了,这迫使他们扭转了2005年的趋势,以瓦特为单位的概念功率开始作为新的方法出现在营销幻灯片中。性能趋势。
从那时起,工程师的痴迷得到了扭转,他们从完全不考虑消耗的能源,转而希望增加处理器可以执行的每瓦特运算次数,但是在这种营销的中间,数据通信,因为长期以来能源成本几乎可以忽略不计,但是一段时间以来一直没有。
内部沟通的瓶颈
为了理解通信问题,我们必须牢记,当增加处理器中的元素数量时,我们还将增加通信所需的通信通道数量,该数量始终为2n,其中n是通信参与者的数量。
这导致在处理器中添加更多元素也会增加通信通道和力量,以保持能量消耗稳定以保持较低的时钟速度,与此相对应的是,随着我们增加原子核数量,我们就会看到能量如何消费不会停滞不前,而是会随着时间的增长而增长。
随着我们拥有更复杂的配置,负责不同内核通信的互连随着时间的推移而增加,它们传输的信息量以及为其消耗的能量越来越多,占用了越来越多的不同处理器的能量预算,无论是CPU还是GPU,基于拥有数十甚至数百个内核的情况,尤其是在GPU中构成挑战
那么,处理器内部通信的问题是什么?
工程师现在面临的问题是,当进行简单加法时,与转换两个操作数相比,添加操作数的成本是微不足道的,因此问题不再是使简单的ALU可以在其寄存器中执行数据了。达到一定的性能速度,但是可以通过使用更多的远程数据来达到该速度,因此最终将消耗更多的数据。
这就意味着,一旦研究了数据的物流及其消耗的能量,显然可以在纸上实现的设计以及所涉及的计算能力必须被丢弃。
能量消耗多久会增加一次?
关于内部通信的能源消耗,我们必须将能源成本分为两个不同的部分,一方面,我们拥有计算的能源成本,其遵循Dennard规模,并且近年来有所放缓,但存在一个不断进步,表明性能更高。
另一方面,我们有通讯成本,这不是 内存 和处理器,但是以能量形式传输数据块需要花费多少钱。
我们不能忘记,计算和数据传输都是相互链接的。 通信质量差将导致计算能力下降,而计算能力差将严重浪费有效的通信结构。
未来在于基础设施
尽管他们说处理器越来越快,内核越来越多,因此功率也越来越高,但烧烤架上的所有肉都专注于提高数据传输时的能源效率,因为这是增加容量时它们会遇到的下一个瓶颈不同处理器的性能。
这就是为什么我们在开发中看到了一种组织处理器的新方法,并且它们变得越来越普遍的原因,这是因为以传统方式扩展处理器不再可能,而不会由于转移能源而出现能源消耗的阴影。数据。
目前,整体模型仍然有效,但我们不知道它们可以扩展多远。