第82章 教授VS猛男（爆梗1.5w 1/3求首订）（1 / 5）

  第82章 教授vs猛男（爆梗 1/3求首订）

  漆昊得出这个结论后，心跳加速。

  为了验证他的想法，他假设一个標准的神经网络全连接层，其前向传播与反向传播的核心，本质上都是大规模的通用矩阵乘法，设输入矩阵————

  经过半个小时的推导，漆昊发现整套训练流程里，超过90%的算力开销全部集中在毫无技术含量的矩阵乘加这种稠密线性运算中，而剩下10%左右的资源，才用於那些看似复杂的控制流操作。

  “这简直是离谱他妈给离谱开门，离谱到家了。”

  漆昊看著纸上的数据，忍不住低笑了起来。

  cpu为什么要设计那么复杂的算术逻辑单元？

  为什么要用上超过70%的电晶体面积去堆砌一级二级三级缓存？

  为什么要有复杂的分支预测和乱序执行机构？

  因为cpu是为了应对日常电脑使用中那些复杂控制流而生的！

  它追求的是低延迟。

  在半导体和计算机体系结构中，有一个不可违背的物理铁律，那就是单颗晶片的硅片面积和功耗是有限的。

  在有限的硅片空间里，cpu为了追求更复杂的单线程处理能力，將绝大部分电晶体面积都让渡给了庞大的多级缓存，分支预测和复杂的乱序执行控制单元。

  这就直接导致了一个物理上的致命局限cpu的计算核心数量极少。

  哪怕此时市面上单颗顶级的伺服器级cpu，主流物理核心最多也只有8个，用cpu去跑神经网络，就像是面对一个需要搬运上亿块砖块的大型工地，手上却只雇了8个会微积分的教授一样。