对于任何在 20 世纪 50 年代或 60 年代（或者 20 世纪 70 年代或 80 年代）从事过计算的人来说，我们在硬件方面取得的进步都是惊人的。

但如果你确实追踪摩尔定律并真正分析增量加倍的工作原理，那么这一切都是有道理的。

如果您还记得那个关于聪明人（在某些版本中，指的是国际象棋的发明者）的故事，他要求国王将一粒米的数量翻倍 64 次，您就会明白这是如何发生的——从小而合理的指数级增长开始，最终达到人们最初认为是幻想的境界。

这都是些基础数学知识，但仍然像个魔术——你不断移动：1、2、4、8、16、32——最后得到一个比你想象中更大的数字！除了维基百科，我还发现了一段描述这个魔术最初发明者的内容，非常有趣：“（这个故事的）各个版本说法不一，关于发明者是成为高级顾问还是被处决。”

这一理念也已应用于我们新的人工智能淘金热——事实上，对于研究人工智能细节的人来说，雷·库兹韦尔（Ray Kurzweil）谈到的“棋盘下半场”现象正是我想要阐述的核心——最初的数字看起来非常合理，直到你进入序列的一半左右，真正的指数级变化才发生。换句话说，它先是缓慢上升，然后到达一个转折点，这条线螺旋上升到平流层。

如果你把棋盘上的米粒数量增加一倍，结果是 18 千万亿、446 千万亿、744 万亿等等，你就能得到一个强有力的视觉例子来说明它是如何运作的。

嗯，确切地说，这不是一个视觉示例，因为你不能将所有这些米粒都放入一张图片中，而是一个关于它如何工作的概念性想法。

我之前写过关于 Cerebras WSE 芯片的文章，它的大小与餐盘差不多，有大约 90,000 个核心。

IEEE Spectrum 等消息来源显示，WSE-2（Cerebras CS-2）每秒可进行约 7,500 万亿次 FP16 运算（7.5 petaFLOPS），而 WSE-3 则可达到 125 petaFLOPS。

这东西拿在手里非常强大，它展现了并行处理的威力。就在不久前，我们还在使用单核芯片，然后是双核，再后来是四核。好了，你懂的。

现在我们有了华为 Cloudmatrix 之类的产品，他们对其中一些数字保密，但你凭直觉就知道硬件能力是不可思议的。

我最近参加了 Caleb Sirak 的一场有趣的 TED 演讲，这位年轻的创新者将硬件称为“硅监狱”。

他回顾了硬件加速的历史，从早期系统（以每秒数百万次操作为单位）到后来数万亿次，甚至数千万亿次操作。

他指出，从某种程度上来说，这一过程是由游戏驱动的，但它很快就通过 Nvidia Cuda 和其他设计超越了单一用例。

现在，他建议，是时候与时俱进地做出改变了。

“现在是时候重新考虑整个系统了，”西拉克说。

Sirak 补充说，开拓新型 GPU 的工具之一是量化。

例如，4 位乘法器的效率比 32 位乘法器高出几个数量级。

他谈到了 Cerebras 芯片等创新（在这种背景下），以及如何减少数据传输的轨迹以提高人工智能的效率。

他说：“当每个参数更小时，我们可以在每秒内将更多的参数放入系统中，从而减少内存和网络互连的瓶颈。”

他谈到了 xAI 的 Colossus，并称之为实现百万 GPU 的“路线图”。然后，我们回到效率问题：

“你可以采用灵活的城市街道网格，容纳许多不同的赛车，”他解释道，“或者你可以拥有一条一级方程式赛道，如果你有一条一级方程式赛道，那么那张一级方程式赛车的速度就会非常快。”

他报道了各家公司在设计硬件智能群方面的工作，他将其称为“智能集群”。

他补充道：“我们通过这些人工智能芯片和这些进步所释放的力量具有深远的影响，而日益普及和全球共享的创新至关重要。这场革命的核心是一个极其复杂的供应链，从一个大陆的稀土矿物，到另一个大陆的化学品，再到第三个大陆的芯片。”

作为互联世界的另一个例子，他指出，一块芯片在最终投入生产之前，可能跨越数十个国家的边界。对于任何知道台湾半导体占据全球最大芯片制造份额的人来说，这都是非常合理的。

无论如何，我们确实正处于硬件加速的“曲棍球棒曲线”阶段。敬请期待。