SambaNova表示，其最新的芯片可以大大优于Nvidia的A100芯片，至少在机器学习工作量方面。

这家总部位于帕洛阿尔托的人工智能初创公司本周宣布了其DataScale系统和Cardinal SN30加速器。该公司声称这款加速器可以提供688 TFLOPS的BF16性能，是NVIDIA A100的两倍。

然而，就机器学习训练的工作量而言，SambaNova表示差距更大。该公司声称，其基于SN30的DataScale系统在训练130亿参数GPT模型方面比英伟达的DGX A100服务器快6倍，至少根据其内部基准测试，因此请使用健康剂量的盐。

SN30由7nm TSMC工艺节点制造，860亿个晶体管封装在一个芯片上。与现在市面上的其他高性能加速器相比，芯片本身有点标新立异，因为它不是GPU、CPU，也不是传统的FPGA。

SambaNova将该芯片描述为可重新配置的数据流单元或RDU。“可重构性是建筑的关键。因此，与具有固定元素的GPU或CPU不同，它被视为芯片上的计算和存储阵列，”SambaNova系统产品高级副总裁Marshall Choy告诉The Register。

在许多方面，RDU让人想起了FPGA，尽管正如蔡指出的那样，它远没有那么复杂。

根据Choy的说法，最接近的比较是粗粒度可重构架构(CGRA)，它通常缺乏FPGA的门级控制，但受益于更低的功耗和更快的重构时间。

“我们认为我们的芯片和硬件是软件定义的，因为我们实际上是根据正在执行的操作员的需求重新配置每个输入，”Choy说。

例如，尽管芯片缺乏你可能在专用人工智能加速器中找到的大型矩阵数学引擎，但芯片可以重新配置自己以实现相同的结果。Choy解释说，这是使用SambaNova的软件堆栈完成的，该软件堆栈提取常见的并行模式。

缓解内存瓶颈

Choy指出，SN30的可配置性只是等式的一部分，内存是另一部分。

该芯片有640MB的SRAM缓存，每个插槽都结合了更大TB的外部DRAM。Choy声称，这种方法——一个相对较小的高速缓存，具有大量的外部DRAM容量——使该公司的技术能够更有效地适应大型自然语言模型(NLP)。

SambaNova的观点似乎是，要将这些大型模型与现成的GPU一起使用，您需要将大量的处理器放入一个系统中，并将它们的板载内存集中在一起，以便在访问时保存所有数据，而您需要的SN30芯片较少，因为它们可以将模型存储在大型外部DDR连接的DRAM中。

例如，你可能有一个800GB的型号，所以你需要10个80GB的Nvidia GPU来将其全部保存在内存中，但你可能不需要10个GPU来执行任务，所以你在不必要的硅芯片上浪费了金钱、精力和空间。可以用一些SN30来代替，用他们相当大的外置DRAM来保存模型，或者SambaNova的逻辑是这样的。

“如果你看看NLP，比如Nvidia和其他所有人只是快速计算。我们需要X数量的内存，所以我们需要这么多的GPU，”Choy说。“我们所做的是构建我们的系统，以提供比基于Nvidia的[每GPU 80GB]系统多12.8倍的内存”

因此，SambaNova似乎正在平衡因使用外部DRAM而遭受的任何性能损失与存储器的巨大且相对廉价的容量及其芯片架构的性能。

“我们看到一种情况，可能需要1400个GPU来完成这项工作。我们投资了64个插槽，因为我们有12.8倍的内存，”Choy说。

我们要注意，桑巴诺娃解决这个问题的方法绝不新颖。Graphcore在其智能处理单元中采用了类似的SRAM缓存和内存架构。同时，Nvidia的Grace-Hopper超级芯片封装了该公司的Arm兼容CPU和GH100 GPU，配备80GB HBM和512GB LPDDR5 R5。

人工数据中心即服务

与英伟达不同，SambaNova不出售集成到OEM系统或PCIe卡中的GPU芯片。SN30仅作为完整系统的一部分提供，旨在与公司的软件堆栈一起使用。

“最小的消费单位将是我们提供的完整的八路系统，”蔡说。

事实上，这些系统是在集成了电源和网络功能的机架中运输的。在这方面，DataScale与英伟达的DGX服务器更具可比性，后者是使用芯片巨头的专有交换机为机架级部署而设计的。

一个机架可以安装四个DataScale系统，该公司声称在大规模部署中可以扩展到多达48个机架。

除了硬件和软件，该公司还为没有开发和培训自己所需的专业知识或兴趣的客户提供经过全面培训的基本模型。

Choy表示，这是客户经常提出的要求，他们更喜欢关注与优化数据集相关的数据科学和工程，而不是训练模型。

然而，对于许多客户来说，AI基础设施和软件仍然非常昂贵，单个系统通常需要几十万美元。

认识到这一点，SambaNova计划从一开始就提供其DataScale和SambaFlow软件套件作为订阅服务。

Choy声称，与直接购买AI基础设施相比，这种方法将使客户能够以更低的风险获得更快的投资回报。