革命性的内存架构
然后是这款新的处理器,我今天不会花太多时间来谈论它。我没有足够的时间,但这绝对是革命性的。原因在于,你的 AI 需要越来越多的内存。你与它的互动越来越多。你希望它能记住我们上次的对话。所有你为我学到的东西,请在我下次回来时不要忘记。
因此,所有这些内存将会创建一种叫做 KV caching 的东西。而检索 KV caching,你可能已经注意到,每次你进入你的 AI 空间时,刷新和检索所有先前的对话所需的时间越来越长。造成这种情况的原因是,我们需要一款革命性的新处理器,它就是 BlueField 四代。
相关内容
- 一种新计算模型的诞生 正如你们在视频中看到的,NVIDIA 在六十年里首次发明了一种全新的计算模型。一种新的计算模型很少出现。它需要大量的时间和一系列条件。我们观察到这一点。我们发明...
- 介绍 NVQ Link 所以今天,我们宣布推出 NVQ Link。它之所以能实现,靠的是两件事。当然,首先是这个互连技术,它能进行量子计算机的控制和校准、量子纠错,还能连接两台计算机,...
- 与美国能源部的合作 我还有一个额外的宣布。今天,我们宣布美国能源部(Department of Energy, DOE)将与 NVIDIA 合作,共同构建七台全新 AI 超级计算机...
- 理解 AI:超越聊天机器人 我们来谈谈AI。什么是AI?大多数人会说AI是一个聊天机器人(chatbot),这么说也没错。毫无疑问,ChatGPT处于人们心目中AI的最前沿。然而,正如你们...
- 新的计算基础设施 一切都始于对能源的需求。这是另一个值得我们政府和特朗普总统给予巨大肯定的领域。他的亲能源倡议,他认识到这个行业需要能源才能发展,需要能源才能进步,我们需要能源才...
- AI 模型的多元化 在这些模型之上,才是应用。Transformer 并不是一个通用模型。它是一个极其高效的模型,但并不存在一个通用的模型。只是 AI 具有普遍的影响力。模型类型多...