AI 的硬件问题

人工智能硬件行业正在尽可能快地扩展内存和处理单元性能，但是硬件性能并没有跟上模型增长的速度，尤其是在内存方面。内存墙问题是人工智能硬件的一个限制，即处理单元需要等待内存执行读 / 写操作，从而浪费多个处理周期。人工智能硬件行业正在研究内存中心范例来解决内存墙问题。Keywords: 人工智能硬件、内存墙、内存中心范例、处理单元、电力连接 如果你想先看视频，下面是： 在 ChatGPT 风靡世界之前很久我就制作了这个视频，所以它还没有引起我的注意。回复此电子邮件或发送电子邮件至 [email protected] 最近，我正在收听 OpenAI 首席科学家 Ilya Sutskever 的播客采访，我发现其中一件有趣的事情是他认为硬件计算不是 AI 研究的限制。Google 的 Imagen 有 46 亿个，GPT-3 有 1750 亿个参数。如今，顶级的 Nvidia 数据中心 GPU A100 和 H100 拥有 80GB 内存。