AI时代“内存墙”问题愈发明显

  AI大模型的快速发展推动“算力”和“存力”需求快速增长,与此同时,对“运力”也提出了更高的需求,系统需要更高的带宽、更快的传输。但内存的性能提升速度远低于处理器的性能提升速度,导致处理器无法充分发挥其计算能力。“内存墙”问题由来已久,在AI时代表现的愈发明显,“算力”和“运力”之间的差距越来越大。Transformer类的模型参数的数量呈现指数增长,每两年增加410倍,而GPU内存仅以每两年2倍的速度扩展。

  CXL提高内存利用效率,技术优势明显

  CXL技术是一种新型的高速互联技术,旨在提供更高的数据吞吐量和更低的延迟,同时实现内存共享、提高内存利用效率,为化解“内存墙”问题提出新的解决方案。CXL通过将计算和存储分离,形成内存池,从而能动态按需配置内存资源,提升效率。CXL技术具有优势:1)CXL延迟较低,通常为10ns,而PCIe的延迟为100ns。2)CXL支持内存一致性,一致性的缺乏限制了PCIe应用程序。3)CXL地址空间可按定义缓存,PCIe则不可以。

  CXL版本持续升级迭代,国际巨头纷纷加入CXL联盟

  
通信:CXL高速互联:破解AI时代“内存墙”新途径
download

声明:本站所有报告及文章,如无特殊说明或标注,均为本站用户发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。