三星对于人工智能有一个疯狂的想法也许可行在RAM中添加一个处理器

三星正在将其最新进内存处理(PIM)和近内存处理(PNM)领域作为提高性能并降低运行人工智能工作负载成本的一种手段。

该公司将其在HotChips2023上推出的最新概念验证技术称为CXL-PNM。根据ServetheHome的说法，这是一款512GB的卡，带宽高达1.1TB/s。

它将有助于解决人工智能计算中最大的成本和能源消耗之一，即计算引擎上的存储和内存位置之间的数据移动。

三星的测试表明，它的能效比单个A-GPU高2.9倍，八个CXL-PNM集群的能效比八个A-GPU高4.4倍。除此之外，安装该卡的设备二氧化碳排放量减少了2.8倍，运行效率和环境效率提高了4.3倍。

它依赖于计算快速链路(CXL)技术，该技术是高速处理器到设备和处理器到内存接口的开放标准，为更有效地使用处理器的内存和加速器铺平了道路。

该公司相信该卡可以将工作负载卸载到PIM或PNM模块上，这也是它在LPDDR-PIM中进行的探索。三星声称，它将节省成本和功耗，并通过防止内存带宽过度配置来延长设备的电池寿命。

与DRAM内处理相比，三星的LPDDR-PIM性能提高了4.5倍，并通过使用PIM模块减少了能源消耗。尽管内部带宽仅为102.4GB/s，但它仍然在内存模块上进行计算，无需将数据传输回CPU。

三星多年来一直在探索此类技术，尽管CXL-PNM是迄今为止最接近将其纳入可能很快成为可行产品的技术。这也遵循了2022HBM-PIM原型。

三星与AMD合作，将其HBM-PIM卡应用于大规模AI应用。与现有GPU加速器相比，添加HBM-PIM后性能提高了2.6%，同时能效提高了2.7%。

构建适合处理最苛刻的人工智能工作负载的下一代组件的竞赛正在顺利进行。从IBM到d-Matrix等公司都在制定旨在取代最好GPU的技术。