昕原的ATOM大模型加速产品,利用ReRAM存算一体技术,将运算所需的权重全部存储在ATOM片内,数据读取的同时完成海量运算,将传输带宽的需求最小化,极大降低数据传输的功耗,提升整体性能。ATOM可以与不同的HOST灵活配置,实现最优的大模型功能和性能,高效支持多种类型的大模型推理应用。
ATOM-CSS:端侧/边缘侧应用优势
• 权重全部存储在ATOM-CSS,每次计算Token直接在ATOM-CSS中完成,无需耗费大量带宽和功耗进行权重搬运。
• 可用于AI手机、AI PC、机器人、自动驾驶、智慧城市等场景,满足端侧/边缘测应用的低延时、低功耗、降成本和安全性的需求,有效提升单位面积算力,为端侧/边缘侧应用提供高能效比解决方案。
ATOM-Card:云端应用优势
• 权重全部存储ATOM-Card中,每次计算Token直接在ATOM-Card中完成,无需耗费大量带宽和功耗来进行权重搬运。
• 可用于云端推理加速、智算中心等场景,满足云端大算力的需求,融合多模态大模型,为智算中心提供高能效比的大规模AI算力,避免了海量数据的传输,同时极大提高推理效率,降低系统成本。