小昕笔记:
ReRAM(RRAM),即电阻式随机存取存储器,被认为是成为最具潜力的下一代主力存储器。ReRAM是以非导性材料的电阻在外加电场作用下,在高阻态和低阻态之间实现可逆转换为基础的非易失性存储器,可将DRAM的读写速率与寿命以及NAND Flash的非易失特性结合于一身,功耗更低、读写速度更快,可形成未来存储架构的最后一级缓存,消除内存与外存间的“存储墙”。同时,利用ReRAM存储技术的电阻特性,可实现乘加运算,从而形成新的存算一体运算架构,突破现有冯诺依曼架构瓶颈,从而实现传统AI芯片能效比的数量级提升。
近期EE Times ASIA 的一篇报道指出,基于ReRAM的类脑计算能在中长期内突破冯·诺伊曼计算架构瓶颈,支持多种不同的AI算法,具有算力高、功耗低的特点。这些特性使ReRAM在人工智能、存内计算和旨在模仿人脑的应用程序中具有显著优势,在一众主流新型存储器中脱颖而出。
今天,小昕就给大家带来精选译文,我们进一步来认识ReRAM在AI领域的无限潜能。
接下来
就和大家分享精选译文
小昕精选译文
随着人类社会对人工智能和存内计算的兴趣显着增加,ReRAM有望成为解锁模仿人类大脑能力的关键,但依然面临一些挑战。去年,电子领域顶会IEDM(国际电子器件大会)汇集了有关推进各种内存类型的最新研究论文。虽然论文话题同时覆盖新型与现有传统存储技术,但在意料之中,其中许多研究都专注于如何改进存内计算、人工智能、机器学习(machine learning)以及类脑计算。
ReRAM多用于类脑计算,甚至成为了类脑计算的代名词。密歇根大学教授电子工程与计算机科学卢伟教授(Wei D.Lu)介绍,ReRAM具备实现高密度非易失性存储和高效内存计算的能力,而且基于ReRAM的存算加速器则可以突破冯·诺伊曼计算架构的瓶颈。卢伟教授在IEDM发言时概述了一些器件,也向大家介绍了如何通过并行计算来处理日益庞大的AI模型,还谈到了边缘计算应用程序对功率、延迟和成本要求会越来越高。
目前,具备并行计算能力的CPU在内存方面仍存在瓶颈。即使GPU可以允许更快的内存访问,但卢伟教授认为,要彻底突破瓶颈必须采用一套全新的计算架构,这套计算架构必须能从根本上提高吞吐量和计算效率。内存保护单元(MPU)可以显著提高并行性,还能将内存阵列与逻辑阵列放在一起,从而实现设备级计算并更好地促进存内计算。
图1:MPU促进存内计算
(来源:密歇根大学)
使用ReRAM阵列作为计算结构,是ReRAM能够实现存内计算的关键,因其天然可以执行学习和推理功能。ReRAM还能支持双向数据流,而更大的神经网络使用具有平铺MPU架构的模块化系统来提高吞吐量,有更好促进存内计算的潜力。
ReRAM仍面临挑战
然而ReRAM器件仍面临三个关键挑战:一是基于高精度模拟-数字转换器的读出电路;二是器件非理想性对性能的影响,包括受单元间变化的器件影响;三是ReRAM设备中非线性的以及不对称电导更新后会严重降低训练的准确度。
三个挑战有相对应的解决方案。第一个挑战的解决方案包括使用多范围量化和二元神经网络。解决第二个挑战可以使用2T2R架构实现二进制权重或者采用有架构意识的培训,这也有助于应对第三个挑战。混合精度训练可以通过较低精度格式训练大型神经网络,来提升性能和计算,这也可以解决第二个和第三个挑战。
基于ReRAM的类脑计算,
速度每三个月翻一番
要说比存内计算更热门的研究领域,非类脑计算莫属。以刘明院士(Liu Ming)为代表的中科院微电子研究所和复旦大学的研究人员们介绍称,人工智能计算使用速度推动了基于ReRAM的类脑计算(BIC)工作,基于ReRAM的类脑计算速度每三个月就可以翻一番。
图2:类脑计算可中长期突破冯·诺伊曼计算架构瓶颈
(来源:中科院微电子研究所)
人工智能计算使用不断增加,使得受大脑启发的硬件对于人工智能的发展至关重要。虽然新的存内技术的确可以在短期内增强现有的层次结构,但是类脑计算能在中长期突破冯·诺伊曼计算架构瓶颈。实现类脑计算的方式包括存内计算和神经拟态计算。
类脑计算模型包括人工神经网络(ANN)和脉冲神经网络(SNN)等不同的神经网络模型。其中,ANN能够处理空间域中的连续信号;SNN则可以模仿了大脑的工作方式,更具生物可能性。ReRAM具有丰富的开关动态,可以支持大规模集成、低功耗外围设备和用于构建类脑计算芯片和系统的特定应用架构,为类脑计算提供了一个理想的平台。
ReRAM SNN的计算密度高、能效高,使得高性能计算成为可能。不仅如此,集合事件驱动与集成多核的芯片,可以在更低的功耗下运行。刘明院士介绍道,对模拟存内计算的研究已有十多年之久,集成SNN多核将很快实现。然而,如果要开发适用于实际应用的类脑计算芯片,研究人员在架构层面仍有许多探索工作要做。
结语
高集成密度、高开关比、高计算精度、高能效比和制造兼容CMOS工艺,使得ReRAM在高密度非易失性存储以及存内计算方面都有很大优势,被认为是实现存算一体的最佳选择之一。
虽然ReRAM仍面临诸多挑战,但是国内半导体行业正在不畏困难,现已探索出利用“全数字解决方案”解决基于高精度模数转换器问题。目前新型存储器领域国内外差距较小,壁垒尚未形成,为我国存储器产业实现“弯道超车”提供了可能。