类脑计算与器件(Neuromorphic computing)
实现类脑人工智能是人类长期以来一直追求的梦想。借助脑科学和认知科学的研究成果,结合计算机硬件技术和算法研究的不断突破,模拟神经形态的类脑智能的实现已成为世界各国竞相角逐的焦点。
本研究组的核心课题是研究能够高效执行类脑计算的新型电子器件,尤其注重充分挖掘电子材料的物理特性,拓展人工突触与神经元的功能,在此基础上优化神经网络的算法实现与架构设计,最终实现顶层的人工智能(如概率计算、感存算一体、自动驾驶等)。
1)贝叶斯神经网络与概率神经形态器件
(Probabilistic neuron/synapse devices for Bayesian neural network)
目前,以深度学习(Deep Learning)为代表的人工神经网络研发已经发展到一个较为充分的阶段了。人工智能领域下一个热点很可能是以贝叶斯神经网络为代表的概率计算(Nature vol. 521, pp. 452 (2015))。
这一观点的提出,针对的是当前深度学习在应用层面的一个重大问题:即神经网络通常给出的是决定论的判断,而不是包含了置信度信息的判断。以特斯拉智能驾驶为例,一次著名车祸据称是其人工智能芯片误将前方白色卡车识别成天空而造成的。另一个近期的例子是新冠肺炎的胸片诊断:新冠病毒、其它病毒、细菌均可导致肺炎,对应的胸片在数据空间有一定程度的交叠,如果采取非此即彼的类脑神经网络学习、筛选,会造成严重的初诊错误。
有鉴于此,科学界提出应该发展以贝叶斯神经网络为代表的概率计算,对结果的不确定度进行量化(Uncertainty Quantification)。
图1:两类需要做不确定度量化的情况:数据本身有不确定性(aleatoric);模型预测的不确定性(epistemic)。来自arXiv:2011.06225v3
从硬件层面,上述新型神经网络亟需能够高效执行概率运算的新型神经形态器件,而不是借助复杂的随机数发生器及外围控制电路,从而在大幅度提升其执行效率的同时,革命性降低其执行的硬件与时间成本。
本课题组正在该方向深入研究能够执行带有不确定度量化功能的非监督学习、监督学习、强化学习神经网络,并充分利用底层材料、器件的随机性,定制可高效执行上述学习功能的神经元、突触器件。该方向初步研究成果发表在Materials Horizons等期刊。
2)基于忆阻晶体管的互补突触及应用
(Memtransistor-based complementary synapses for optimizing spiking neural network circuits)
目前,两端(two terminal)忆阻器已经被研究得很多了,而三端记忆晶体管甚至更多端的忆阻器件研究的还比较少。那么如何充分挖掘多端调控的物理机制,研制出功能更丰富、更强大的神经形态器件呢?
本课题组以石墨烯/有机铁电晶体管为例,在这方面做了一些有趣的尝试。
图2:石墨烯/铁电晶体管的非易失电导调制。
众所周知,石墨烯作为晶体管沟道材料,由于其零带隙特性,会导致电流无法有效关断。通常来说,这是阻碍石墨烯电子器件走向实用的一个大问题。那么,有没有可能我们正向利用这个特性,做到化腐朽为神奇?
我们课题组发现,正因为这种零带隙,以石墨烯为沟道、有机铁电材料为栅介质的晶体管,能够表现出双极性电导特性。于是在仿生突触时,它能够在n型和p型导电之间来回切换(reconfigurable)。更关键的是,我们发现n型和p型在同样的电压脉冲作用下,会表现出相反的电导调制行为。
由此,我们课题组提出了互补突触(complementary synapses)这个概念,进一步的,我们展示出来,这种互补突触能够极大地优化脉冲神经网络远程监督学习算法(ReSuMe)的硬件实现。
图3:基于互补突触晶体管的脉冲神经网络监督学习实现
该工作采用bottom-up研究方式,从最底层的材料特性研究,到相应的器件制备、测试与物理建模,到新型神经形态器件即互补突触概念的提出,到对应的神经网络电路新结构设计与优化,一系列工作分别发表在领域内材料、器件、系统设计的顶刊顶会,如 IEDM,IEEE Transactions on Neural Networks & Learning Systems,NPJ 2D Materials & Applications等。
3)基于纳流控器件的忆阻突触与新型脑机接口
(Nanofluid device as memristor and application towards brain-machine interface)
忆阻器,因其非易失的电导连续调制特性(nonvolatile and multilevel conductance tuning),被认为是构成神经网络的关键器件人工突触的最佳候选,基于忆阻突触的神经网络也是目前国际研究重大热点。
然而,已知相当多种类的固态电子忆阻器在电导连续置态(SET)与重置(RESET)时,表现出电导突变特性(abrupt conductance changes)。该突变行为会破坏忆阻突触器件的模拟权重更新(analog weight update)的连续性,同时也破坏权重长时程增强与减弱之间的对称性,且产生较严重的同批器件之间以及同一器件多次操作一致性问题(device-to-device variation,cycle-to-cycle variation),以上非理想效应大大降低了相应的类脑神经网络训练与识别性能。
针对上述问题,我们研究组提出一种基于纳流控(nanofluid)的界面型忆阻器(interfacial memristor),如下图所示:
图4:纳流控忆阻器示意图。
上述示意图中的绿色部分代表施加了无机电解液如KCl溶液的腔室,粉色部分是注入室温有机离子导体如BminPF6的腔室,两个腔室由中间的纳米沟道相连接。由于无机KCl溶液与有机离子导体不互溶的特性,这两种液体在纳米沟道中形成一个分界面。
更进一步,该界面在外加电压下由于纳流体的动电效应产生移动,由此实现电导渐变调节的忆阻突触器件。借助离子导体的高粘滞性,即使撤掉置态电压,分界面的位移变化也可保持下来,从而得到非易失的电导调制。
上述工作实现了基于纳流体的界面型忆阻器,并据此制备了具有优异特性的人工突触器件。系统级仿真显示,在此基础上构建的卷积神经网络可对标准手写数字测试集表现出优异的学习与识别能力。