一种基于阻变存储器的实现可调随机随机数序列方法与流程

1.本发明属于半导体(semiconductor)、人工智能(artificial intelligence)和互补型金属氧化物半导体(cmos)混合集成电路技术领域，具体涉及一种基于阻变存储器的实现可调随机随机数序列方法。

背景技术：

2.强化学习(reinforcement learning)作为机器学习的一种重要方法，近年来已经对工业控制，智能机器人等领域造成了深远的影响。如何高能效，低成本地将强化学习算法部署在边端设备上已经逐渐成为领域内的关键问题。在强化学习过程中，通常需要客体决定根据已有经验进行响应或是执行新的尝试。初始阶段，由于经验较少，客体倾向于将对各种执行方案进行充分的尝试。随着学习程度的提升，客体会逐渐倾向于利用经验解决问题，从而逐渐巩固学习成果。客体倾向性的转变是强化学习的重要特征。如何在边端高效实现这一转变过程已成为强化学习部署中的重要问题。

技术实现要素：

3.鉴于上述不足，本发明提出了一种基于阻变存储器的实现可调随机随机数序列方法。利用阻变存储器操作周期间的电阻波动性实现随机数发生，采用本发明控制操作电流改变随机数的统计分布，通过逐渐增加操作电流，随机数分布方差减小，利用这一过程可以实现客体倾向性的转变。
4.为解决上述技术问题，本发明采用的技术方案如下：
5.一种基于阻变存储器的实现可调随机随机数序列方法，其特征在于，设置随机数发生电路包括阻变存储器r1和阻变存储器r2，以及r1和r2的驱动晶体管，其中两个驱动晶体管之间形成电流镜结构，保证通过阻变存储器r1和阻变存储器r2的电流受到调制端调制且始终相等，所述阻变存储器r1和阻变存储器r2分别与一个灵敏放大器的两个输入端连接，进行如下操作步骤：
6.1)首先在调制电平输入端施加电平信号，以控制流经阻变存储器的电流，即阻变存储器的驱动晶体管栅极输入电压增加时，流经阻变存储器的最大电流增加；
7.2)在电平输入端施加一扫描电平信号或脉冲信号，对阻变存储器r1和阻变存储器r2进行置位操作，阻变存储器r1和阻变存储器r2完成从高电阻转变为低电阻的过程；
8.3)置位完成后，在电平输入端施加一读取电平，由于阻变存储器r1和阻变存储器r2电阻存在差异，使得灵敏放大器两端电压不同，若此电压差别超过灵敏放大器的阈值，电平输出端将输出高电平，否则将保持为低电平；
9.4)电路随机输出高电平后，在电平输入端施加一负电平将阻变存储器r1和阻变存储器r2进行复位操作，阻变存储器r1和阻变存储器r2完成从低电阻转变为高电阻的过程；
10.5)重复上述过程则可获得随机数序列。
11.由于大限流置位操作时，阻变存储器能获得较稳定的低电阻，因此当调制输入端
施加较高电平时，灵敏放大器两端电压差较小，电平输出端输出高电平的几率较低。与此过程相对应，当使用小电流进行置位操作时，阻变存储器难以获得稳定的电阻状态，灵敏放大器两端电压差较大，电平输出端输出高电平的几率较高。通过上述方式即可通过改变调制输入端的电流控制电平输出端输出高电平的几率。本发明阻变存储器的电阻主要受到电极之间导电细丝状态的影响。通常情况下，在两个操作周期之间，导电细丝的状态存在差别，从而产生器件电阻在操作周期之间的波动性。器件电阻的周期波动可以用于产生具有正态分布的随机数。阻变存储器电阻的波动性大小受到导电细丝稳定性的影响：对于粗壮的导电细丝，其状态稳定，操作周期间的形貌差异较小，因而电阻的波动较小；对于细弱的导电细丝，操作周期间的形貌差异较大，状态不稳定，将导致较大的电阻波动。因此，可以通过控制导电细丝的稳定性控制电阻随机性的大小，进而生成具有不同随机分布的随机数。研究表明，导电细丝的形貌受到操作电流的影响：大操作电流形成的导电细丝更加粗壮，而小操作电流形成的导电细丝更为细弱。通过控制操作电流的大小即可方便地控制随机数的分布从而解决强化学习中客体行动策略的选择问题。本发明通过控制阻变存储器的操作电流控制周期间电阻随机分布，进而决定客体的行动策略。本发明提出的实现可调随机随机数序列方法具有较强的面积、功耗优势，对于强化学习应用在边端的部署工作具有重要意义。
附图说明
12.图1是本发明随机数发生电路结构示意图；
13.图2是本发明阻变存储器相邻周期间电阻之差的分布示意图；
14.图3是本发明阻变存储器输出高电平的几率与操作电流的关系的示意图。
具体实施方式
15.为使本发明的上述特征和优点能更明显易懂，下面结合附图和具体实施例，对本发明进行进一步描述。
16.图1是本发明随机数发生电路结构示意图。包括两个阻变存储器r1和阻变存储器r2以及r1和r2的驱动晶体管，其中两个驱动晶体管之间形成电流镜结构，保证通过阻变存储器r1和阻变存储器r2的电流受到调制端调制且始终相等，所述阻变存储器r1和阻变存储器r2分别与一个灵敏放大器的两个输入端连接。下面简述本发明处理流程：
17.(1)在输入端施加电平信号(0v-5v)，以控制流经阻变存储器的电流。为方便说明，在本实施例中，假设驱动晶体管栅极输入从1v线性变化至2v时，漏极饱和电流从100μa线性变化至200μa。
18.(2)在电平输入端施加一扫描电平信号或脉冲信号v
set
，对阻变存储器r1和r2进行置位(set)操作。阻变存储器r1，r2完成从高电阻转变为低电阻的过程。当驱动晶体管栅极输入分别为1v，1.5v和2v时，阻变存储器r1与r2的电阻差值分布如图2(a),(b)和(c)所示。可以看到，随着调制电压的提高，阻变存储器r1与r2的电阻差值分布变窄。电阻差值分布的标准差与操作电流(即调制电压)的关系如图2(d)所示。可以看到，随着操作电流(调制电压)的上升，分布标准差逐渐变小，意味着电阻差值分布逐渐稳定，随机性逐渐减小。
19.(3)置位完成后，在电平输入端施加一读取电平vr，由于阻变存储器r1，r2电阻存在差异，使得灵敏放大器两端电压不同。若此电压差(δv＝(vrr0/(r0+r1)(r0+r2))*(r
1-r2)，其
中r0为驱动晶体管源漏之间的电阻超过灵敏放大器的阈值δ，电平输出端将输出高电平，否则将保持为低电平。当增大调制电压时电阻差异的随机性减小，因而电压差δv超过δ的几率减小，最终输出端输出高电平的几率减小。
20.(4)电路输出随机高电平后，将调制电平输入端置于一高电平v以打开驱动晶体管(v应足够高使得驱动晶体管能提供足够大的操作电流)，在操作电平输入端施加一负电平v
reset
将阻变存储器r1和r2进行复位(reset)操作。阻变存储器r1，r2完成从低电阻转变为高电阻的过程。随机数发生电路回归初始状态。
21.(5)重复上述过程则可获得随机数序列，而序列中高电平出现的几率受到调制电压控制。
22.由于大限流置位操作时，阻变存储器能获得较稳定的低电阻，因此当调制输入端施加较高电平时，灵敏放大器两端电压差较小，电平输出端输出高电平的几率较低。与此过程相对应，当使用小电流进行置位操作时，阻变存储器难以获得稳定的电阻状态，灵敏放大器两端电压差较大，电平输出端输出高电平的几率较高。通过上述方式即可通过改变调制输入端的电流控制电平输出端输出高电平的几率。
23.基于上述原理所设计的两个阻变存储器应尽可能满足以下条件，即两组1t1r在结构和电学性能上相同。这一条件可以保证两器件电阻之差尽可能服从正态分布。为简单起见，本实施例中使用同一阻变存储器在两个相邻周期置位后的电阻作为r1和r2进行说明。图2(a)(b)(c)(d)展示了不同操作电流下r
1-r2的分布情况，显然，随着操作电流(compliance current,cc)的增加，分布的标准差(standard deviation)减小。
24.图3展示了阻变存储器在不同的灵敏放大器阈值下(此处以触发灵敏放大器所需的电阻差异δ表示放大器阈值)，输出高电平的几率与操作电流的关系。随着操作电流的上升，输出高电平的几率下降，实现了对输出高电平几率的控制。在强化学习应用中，可将学习进度映射为调制输入电压，输出高电平对应尝试新执行方案，低电平则对应采用经验方案。通过这种映射方式可以实现客体倾向性从尝试新方案到采用经验方案的转变，简单、高效地解决了强化学习在边端部署中的一个关键问题。
25.最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

技术特征：

1.一种基于阻变存储器的实现可调随机随机数序列方法，其特征在于，设置随机数发生电路包括阻变存储器r1和阻变存储器r2，其中阻变存储器r1和阻变存储器r2的驱动晶体管之间形成电流镜结构，保证通过阻变存储器r1和阻变存储器r2的电流受到调制端调制且始终相等，所述阻变存储器r1和阻变存储器r2分别与一个灵敏放大器的两个输入端连接，进行如下操作步骤：1)首先调制电平输入端施加的电平信号，以控制流经阻变存储器的电流；2)在电平输入端施加一扫描电平信号或脉冲信号，对阻变存储器r1和阻变存储器r2进行置位操作，阻变存储器r1和阻变存储器r2完成从高电阻转变为低电阻的过程；3)置位完成后，在电平输入端施加一读取电平，由于阻变存储器r1和阻变存储器r2电阻存在差异，使得灵敏放大器两端电压不同，若此电压差别超过灵敏放大器的阈值，电平输出端将输出高电平，否则将保持为低电平；4)电路随机输出高电平后，在电平输入端施加一负电平将阻变存储器r1和阻变存储器r2进行复位操作，阻变存储器r1和阻变存储器r2完成从低电阻转变为高电阻的过程；5)重复上述过程则可获得随机数序列。2.如权利要求1所述的实现可调随机随机数序列方法，其特征在于，所述步骤1)中电平信号的范围为0v-5v。3.如权利要求1所述的实现可调随机随机数序列方法，其特征在于，所述步骤1)中阻变存储器的驱动晶体管栅极输入电压增加时，流经阻变存储器的最大电流增加。4.如权利要求1所述的实现可调随机随机数序列方法，其特征在于，通过在所述步骤2)中增大扫描电平信号或脉冲信号，阻变存储器r1与阻变存储器r2的电阻差值分布变窄。

技术总结

本发明公布了一种基于阻变存储器的实现可调随机随机数序列方法，该方法利用阻变存储器操作周期间的电阻波动性实现随机数发生，则可获得随机数序列。利用本发明控制操作电流改变随机数的统计分布，通过逐渐增加操作电流，随机数分布方差减小，利用这一过程可以实现客体倾向性的转变。本发明对解决强化学习应用的边端部署问题具有重要意义。边端部署问题具有重要意义。边端部署问题具有重要意义。