一种基于Transformer模型的量子随机数性能评估方法

一种基于transformer模型的量子随机数性能评估方法
技术领域
1.本发明属于量子随机数、量子信息技术等领域，具体涉及一种基于transformer模型的量子随机数性能评估方法，用于量化产生随机数的随机性大小。


背景技术：

2.随机数在许多领域中都有着广泛的应用，如密码学、量子计算、数据安全等。在这些领域中，随机数的质量和生成效率至关重要。随机数发生器(quantum random number generator,qrng)的一个重要类型是量子随机数发成器，它利用量子现象的随机性来生成随机数。然而，如何有效地评估qrng的性能，特别是其生成的随机数的随机性，仍然是一个挑战。
3.一种常见的评估随机数质量的方法是使用统计检测套件，如美国国家标准与技术研究院(nist)提供的检测套件。然而，这种方法在处理小数据量的随机数和量化随机性方面存在一定的局限性。随着机器学习技术的发展，基于神经网络的随机数预测模型也被提出来评估随机数的随机性。例如，基于lstm的预测模型被用于检测随机数序列中的潜在关联性。然而，这些模型可能需要较长的训练时间，并且可能不足以捕获高维度和复杂的随机数序列关联性。
4.因此，发展一种新的随机数性能评估方法，特别是能有效处理小数据量的量子随机数，并能提高预测精度和训练效率的方法，对于提升随机数发生器的性能和安全性是非常重要。


技术实现要素：

5.本发明目的在于针对上述现有方案的不足，提出了一种基于transformer模型的量子随机数性能评估方法。这种方法主要用于对qrng的随机性进行评估和量化，从而帮助刻画和提高qrng的性能。具体包括以下步骤：
6.步骤1，使用量子随机数构建数据集；
7.步骤2，构建基于transformer架构的机器学习模型；
8.步骤3，将数据集中的量子随机数进行有序排列，数据集中连续的m个量子随机数做为机器学习模型的输入，第m+1个数做为机器学习模型的输出，对所述机器学习模型进行训练；步骤4，将待评估量子随机数进行有序排列，将连续的m个随机数输入训练好的机器学习模型中，进行第m+1个随机数的预测，得到预测成功概率p
ml
。
9.进一步的，将预测成功概率p
ml
与理论极限的最大猜测概率pg的做比较，从而判断出量子随机数性能。pg指标是在所有可能的数字组合中，随机选择一个数字时，正确猜测的最高概率。p
ml
指标是在已知前m个数字的情况下，模型正确预测测试集中第(m+1)个数字的概率。
10.进一步的，所述理论极限的最大猜测概率pg与最小熵有关，最小熵表示从随机数序列中提取的安全随机性的大小，描述为：
[0011][0012]
其中，x表示随机数序列，xi表示x的子序列，长度为n。
[0013]
进一步的，步骤3中将数据集中的量子随机数进行有序排列，数据集中连续的m个量子随机数做为机器学习模型的输入，第m+1个数做为机器学习模型的输出，具体是通过滑动窗口实现；
[0014]
采用滑动窗口的方式将数据集中的量子随机数进行有序排列。滑动窗口的大小设定为m个数字，每一次滑动窗口操作都将m个数字作为一个单独的输入序列，同时把第m+1个数字作为所述输入序列对应的目标输出标签。
[0015]
进一步的，滑动窗口的大小被设定为128个数字，确保模型能够获取到足够的上下文信息进行学习。每一次滑动窗口的操作都会产生一个包含128个数字的输入序列和一个与之对应的目标输出标签，保证了数据的充分利用和模型的有效学习。
[0016]
进一步的，步骤2中所述基于transformer架构的机器学习模型包括依次连接的嵌入层、位置编码器、编码器和解码器；所述嵌入层用于将输入的量子随机数序列嵌入到向量空间，得到向量的序列，例如，嵌入层将将每个8位的数字嵌入到一个256维度的向量空间中，形成一个由128个256维向量组成的序列；向量的序列输入到位置编码器，为向量添加位置信息；经过编码器层和解码器层，将输出转化为最终的预测结果。
[0017]
进一步的，所述编码器包括n个编码器层，每个编码器层结构相同，编码器层包括多头注意力机制、第一归一化层、前馈神经网络和第二归一化层；输入序列依次经过n个编码器层，在每个编码器层中，序列首先经过多头注意力机制计算输入向量之间的注意力权重，这种机制能够帮助模型捕获序列中各个元素之间的复杂关系，从而提高预测的精度；多头注意力机制的输出经过第一归一化层进行逐元素的规范化处理，可以使模型的输出更加稳定，有助于减少训练过程中可能出现的梯度消失或梯度爆炸的问题；第一归一化层的输出被传递到前馈神经网络中，以提取更高层次的特征，再经第二归一化层后输出。
[0018]
进一步的，所述编码器包括一个全连接层。解码器的输出经过全连接层的转换后，生成模型的最终输出为一个256维的概率向量。这个概率向量代表了模型预测下一个数字为每一种可能数字的概率，预测的结果是这个概率向量中概率值最大的那个数字。
[0019]
进一步的，步骤3中采用交叉熵损失函数以及adam优化器进行所述机器学习模型进行训练。使用交叉熵损失函数来衡量模型预测的输出(也就是256维的概率向量)与真实的目标输出(也就是正确的下一个数字)之间的差距；
[0020]
利用adam优化器进行反向传播，通过计算损失函数对模型参数的梯度，然后按照梯度的方向更新模型参数，，提高模型的预测性能。
[0021]
在每次更新模型参数后，均会重新评估模型在训练数据上的预测性能，以实时监控模型的学习过程，并根据需要调整学习率或进行其他优化操作。
[0022]
本发明的有益效果为：该方法能有效地评估qrng的性能，揭示随机数序列中存在的隐藏关联性，并量化随机性。如果预测成功概率p
ml
高于理论上的最大猜测概率pg，表明qrng性能有待提高。与基于lstm的预测模型相比，基于transformer的模型在预测精度和训练时间成本上具有明显优势，在工作效率方面具有优异的表现。与传统的随机性检测标准nist检测套件相比，本方法在处理小数据量的量子随机数和量化随机性方面具有优势。因
此，这种基于transformer的预测模型在量子随机数生成领域具有广泛的实用价值和应用前景。本发明可能有助于进一步提升随机数生成器的性能和安全性，适用于密码学、量子计算、数据安全等领域。
附图说明
[0023]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]
图1是滑动窗口示意图。
[0025]
图2是本发明主要网络结构示意图。
[0026]
图3是lstm模型示意图。
[0027]
图4是transformer模型预测成功率与最大猜测概率对比图。
[0028]
图5是lstm模型预测成功率与最大猜测概率对比图。
[0029]
图6是transformer与lstm预测成功率对比图。
[0030]
图7是不同数量的量子随机数nist检测结果图。
具体实施方式
[0031]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0032]
本发明的一种基于transformer模型的量子随机数性能评估方法主要包括以下步骤：
[0033]
步骤1，通过滑动窗口策略进行数据预处理；
[0034]
步骤1.1，首先使用线性反馈移位寄存器后处理算法对原始随机数进行处理，可以最大限度地利用熵源的量子随机性，同时削弱或消除由于设备特性或环境噪声引入的经典不确定性，便于后面在发送到机器学习模型中进行训练。
[0035]
步骤1.2，如图1所示将收集到的1600万个原始随机数序列进行常规排列，设置滑动窗口的大小为128个数字，每一次滑动窗口操作都将128个数字作为一个单独的输入序列，同时把这128个数字后面的第一个数字作为这个输入序列对应的目标输出标签。通过这种方式，每当滑动窗口前进三个位置时，都能得到一个新的输入序列和对应的目标输出标签，从而保证了数据的充分利用和模型的有效学习。通过这种方式可以让模型从不同的序列片段中学习和识别随机性的特征，从而提高模型的泛化能力。这个转换过程将持续进行，直到生成所有的输入和相应的输出标签。
[0036]
步骤2，构建基于transformer架构的机器学习模型，结构如图2所示，包括一个嵌入层(embedding layer)、一个位置编码器(position encoder)、多个编码器层和一个解码器层组成。
[0037]
每个编码器层的结构相，每个编码器层包括多头注意机制、第一归一化层、前馈神
经网络和第二归一化层；解码器包括全连接。
[0038]
步骤2.1，数据经过预处理之后，通过嵌入层将128个8位数字嵌入到一个256维度的向量空间中，得到一个包含128个256维向量的序列。
[0039]
步骤2.2，位置编码器给每一个向量添加位置信息，计算一个与嵌入向量长度相同的位置编码向量，并将其与输入序列的嵌入向量相加。这种设计使模型能够捕获输入元素的位置信息，从而在处理序列数据时更好地理解元素之间的关系。
[0040]
步骤2.3，输入序列经过n个编码器层，在每个编码器层中，序列首先通过多头注意力机制来计算输入元素之间的注意力权重，头的数量为8。这些权重反映了一个元素与序列中其他元素的关联程度。
[0041]
步骤2.4，在多头注意力机制之后，第一归一化层对输入进行逐个元素的规范化，以提高模型的稳定性并预防梯度消失或梯度爆炸问题。第一归一化层的输出被传递到前馈神经网络中，以提取更高层次的特征。使得模型能够从原始的输入数据中提取出更多有价值的信息，从而进一步提高模型的预测能力。
[0042]
步骤3，采用交叉熵损失函数以及adam优化器进行模型训练；
[0043]
步骤3.1，经过编码器层处理的输出被传递到全连接层。全连接层负责将编码器层的输出转换为模型的最终输出。模型的输出是一个256维的概率向量，其中每个元素对应一个数字的概率，本发明取具有最大概率值的数字作为猜测的结果。
[0044]
步骤3.2，在训练过程中，使用交叉熵损失函数来衡量模型输出与正确值之间的差距，然后利用adam优化器进行反向传播，更新模型参数。在每次更新模型参数后，都会重新评估模型在训练数据上的预测性能。
[0045]
步骤4，利用预测成功概率p
ml
与理论极限的最大猜测概率pg的结果对模型性能进行比较。预测成功率p
ml
表示在已知前m个数字的情况下模型正确预测测试集中第(m+1)个数字的概率。理论极限的最大猜测概率pg是基于所有可能的数字组合中，随机选择一个数字时，正确猜测的最高概率。理论极限的最大猜测概率pg与最小熵有关，最小熵表示可以从随机数序列中提取的安全随机性的大小，描述为：
[0046][0047]
其中，x表示随机数序列，xi表示x的子序列，xi的长度为8。
[0048]
如果一个随机变量x具有最小熵h
min
(x)，那么猜测x的任何特定值的概率都不会大于pg。
[0049]
在本发明中，使用基于transformer的预测模型来研究随机数序列。pg作为一个理论上的性能基准，可以刻画预测模型的性能表现。如果transformer预测模型的预测成功概率p
ml
高于最大猜测概率pg，这在一定程度上揭示了随机数序列中的隐藏关联。这些隐藏关联可能源于某些未被观察到的潜在因素。当模型能够发现并利用这些隐藏的关联信息时，预测准确性将得到提高。
[0050]
本发明用100万、200万、400万、800万和1600万大小的量子随机数进行了测试，表1展示了本发明的模型基于lstm模型与每个数据集的最大猜测概率相比较的结果。基于tran sformer模型和基于lstm模型的结构图如图2和图3所示，将表1数据转换为可视化图4和图5，分别对应transformer模型和基于lstm模型，可以观察到，基于机器学习模型的预测成功
概率总体上小于其理论极限的最大猜测概率。这些经过后处理的量子随机数被认为是真正的随机数，从理论上讲，它们应该是不可预测的。因此，在任何情况下，无论机器学习模型的性能有多高，其预测成功概率p
ml
的值都不应该超过最大猜测概率pg的值。然而，发现随着数据量的增加，即从100万增加到1600万，p
ml
的值越来越接近pg的值。这表明尽管理论上量子随机数应该是完全不可预测的，但在实际应用中，机器学习模型仍然具有一定的能力挖掘qrng生成数据之间的内在相关性，可以为未来改进qrng系统提供参考。图6基于transformer模型和基于lstm模型的预测成功率对比图，可以明显看出，基于transformer的预测模型的预测成功概率在相同条件下高于基于lstm的预测模型。这一结果验证了提出的基于transformer模型的量子随机数性能评估方法在挖掘qrng生成数据之间内在相关性方面具有显著优势。这种优势可能来自于transformer模型的自注意力机制和多层编码器结构，这使得模型能够更有效地捕捉输入序列中的长距离依赖关系。相比之下，lstm模型虽然在处理时序数据方面具有一定优势，但可能无法像transformer模型那样充分挖掘随机数序列中的潜在关联。因此，基于transformer的预测模型在预测qrng生成数据方面表现出了更高的准确性。
[0051]
表1transformer和lstm的预测精度和最大猜测概率
[0052][0053]
本发明在相同硬件条件下比较了基于transformer预测模型与基于lstm预测模型在训练过程中的时间成本。两者都在同一台pc上进行训练和测试(cpu:intel core i912900k@3.9ghz；gpu:nvidia geforce rtx3090@24g；ram:ddr4 32g)。在训练1600万数据集时，发现使用基于transformer的模型的时间成本(38,421秒)远低于基于lstm的模型的时间成本(82,176秒)，即前者仅为后者的47％，这展示了所提出模型的高效性。
[0054]
为了证明模型的实用性，还使用了nist检测套件对不同数据量的量子随机数的随机性进行了测试，图7是不同量级的量子随机数的nist检测结果。从图中可以看出，当量子随机数的数据量较小，如200万时，部分无法通过nist检验。只有当数据量较大时，所有检测项才能通过nist测试。这表明nist检测套件存在一定的局限性。首先，它要求数据量不能过小，否则无法给出准确的测试结果；其次，它只能判断测试是否通过，而无法量化随机性。相较之下，提出的模型不仅可以量化随机性，而且能够对较小数据量进行预测。
[0055]
综上，本发明提出了一种基于transformer模型的量子随机数性能评估方法。在这
个方法中，transformer网络被应用于挖掘qrng生成的数据之间的内在关联性。经过适当的训练后，基于transformer网络的机器学习预测模型能够预测给定量子随机数序列的随机性，其非常接近于其理论上的最大猜测概率。此外，与lstm模型相比，提出的模型不仅可以提供一个更高的预测精度，并且花费的时间更少，在工作效率上表现出工作效率方面的优异表现。并且，与传统的随机性检测标准nist检测套件相比，的方法在处理小数据量的量子随机数和量化随机性方面具有优势。因此，基于transformer模型的量子随机数性能评估方法在量子随机数生成领域具有潜在的实用价值和广泛的应用前景。

技术特征：
1.一种基于transformer模型的量子随机数性能评估方法，其特征在于，其特征在于，包括以下步骤：步骤1，使用量子随机数构建数据集；步骤2，构建基于transformer架构的机器学习模型；步骤3，将数据集中的量子随机数进行有序排列，数据集中连续的m个量子随机数做为机器学习模型的输入，第m+1个数做为机器学习模型的输出，对所述机器学习模型进行训练；步骤4，将待评估量子随机数进行有序排列，将连续的m个随机数输入训练好的机器学习模型中，进行第m+1个数的预测，得到预测成功概率p
ml
。2.根据权利要求1所述一种基于transformer模型的量子随机数性能评估方法，其特征在于，将预测成功概率p
ml
与理论极限的最大猜测概率p
g
的做比较，判断出量子随机数性能。3.根据权利要求2所述一种基于transformer模型的量子随机数性能评估方法，其特征在于，所述理论极限的最大猜测概率p
g
与最小熵有关，最小熵表示从随机数序列中提取的安全随机性的大小，描述为：其中，x表示随机数序列，x
i
表示x的子序列，p
x
(x
i
)是x
i
的取值概率。4.根据权利要求1所述一种基于transformer模型的量子随机数性能评估方法，其特征在于，步骤3中将数据集中的量子随机数进行有序排列，数据集中连续的m个量子随机数做为机器学习模型的输入，第m+1个数做为机器学习模型的输出，具体是通过滑动窗口实现；采用滑动窗口的方式将数据集中的量子随机数进行有序排列；滑动窗口的大小设定为m个数字，每一次滑动窗口操作都将m个数字作为一个单独的输入序列，同时把第m+1个数字作为所述输入序列对应的目标输出标签。5.根据权利要求4所述一种基于transformer模型的量子随机数性能评估方法，其特征在于，所述滑动窗口大小为128。6.根据权利要求1所述一种基于transformer模型的量子随机数性能评估方法，其特征在于，步骤2中所述基于transformer架构的机器学习模型包括依次连接的嵌入层、位置编码器、编码器和解码器；所述嵌入层用于将输入的量子随机数序列嵌入到向量空间，得到向量的序列，向量的序列输入到位置编器，为向量添加位置信息；再经过编码器层和解码器层，将输出转化为最终的预测结果。7.根据权利要求6所述一种基于transformer模型的量子随机数性能评估方法，其特征在于，所述编码器包括n个编码器层，每个编码器层结构相同，编码器层包括多头注意力机制、第一归一化层、前馈神经网络和第二归一化层；输入序列依次经过n个编码器层，在每个编码器层中，序列首先经过多头注意力机制计算输入向量之间的注意力权重，多头注意力机制的输出经过第一归一化层进行逐元素的规范化处理，第一归一化层的输出被传递到前馈神经网络中，以提取更高层次的特征，再经第二归一化层后输出。8.根据权利要求6所述一种基于transformer模型的量子随机数性能评估方法，其特征
在于，所述编码器包括一个全连接层；解码器的输出经过全连接层的转换后，输出概率向量，所述预测结果是所述概率向量中概率值最大的数字。9.根据权利要求1所述一种基于transformer模型的量子随机数性能评估方法，其特征在于，步骤3中采用交叉熵损失函数以及adam优化器进行所述机器学习模型进行训练。10.根据权利要求1所述一种基于transformer模型的量子随机数性能评估方法，其特征在于，步骤1中的量子随机数是经过线性反馈移位寄存器后处理算法处理过的数据。

技术总结
本发明提出一种基于Transformer模型的量子随机数性能评估方法，主要用于量化量子随机数的随机性。该方法利用Transformer模型挖掘量子随机数发生器QRNG生成的数据之间的潜在关联性，有效评估给定QRNG或量子随机数的性能。主要包含以下步骤：步骤1、通过滑动窗口策略进行数据预处理；步骤2、构建基于Transformer架构的机器学习模型，包含一个嵌入层、一个位置编码器、多个由多头注意机制、前馈神经网络和归一化层组成的编码器层、一个由全连接层组成的解码器层；步骤3、采用交叉熵损失函数以及Adam优化器进行模型训练；步骤4、利用预测成功概率P


技术研发人员：周阳 马啸 王琴 张春辉
受保护的技术使用者：南京邮电大学
技术研发日：2023.06.14
技术公布日：2023/9/12