一种基于强化学习的金纳米棒AuNRs合成方法、系统与流程

一种基于强化学习的金纳米棒aunrs合成方法、系统
技术领域
1.本发明涉及材料生成技术领域，具体而言，涉及一种基于强化学习的金纳米棒aunrs合成方法、系统。


背景技术：

2.纳米材料是指在三维空间中至少有一维处于纳米尺寸(0.1-100nm)或由它们作为基本单元构成的材料，这大约相当于10～1000个原子紧密排列在一起的尺度。金纳米即指金的微小颗粒，其直径在1～100nm，具有高电子密度、介电特性和催化作用，能与多种生物大分子结合，且不影响其生物活性。由氯金酸通过还原法可以方便地制备各种不同粒径的金纳米，其颜色依直径大小而呈红色至紫色。
3.强化学习(reinforcement learning,rl)，又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。
4.现有技术中对于金纳米材料的合成大多采用如下方法：1、利用模板法、电化学还原法、光化学法、湿化学法等合成纳米材料，这些方法都非常依赖人工；2、传统生产过程中，需要根据人的专业知识和经验，尝试特定的几种配比。因此，传统材料合成面临的主要挑战，包括传统材料生成过程，过度依赖人工，合成速度很慢，自动化程度低；传统材料生成过程，智能化程度低，人工很难找到最佳的组合参数。


技术实现要素：

5.有鉴于此，本发明实施例的目的在于针对传统材料生成过程，智能化程度低，过度依赖人工的问题，人工很难找到最佳的组合参数的问题，我们提出利用强化学习进行最佳模型架构和参数的搜索，动态地调整生产流程中的参数组合，直到合成的金纳米符合预期或发现有价值的新材料
6.本发明的第一方面提供了一种基于强化学习的金纳米棒aunrs合成方法，所述方法包括：
7.将ctab溶液与haucl4溶液等体积混合，再经过nabh4溶液还原得到晶种溶液；其中，所述晶种溶液中具有第一比例的ctab、haucl4、nabh4配比；
8.通过将ctab-naol溶液与agno3溶液以及haucl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液ph，最后加入aa还原得到生长溶液；其中，所述生长溶液中具有第二比例的ctab、naol、agno3、haucl4配比；第一比例、第二比例是基于dqn网络的强化学习模型获取；
9.将所述生长溶液加入至所述晶种溶液，并在热水浴中保存一定时间，得到所述金纳米棒aunrs。
10.进一步，所述第一比例、第二比例是基于dqn网络的强化学习模型获取，包括：
11.确定强化学习模型代理agent，其中agent部分使用dqn网络；所述agent会根据环
境的当前t时刻状态st采取动作at，环境的状态也会根据所采取的动作发生变化；
12.当前状态st表示为st＝(c,w,b)；其中，c表示当前晶种溶液和生长溶液制备过程中的不同溶液的配比，表示为c＝(c1,c2,c3,c4,c5,c6,c7)；其中，晶种溶液制备中的ctab,haucl4,nabh4配比为c1,c2,c3；生长溶液制备中的ctab,naol,agno3,haucl4,配比为c4,c5,c6,c7；w表示当前金纳米棒波形图特征；w表示为w＝(w1,w2,w3)，其中w1表示所述金纳米棒波形图是否有y1,y2双峰,w1∈(0或1；w2表示双峰y2与y1的比值，w3表示y2的峰宽；b表示目标金纳米棒尺寸；当前2号峰出峰位置x,与目标出峰位置x
′
，即b＝(x,x
′
)；
13.动作at表示当前晶种溶液和生长溶液制备过程中的不同溶液的配比c的改变量，其中at＝(a1,a2,a3,a4,a5,a6,a7)；
14.每种溶液改变量有三种取值(-δai,0,δai),δai表示第i种溶液的最小改变单位。
15.进一步，所述dqn网络包含1层输入层，2层中间层，和1层输出层；其中输入层包含12个神经单元，对应输入t时刻状态st；中间隐层每层包括64个神经元；输出层包含21个神经单元，对应表示不同动作at对应的累积奖励；
16.损失函数表示为:
17.l＝e[(r+γmaxa′
q(s
′
,a
′
)-q(s,a))2]
[0018]
其中，r表示进行at后得到的及时反馈值，γ表示一个常数，这里取0.99；maxq(s
′
,a
′
)表示当前状态下选取的最大的q值对应的动作at后的q值，q(s,a)表示当前状态的q值；
[0019]
所述奖励函数r定义为：
[0020]
r(-α1)
×
(1w1)+α2×
w2+α3×w3-α4×
(x-x
′
)2[0021]
其中，α1,α2,α3,α4分别表示加权系数。
[0022]
此外，本发明的第二方面提供了一种基于强化学习的金纳米棒aunrs合成系统，所述系统包括第一混合模块、第二混合模块以及合成模块；
[0023]
第一混合模块，将ctab溶液与haucl4溶液等体积混合，再经过nabh4溶液还原得到晶种溶液；其中，所述晶种溶液中具有第一比例的ctab、haucl4、nabh4配比；
[0024]
第二混合模块，通过将ctab-naol溶液与agno3溶液以及haucl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液ph，最后加入aa还原得到生长溶液；其中，所述生长溶液中具有第二比例的ctab、naol、agno3、haucl4配比；第一比例、第二比例是基于dqn网络的强化学习模型获取；
[0025]
合成模块，将所述生长溶液加入至所述晶种溶液，并在热水浴中保存一定时间，得到所述金纳米棒aunrs。
[0026]
本发明的方案中，通过将ctab溶液与haucl4溶液等体积混合，再经过nabh4溶液还原得到晶种溶液；其中，所述晶种溶液中具有第一比例的ctab、haucl4、nabh4配比；通过将ctab-naol溶液与agno3溶液以及haucl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液ph，最后加入aa还原得到生长溶液；其中，所述生长溶液中具有第二比例的ctab、naol、agno3、haucl4配比；第一比例、第二比例是基于dqn网络的强化学习模型获取；将所述生长溶液加入至所述晶种溶液，并在热水浴中保存一定时间，得到所述金纳米棒aunrs。相比于现有技术，通过利用强化学习进行最佳模型架构和参数的搜索，动态地调整生产流程中的参数组，自动选择最优参数配比，提高材料合成的速度和生产的智能化程度。
附图说明
[0027]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0028]
图1是本发明实施例公开的基于强化学习的金纳米棒(aunrs)合成方法流程图示意图；
[0029]
图2是本发明实施例公开的金纳米棒(aunrs)紫外吸收光谱图；
[0030]
图3是本发明实施例公开的金纳米棒(aunrs)紫外吸收光谱评价标准图；
[0031]
图4是本发明实施例公开的基于强化学习的金纳米棒(aunrs)制备算法示意图；
[0032]
图5是本发明实施例公开的金纳米棒(aunrs)制备流程图；
[0033]
图6是本发明实施例公开的基于强化学习的金纳米棒(aunrs)合成系统结构示意图。
具体实施方式
[0034]
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
[0035]
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本技术的各方面。
[0036]
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0037]
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0038]
需要说明的是：在本文中提及的“多个”是指两个或两个以上。
[0039]
以下对本技术实施例的技术方案的实现细节进行详细阐述：
[0040]
本发明实施例提供了一种基于强化学习的金纳米棒aunrs合成方法，如图1所示，该方法包括如下步骤：
[0041]
s100,将ctab溶液与haucl4溶液等体积混合，再经过nabh4溶液还原得到晶种溶液；其中，晶种溶液中具有第一比例的ctab、haucl4、nabh4配比。
[0042]
s200,通过将ctab-naol溶液与agno3溶液以及haucl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液ph，最后加入aa还原得到生长溶液；其中，生长溶液中具有第二比例的ctab、naol、agno3、haucl4配比；第一比例、第二比例是基于dqn网络的强化学习模型获取。
[0043]
具体地，本实施例，步骤s200中ph范围为2-4；所述金纳米棒(aunrs)采用biotek酶标仪批量测试紫外吸收光谱结果，如图2所示。
[0044]
正常金纳米棒(aunrs)会有类似于如图3所示的1、2的两组信号峰。1号峰反映信息：球状颗粒以及金纳米棒两端的球形截面；2号峰反映信息：棒状。
[0045]
本实施例，对于金纳米棒(aunrs)评价标准包括：
[0046]
(1)有1、2两组峰，且峰2强度y2》峰1强度y1；注：y1、y2为吸光度(与产物颜色深浅有关)，具体大小不作为衡量产物好坏标准。
[0047]
(2)y2/y1的值表示金纳米棒的产率，粗略估算，y2/y1》2纳米棒的产率较好。
[0048]
(3)2号峰的峰宽w反映金纳米棒尺寸是否均一，w越小表示该样品中的金纳米棒间尺寸越接近。
[0049]
(4)2号峰出峰位置x2反映的金纳米棒尺寸，尺寸越大，x2值(波长)越大，2号峰越往后出峰。通常情况下，我们需要生产指定尺寸的金纳米棒。
[0050]
通过调整1中生成aunrs的不同参数配比，可以得到不同金纳米棒的波形图。为了得到更优质的金纳米棒，本实施例采用以下基于强化学习的金纳米棒制备算法设计来自动选择最优参数配比。如图4所示为本实施例的基于强化学习的金纳米棒制备算法流程图。
[0051]
进一步，所述第一比例、第二比例是基于dqn网络的强化学习模型获取，包括：确定强化学习模型代理agent，其中agent部分使用dqn网络；所述agent会根据环境的当前t时刻状态st采取动作at，环境的状态也会根据所采取的动作发生变化。当前状态st表示为st＝(c,w,b)；其中，c表示当前晶种溶液和生长溶液制备过程中的不同溶液的配比，表示为c＝(c1,c2,c3,c4,c5,c6,c7)；其中，晶种溶液制备中的ctab,haucl4,nabh4配比为c1,c2,c3；生长溶液制备中的ctab,naol,agno3,haucl4,配比为c4,c5,c6,c7；w表示当前金纳米棒波形图特征；w表示为w＝(w1,w2,w3)，其中w1表示所述金纳米棒波形图是否有y1,y2双峰,w1∈(0或1；w2表示双峰y2与y1的比值，w3表示y2的峰宽；b表示目标金纳米棒尺寸；当前2号峰出峰位置x,与目标出峰位置x
′
，即b＝(x,x
′
)；动作at表示当前晶种溶液和生长溶液制备过程中的不同溶液的配比c的改变量，其中at＝(a1,a2,a3,a4,a5,a6,a7)；每种溶液改变量有三种取值(-δai,0,δai),δai表示第i种溶液的最小改变单位。
[0052]
具体地，本实施例，如图4所示，本实施例所提出了基于强化学习的材料合成方法(nanoaurl)，优化aunrs的生产工艺。主要包含3个部分：
[0053]
(1)代理agent，即学习的行为模型。在agent部分，我们使用deep q network(dqn，深度q网络)。深度q网络是指基于深度学习的q学习算法，主要结合了值函数近似与神经网络技术。agent会根据环境的当前t时刻状态st采取动作at(action)，环境的状态也会根据所采取的动作发生变化。
[0054]
当前状态st，表示当前晶种溶液和生长溶液制备过程中的不同溶液的配比c，以及当前金纳米棒波形图特征w,和目标金纳米棒尺寸b，即st＝(c,w,b)。其中c，表示晶种溶液制备中ctab,haucl4,nabh4配比c1,c2,c3；生长溶液制备种ctab,naol,agno3,haucl4,浓盐酸配比为c4,c5,c6,c7；c＝(c1,c2,c3,c4,c5,c6,c7)。
[0055]
w可以表示为w＝(w1,w2,w3)，其中w1表示是否有y1,y2双峰,w1∈(0或1；w2表示双峰y2与y1的比值，w3表示y2的峰宽。b表示当前2号峰出峰位置x,与目标出峰位置x
′
，即b＝(x,x
′
)。动作at可表示为不同溶液的配比c的改变量，其中a＝(a1,a2,a3,a4,a5,a6,a7)，每
种溶液改变量有三种取值(-δai,0,δai),δai表示第i种溶液的最小改变单位。
[0056]
dqn网络包含1层输入层，2层中间层，和1层输出层。其中输入层包含12个神经单元，对应输入t时刻状态st；中间隐层每层64个神经元；输出层包含21个神经单元，对应表示不同action对应的累积奖励。
[0057]
损失函数loss function可表示为：
[0058]
l＝e[(r+γmaxa′
q(s
′
,a
′
)-q(s,a))2]
[0059]
其中，r表示进行at后得到的及时反馈值，γ表示一个常数，这里取0.99，maxq(s
′
,a
′
)表示当前状态下选取的最大的q值对应的action后的q值，q(s,a)表示当前状态的q值。
[0060]
具体地，本实施例，q值是一种用于衡量在某个状态下执行某个动作代价的函数值。在强化学习中，q值指示了在当前状态下采取某个动作能够获得的长期回报(或折扣奖励和)。换言之，q值反映了机器学习在当前状态下选择某个动作对未来累积奖励的影响。因此，q值函数可以被视为一种基于状态-动作对的策略评估函数，它可以被用来指导智能体的决策，并且在不断迭代更新中逐步收敛到最优策略。在q-learning算法中，我们通过迭代更新q值函数，使其不断逼近真实的q值，并且最终得到一个近似最优的策略。
[0061]
累积奖励(cumulative reward)是指从当前状态开始，经过一系列动作后所获得的总奖励和。累积奖励是指从当前状态开始，经过一系列动作后所获得的总奖励和。在实践中，由于不可能枚举所有可能的动作序列，因此通常使用神经网络函数逼近方法估计。这里的期望值是基于所有可能的动作序列计算得到的。在实践中，由于不可能枚举所有可能的动作序列，因此通常使用神经网络函数逼近方法估计q(s,a)。
[0062]
具体来说，dqn网络通过采样、探索和利用等方式收集训练数据，并使用带有经验回放缓存和目标q网络的q-learning算法进行学习和优化，以最大化累积奖励的期望值。总之，累积奖励是dqn网络训练中的重要目标，通过最大化累积奖励的期望值来优化模型，从而实现对环境动作q值映射关系的学习和优化。
[0063]
(2)environment，即实验环境。在实验过程中，影响金纳米合成的因素有很多，为了简化分析过程，我们这里只考虑不同溶液的配比，即使用finite element analysis(fea)，即有限元分析，作为评估所合成的金纳米材料的特性的分析工具。
[0064]
(3)reward，即奖励函数。agent通过尝试最大化从环境中获得的累积回报(reward)来决定其行为。奖励函数r定义为
[0065]
r(-α1)
×
(1w1)+α2×
w2+α3×w3-α4×
(x-x
′
)2[0066]
其中，α1,α2,α3,α4分别表示加权系数，这里根据实际情况设置。此外，在回报/奖励(reward)部分，我们采用后验经验回放技术，即hindsight experience replay(her)，解决稀疏奖励的问题，从而提升训练速度。
[0067]
具体地，本实施例，累积奖励的计算需要依赖于奖励函数的反馈。具体来说，假设在时刻t，代理(agent)执行了某个动作α_t，并且根据环境(environment)反馈的奖励函数获得了即时奖励。那么，在下一个时刻t+1，代理将处于新的状态s_(t+1)，并且可以再次决策出一个新的动作α_(t+1)。此时，本实施例可以利用折扣因子γ来计算累积奖励，γ为折扣因子(discount factor)，是介于[0，1]的常数。对于距离当前时间步越远的奖励，其重要性就越低。
[0068]
在dqn(deep q-network)网络中，累积奖励是通过计算q值函数来确定的。q值表示
在某个状态下执行某个动作所能获得的预期回报，因此可以用于估计累积奖励。具体来说，根据奖励反馈计算累积奖励的过程如下：
[0069]
1.首先，代理从当前状态输入dqn网络，并输出每个可能动作的q值；
[0070]
2.然后，代理根据q值选择一个动作，并执行该动作；
[0071]
3.代理从环境中接收即时奖励，并进入下一个状态；
[0072]
4.代理根据新状态再次输入dqn网络，并输出下一个状态下所有可能动作的q值；
[0073]
5.代理通过对下一个状态的q值和即时奖励进行加权和来计算下一个状态的累积奖励，公式为：
[0074]
target＝reward+γ*max(q(s',a'))
[0075]
其中，reward表示即时奖励，s'表示下一个状态，a'表示下一个状态下可执行的所有动作，q(s',a')表示下一个状态下执行动作a'所能获得的最大q值，γ表示折扣因子。
[0076]
6.最终，代理使用上述公式计算出的target值与当前状态下选择的动作的q值进行比较，以更新当前状态下选择的动作的q值。
[0077]
7.重复上述过程，直到代理完成了所需的步骤或达到了某个终止状态。
[0078]
总之，在dqn网络中，根据奖励反馈计算累积奖励的过程是通过将即时奖励和下一个状态的最大q值进行折扣加权来实现的。对于距离当前时间步越远的奖励，其重要性就越低的意思是，在计算累积奖励时，后续的奖励将被折扣，以考虑时间对奖励的影响。这里的折扣是指使用折扣因子γ来将未来奖励的价值减少一定比例，使得距离当前时间步越远的奖励所占的权重越小。这种方法可以帮助代理在决策过程中考虑未来的奖励，并优化其行动方案以获得更高的长期奖励。
[0079]
具体地，本实施例的，可以用算法表示流程如下：
[0080]
1、初始化回放的数据集d，随机初始化dqn网络权重；
[0081]
2、重复m轮，对每一轮
[0082]
1)重复t次，对每一次
[0083]
i.选择a
t
＝maxaq(s
t
,a)，执行a
t
后得到反馈奖励r
t
，状态转移到s
t+1
；
[0084]
ii.将样本(s
t
,a
t
,r
t
,s
t+1
)加入到数据集d；
[0085]
iii.从数据集d中随机采样batch大小样本(sj,aj,rj,s
j+1
)，这里
[0086]
batch＝64；
[0087]
iv.设置
[0088]
v.计算损失函数l＝(y
j-q(sj,aj))2，更新网络参数。
[0089]
具体地，本实施例，由于dqn网络是一种深度神经网络，用于逼近q值函数。在训练dqn网络时，我们需要优化网络的参数以使其可以更好地拟合真实的q值函数。具体来说，可以采用以下方法来得到最优的dqn网络参数：
[0090]
1.定义损失函数：通常使用均方误差(mse)损失函数，其中目标值为当前估计的q值和真实q值之间的差距。
[0091]
2.采用随机梯度下降(sgd)算法或者其变种(例如adam)来求解损失函数的最小值，从而更新网络的参数。
[0092]
3.在训练过程中，可能会遇到过拟合问题，即模型在训练集上表现良好，但在测试集上表现不佳。为了避免过拟合，可以采用一些正则化技术，例如l1、l2正则化或者dropout等。
[0093]
4.另外，由于dqn网络的输出往往对应着多个动作的q值，因此还需要选择合适的策略来选择执行哪个动作。
[0094]
5.最后，需要根据实验结果对超参数进行调整，以达到最好的性能。常见的超参数包括学习率、批量大小、隐藏层大小、滑动平均系数和经验回放缓冲区大小等。
[0095]
通过上述方法，本实施例可以不断调整dqn网络的参数，从而逐步提高其拟合能力和预测精度，达到最优策略的目标。
[0096]
确定dqn(deep q-network)强化学习网络模型代理agent的最优参数配比可以采用以下方法：
[0097]
1.网格搜索法：将需要调整的超参数(例如神经网络结构中的层数和节点数、dqn算法中的折扣因子、学习速率等)按照一定范围进行组合，建立网格搜索模型，并在训练过程中对模型进行评估和比较，找出表现最好的超参数组合。
[0098]
2.随机搜索法：与网格搜索法相似，不同之处在于随机搜索法会在超参数空间内随机选取一些点进行训练和评估，并根据结果进行调整和优化。
[0099]
3.贝叶斯优化法：基于贝叶斯统计学原理，通过构建超参数的后验分布，优化目标函数，实现更加高效的超参数搜索和优化。
[0100]
4.梯度优化法：对某些可以求导的超参数，可以使用梯度下降或其他优化算法，直接对目标函数进行优化，找到最优的超参数值。
[0101]
需要注意的是，在确定最优的参数配比时，可能需要根据具体问题和数据情况进行调整和选择，并且要避免过拟合和欠拟合等问题。同时，还需要采用适当的评价指标对模型进行评估和比较，例如平均奖励、训练时间、模型复杂度等。
[0102]
此外，通常情况下，训练神经网络是一个迭代的过程。在每一次迭代中，都会计算出损失函数(loss function)的值，并根据其更新神经网络参数。在神经网络收敛时，损失函数的值会逐渐趋近于最小值或者收敛到某个固定的范围内。
[0103]
然而，在实际应用中，仅仅依靠损失函数的值是否最小来判断模型是否达到最佳状态并不总是可行的，因为损失函数的最小值并不一定对应着最优的模型参数。
[0104]
在机器学习领域中，通常使用交叉验证(cross-validation)、测试集误差等指标来评估模型的泛化能力和性能。交叉验证可以帮助我们更好地衡量模型在不同数据集上的表现，并从中选择最佳的模型参数组合。测试集误差则可用于评估模型是否过拟合或欠拟合，并确定是否需要进行调整或改进。
[0105]
s300,将生长溶液加入至晶种溶液，并在热水浴中保存一定时间，得到金纳米棒aunrs。
[0106]
本实施例，通过调整1中生成aunrs的不同参数配比，可以得到不同金纳米棒的波形图。采用如上强化学习的方法来自动选择最优参数配比，得到最优配比的生长溶液、晶种溶液，而后，将生长溶液加入至晶种溶液，并在热水浴中保存一定时间，得到金纳米棒aunrs。
[0107]
优选地，如图5所示为本实施例的在naol-ctab双表面活性剂体系下的晶种生长法
制备金纳米棒(aunrs)的制备流程图。在确定好最后的配比参数后执行制备金纳米棒(aunrs)。其中，包括(1)晶体溶液配制；(2)生长溶液配制；(3)晶种生长。
[0108]
晶体溶液配制过程中，通过5ml 0.2mol/l ctab溶液以及5ml0.5mmol/l haucl4溶液进行混合成混合液1，并再经过0.65ml 0.0006mol/lnabh4溶液还原得到晶种溶液。
[0109]
生长溶液配制过程中，通过2.8g ctab以及0.4936g naol进行50
°
热水浴后形成混合液3(ctab-naol溶液)，待水温降至30
°
加入agno3形成混合液4，在与7ml 0.5mmol/l haucl4溶液形成混合液5后，加入0.042ml浓盐酸混合成混合液6，继续加入0.035ml 0.064mmol/l aa溶液，还原得到生长溶液。
[0110]
晶种生长过程中，将生长溶液与0.0112ml晶体溶液形成混合液8，而后在30
°
热水浴中保存一定时间(12h)，得到所述金纳米棒(aunrs)。
[0111]
本实施例，通过将ctab溶液与haucl4溶液等体积混合，再经过nabh4溶液还原得到晶种溶液；其中，所述晶种溶液中具有第一比例的ctab、haucl4、nabh4配比；通过将ctab-naol溶液与agno3溶液以及haucl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液ph，最后加入aa还原得到生长溶液；其中，所述生长溶液中具有第二比例的ctab、naol、agno3、haucl4配比；第一比例、第二比例是基于dqn网络的强化学习模型获取；将所述生长溶液加入至所述晶种溶液，并在热水浴中保存一定时间，得到所述金纳米棒aunrs。相比于现有技术，通过利用强化学习进行最佳模型架构和参数的搜索，动态地调整生产流程中的参数组，自动选择最优参数配比，提高材料合成的速度和生产的智能化程度。
[0112]
此外，本实施例的第二方面提供了一种基于强化学习的金纳米棒aunrs合成系统，如图6所示，所述系统包括第一混合模块10、第二混合模块20以及合成模块30。
[0113]
第一混合模块10，将ctab溶液与haucl4溶液等体积混合，再经过nabh4溶液还原得到晶种溶液；其中，所述晶种溶液中具有第一比例的ctab、haucl4、nabh4配比；
[0114]
第二混合模块20，通过将ctab-naol溶液与agno3溶液以及haucl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液ph，最后加入aa还原得到生长溶液；其中，所述生长溶液中具有第二比例的ctab、naol、agno3、haucl4配比；第一比例、第二比例是基于dqn网络的强化学习模型获取；
[0115]
合成模块30，将所述生长溶液加入至所述晶种溶液，并在热水浴中保存一定时间，得到所述金纳米棒aunrs。
[0116]
第一比例、第二比例是基于dqn网络的强化学习模型获取，包括：
[0117]
确定强化学习模型代理agent，其中agent部分使用dqn网络；所述agent会根据环境的当前t时刻状态st采取动作at，环境的状态也会根据所采取的动作发生变化；当前状态st表示为st＝(c,w,b)；其中，c表示当前晶种溶液和生长溶液制备过程中的不同溶液的配比，表示为c＝(c1,c2,c3,c4,c5,c6,c7)；其中，晶种溶液制备中的ctab,haucl4,nabh4配比为c1,c2,c3；生长溶液制备中的ctab,naol,agno3,haucl4,配比为c4,c5,c6,c7；w表示当前金纳米棒波形图特征；w表示为w＝(w1,w2,w3)，其中w1表示所述金纳米棒波形图是否有y1,y2双峰,w1∈(0或1；w2表示双峰y2与y1的比值，w3表示y2的峰宽；b表示目标金纳米棒尺寸；当前2号峰出峰位置x,与目标出峰位置x
′
，即b＝(x,x
′
)；动作at表示当前晶种溶液和生长溶液制备过程中的不同溶液的配比c的改变量，其中at＝(a1,a2,a3,a4,a5,a6,a7)；每种溶液改变量有三种取值(-δai,0,δai),δai表示第i种溶液的最小改变单位。
[0118]
所述dqn网络包含1层输入层，2层中间层，和1层输出层；其中输入层包含12个神经单元，对应输入t时刻状态st；中间隐层每层包括64个神经元；输出层包含21个神经单元，对应表示不同动作at对应的累积奖励；
[0119]
损失函数表示为:
[0120]
l＝e[(r+γmaxa′
q(s
′
,a
′
)-q(s,a))2]
[0121]
其中，r表示进行at后得到的及时反馈值，γ表示一个常数，这里取0.99；maxq(s
′
,a
′
)表示当前状态下选取的最大的q值对应的动作at后的q值，q(s,a)表示当前状态的q值；
[0122]
所述奖励函数r定义为：
[0123]
r(-α1)
×
(1w1)+α2×
w2+α3×w3-α4×
(x-x
′
)2[0124]
其中，α1,α2,α3,α4分别表示加权系数。
[0125]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0126]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
[0127]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0128]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0129]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程
序代码的介质。
[0130]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于强化学习的金纳米棒aunrs合成方法，其特征在于，所述方法包括：将ctab溶液与haucl4溶液等体积混合，再经过nabh4溶液还原得到晶种溶液；其中，所述晶种溶液中具有第一比例的ctab、haucl4、nabh4配比；通过将ctab-naol溶液与agno3溶液以及haucl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液ph，最后加入aa还原得到生长溶液；其中，所述生长溶液中具有第二比例的ctab、naol、agno3、haucl4配比；第一比例、第二比例是基于dqn网络的强化学习模型获取；将所述生长溶液加入至所述晶种溶液，并在热水浴中保存一定时间，得到所述金纳米棒aunrs。2.根据权利要求1所述的基于强化学习的金纳米棒aunrs合成方法，其特征在于，所述第一比例、第二比例是基于dqn网络的强化学习模型获取，包括：确定强化学习模型代理agent，其中agent部分使用dqn网络；所述agent会根据环境的当前t时刻状态st采取动作at，环境的状态也会根据所采取的动作发生变化；当前状态st表示为st＝(c,w,b)；其中，c表示当前晶种溶液和生长溶液制备过程中的不同溶液的配比，表示为c＝(c1,c2,c3,c4,c5,c6,c7)；其中，晶种溶液制备中的ctab,haucl4,nabh4配比为c1,c2,c3；生长溶液制备中的ctab,naol,agno3,haucl4,配比为c4,c5,c6,c7；w表示当前金纳米棒波形图特征；w表示为w＝(w1,w2,w3)，其中w1表示所述金纳米棒波形图是否有y1,y2双峰,w1∈(0或1；w2表示双峰y2与y1的比值，w3表示y2的峰宽；b表示目标金纳米棒尺寸；当前2号峰出峰位置x,与目标出峰位置x
′
，即b＝(x,x
′
)；动作at表示当前晶种溶液和生长溶液制备过程中的不同溶液的配比c的改变量，其中at＝(a1,a2,a3,a4,a5,a6,a7)；每种溶液改变量有三种取值(-δa
i
,0,δa
i
),δa
i
表示第i种溶液的最小改变单位。3.根据权利要求2所述的基于强化学习的金纳米棒aunrs合成方法，其特征在于，所述dqn网络包含1层输入层，2层中间层，和1层输出层；其中输入层包含12个神经单元，对应输入t时刻状态st；中间隐层每层包括64个神经元；输出层包含21个神经单元，对应表示不同动作at对应的累积奖励；损失函数表示为:l＝e[(r+γmax
a
′
q(s
′
,a
′
)-q(s,a))2]其中，r表示进行at后得到的及时反馈值，γ表示一个常数，这里取0.99；maxq(s
′
,a
′
)表示当前状态下选取的最大的q值对应的动作at后的q值，q(s,a)表示当前状态的q值；所述奖励函数r定义为：r(-α1)
×
(1w1)+α2×
w2+α3×
w
3-α4×
(x-x
′
)2其中，α1,α2,α3,α4分别表示加权系数。4.一种基于强化学习的金纳米棒aunrs合成系统，其特征在于，所述系统包括第一混合模块、第二混合模块以及合成模块；第一混合模块，将ctab溶液与haucl4溶液等体积混合，再经过nabh4溶液还原得到晶种溶液；其中，所述晶种溶液中具有第一比例的ctab、haucl4、nabh4配比；第二混合模块，通过将ctab-naol溶液与agno3溶液以及haucl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液ph，最后加入aa还原得到生长溶液；其中，所述生长溶液中具有第二比例的ctab、naol、agno3、haucl4配比；第一比例、第二比例是基于dqn网络的强化学
习模型获取；合成模块，将所述生长溶液加入至所述晶种溶液，并在热水浴中保存一定时间，得到所述金纳米棒aunrs。

技术总结
本发明提供了一种基于强化学习的金纳米棒AuNRs合成方法、系统。通过将CTAB溶液与HAuCl4溶液等体积混合，再经过NaBH4溶液还原得到晶种溶液；其中，晶种溶液中具有第一比例的CTAB、HAuCl4、NaBH4配比；通过将CTAB-NaOL溶液与AgNO3溶液以及HAuCl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液pH，最后加入AA还原得到生长溶液；生长溶液中具有第二比例的CTAB、NaOL、AgNO3、HAuCl4配比；第一比例、第二比例是基于DQN网络的强化学习模型获取；将生长溶液加入至晶种溶液，并在热水浴中保存一定时间，得到金纳米棒AuNRs。相比于现有技术，通过利用强化学习进行最佳模型架构和参数的搜索，动态地调整生产流程中的参数组，自动选择最优参数配比，提高材料合成的速度和生产的智能化程度。能化程度。


技术研发人员：柳泽明 李宏强 陈光需 高繁
受保护的技术使用者：珠海凤泽信息科技有限公司
技术研发日：2023.04.19
技术公布日：2023/7/21