一种基于深度神经网络的语义通信方法

1.本发明属于语义通信技术领域，具体涉及一种基于深度神经网络的语义通信方法。


背景技术：

2.传统无线通信采用基于模型的设计，需要数学模型或专家知识但是数学的模型很难完全贴近现实，且其中的各个模块通常是单独设计和优化的，难以达到系统的全局最优。因此，无线通信需要一种新范式来解决问题，而基于深度学习(dl)的语义通信已被视为解决传统通信系统瓶颈的潜在解决方案。与主要关注位或符号级无错误传输的传统通信系统不同，语义通信系统在语义级别处理和传输数据，以提高传递语义的准确性。这种通信架构实现了shannon和weaver设想的第二级通信系统，即传输所需的含义，并使通信更加智能和高效。
3.典型的语义通信模型包括两个层次：语义层和传输层。语义层通过对语义信息进行编码和解码，基于相同的背景知识从消息中提取和解释语义信息。传输层以特定方式传输信号，以保证语义信息能够准确传输。针对语义层的语义的提取与处理，自然语言处理(nlp)已经有了一定的成熟方法能使机器理解人类的语法和文本，进而理解自然语言。其中，transformer模型是该领域的先进范例。它大胆地舍弃了nlp领域之前应用的递归神经网络(rnn)和卷积神经网络(cnn)结构，转而使用了一种基于全连接神经网络(fcn)的注意力机制算法(attention mechanism)。注意力机制让神经网络对重要的部分分配更多的权重，类似于人类对重点内容提高注意力。这使得它能够理解绝大多数长度的句子。相较于另外两种方法，transformer更关注用于提高各种nlp任务性能的有用语义信息。它既拥有cnn能并行计算的优点，又兼顾rnn提取长句子中语义信息的能力。现有语义通信框架基于该模型能在加性高斯白噪声(awgn)信道下取得较好效果。
4.但值得注意的是，现有研究缺乏对传输层无线信道损失的讨论。在实际的无线通信场景中，无线信道的影响，例如衰落和多径效应，会显著损害传输效率和准确性。因此，提出了各种方法来克服传统通信系统中的信道损失。传统方法是插入导频以估计衰落信道，并使用估计的信道参数来恢复发送的数据。然而，目前几乎所有的语义通信系统都采用基于深度神经网络(dnn)的结构和端到端的训练策略，这种导频驱动的范式与端到端通信系统不兼容。导频的使用在很大程度上使设计复杂化，因为接收器必须将两个异构源(即接收到的数据和估计的信道参数)作为输入并在没有任何先验知识的情况下解决逆问题。此外，插入的导频本身也是额外的开销，这降低了传输效率。


技术实现要素：

5.发明目的：通过在接收机中引入卷积神经网络信道特征提取和数据恢复模块，以直接从接收信号中隐式地提取信道信息并恢复语义信息，且有效的适应于频率选择性信道，并节省导频导致的开销，提高了传输效率，提出一种基于深度神经网络的语义通信方
法；
6.为了实现上述目的，本发明采用以下技术方案：一种基于深度神经网络的语义通信方法，包括以下步骤:
7.步骤a：对于输入发射机中的文本信息，先用语义编码器对其进行编码，得到语义信息，其中语义编码器基于深度神经网络完成；
8.步骤b：将语义信息输入信道编码器中，再通过信道编码器进一步编码，得到信道信息，其中信道编码器基于深度神经网络完成；
9.步骤c：将信道传输信息通过信道向接收机传输；
10.步骤d：信道信息通过信道后进入接收机，信道信息先输入信道特征提取器中，信道特征提取器以隐式地获得信道状态信息，其中信道特征提取器基于卷积神经网络完成，其至少包含一个卷积层和一个全连接层；
11.步骤e：将信道状态信息和通过信道的信息输入信道解码器，得到恢复的信道信息，其中信道解码器基于深度神经网络完成；
12.步骤f：将恢复的信道信息输入语义解码器进行解码，恢复出原始文本信息。
13.进一步地，所述步骤a中语义编码器包括嵌入层和transformer层，且语义编码器将文本信息编码成语义信息具体步骤包括：
14.文本信息将批量输入发射机中进行传输，并文本信息记为在发射机中的语义编码器对文本信息中长度不满l的句子用特殊符号填充至l，再通过语义编码器中的嵌入层将文本信息转换为密集词向量，并密集词向量记为其中d为嵌入层给每个单词设计的编码长度，即嵌入维数，接着密集词向量经过语义编码器中的若干个transformer层输出中间向量，并记中间向量为其中m是transformer层的输出维数，再利用前向反馈网络将中间向量压缩为维数较低的语义信息，并语义信息记为其中b为同一批次输入的句子数量，l为所有句子的最大长度，n《m，前向反馈网路由两层线性层组成，且前向反馈网路使用relu作为激活函数，前向反馈网路网络包含一个dropout层。
15.进一步地，所述步骤b中信道编码器由卷积神经网络完成，至少包含一个卷积层,且步骤b具体包括：
16.先将语义信息的维度调整为之后将其分割为n段，每段的长度不小于信道编码器输入长度w，接着n段语义信息将被编码成n段复数表示的信道信息[x1,x2,...,xn]，其中其中n需要满足nw≥ln以保证将所有语义信息进行信道编码，并在等号不成立时需要将n补零至ln，传输矢量xi的功率应归一化为1。
[0017]
进一步地，所述步骤d中信道特征提取器由卷积神经网络完成，包含四个卷积层和两个全连接层，且步骤d具体包括：
[0018]
信道信息[x1,x2,...,xn]通过信道后分为n段通过信道的信息[y1,y2,...,yn]，其中通过信道的信息再将[y1,y2,...,yn]输入信道特征提取器中，接着信道特征提取器以隐式地获得信道状态信息其中k为信道抽头数量，lc为信道特征提取器的第二个全连接层长度，信道为带有加性高斯白噪声信道的频率选择性信道。
[0019]
进一步地，所述步骤e中信道解码器包括一个双线性变换器和一个卷积神经网络，
且步骤e具体包括：
[0020]
将信道状态信息和通过信道的信息输入信道解码器中，在信道解码器中将信道状态信息和通过信道的信息使用双线性变换合并起来得到并接着将zi重整为后进入信道解码器的卷积神经网络，得到恢复的信道信息，其中表示向量外积。
[0021]
进一步地，所述步骤f中语义解码器包括嵌入层和transformer层，且步骤f具体包括：
[0022]
先将恢复的信道信息合并为舍去最末尾nw-ln个在步骤b中填充数据并重整，得到将通过前向反馈网络到达语义解码器，再语义解码器恢复出原始文本信息，并原始文本信息记为其中前向反馈网路由两层线性层组成，且前向反馈网路使用relu作为激活函数，前向反馈网路网络包含一个dropout层。
[0023]
进一步地，所述语义通信方法所用的深度神经网络的训练步骤具体包括：
[0024]
步骤1：在具有均匀分布pdp的信道上，利用二进制输入和二进制交叉熵损失函数来训练信道编码器和信道解码器；
[0025]
步骤2：信道编码器和解码器进一步在与实际通信场景具有相同功率延迟pdp分布的信道上，利用均方误差mse损失函数来训练信道编码器和信道解码器；
[0026]
步骤3：基于步骤1和2中训练完成的信道编码器和信道解码器，对包括所述语义编码器和语义解码器在内的整个语义通信网络进行端到端训练。
[0027]
进一步地，所述步骤1具体包括：
[0028]
将二进制输入n输入信道编码器，接着信道编码器的输出通过具有均匀分布pdp的信道到达信道解码器，信道解码器的输出由sigmoid函数处理，最终输出表示为最后信道编码器和解码器通过随机梯度下降和二进制交叉熵损失函数进行训练，二进制交叉熵损失函数具体为：
[0029][0030]
其中二进制输入指一小批随机生成的比特向量，ni与分别为n和的第i个元素，ni∈{0,1}。
[0031]
进一步地，所述步骤2具体包括：
[0032]
将服从标准正态分布的随机生成数据m输入信道编码器，接着信道编码器的输出通过实际通信场景具有相同功率延迟pdp分布的信道到达信道解码器，信道解码器的输出不通过sigmoid函数处理，最终输出表示为最后信道编码器和信道解码器通过随机梯度下降和最小均方误差损失函数进行训练，最小均方误差损失函数具体为：
[0033]
[0034]
进一步地，所述步骤3具体包括：基于步骤1和2中训练完成的信道编码器和信道解码器，从数据集中选择一小批语义句子s作为输入，再通过步骤a到f所在整个网络后，得到估计的语义句子，将估计的语义句子输入语义解码器中，最后语义解码器对估计的语义句子进行解码恢复出原始语义句子再使用交叉熵损失来训练步骤a到f所在整个网络，交叉熵损失具体为：
[0035][0036]
其中s(w
l
)和分别表示第l个单词出现在s和中的实际概率和预测概率，w
l
表示第l个单词。
[0037]
有益效果：通过语义编码器、预先训练好的信道编码器、预先训练好的信道解码器以及语义解码器构成数据恢复模块，对输入文本信息进行编码和解码，同时传输过程中采用信道特征提取器以隐式地获得信道状态信息，从而实现直接从接收信号中隐式地提取信道信息并恢复语义信息，进而有效的适应于频率选择性信道，并节省导频导致的开销，提高了传输效率。
附图说明
[0038]
图1是本发明的框架流程示意图；
[0039]
图2是本发明的网络结构图；
[0040]
图3是本发明的awgn信道和频率选择信道上bleu得分与snr的关系折线图；
[0041]
图4是本发明的不同pdp的信道的1-gram bleu得分折线图。
具体实施方式
[0042]
下面结合附图对本发明做更进一步的解释。
[0043]
本发明提出了种基于深度神经网络的语义通信方法，其利用深度神经网络在语义层进行语义提取和编码压缩，在通信层实现信道特征提取，能在频率选择性信道下表现出比传统通信系统更优的效率。
[0044]
以下是本发明的实施例提供了一种基于深度神经网络的语义通信方法，包括以下步骤:
[0045]
步骤a：对于输入发射机中的文本信息，先用语义编码器对其进行编码，得到语义信息，其中语义编码器基于深度神经网络完成；
[0046]
步骤b：将语义信息输入信道编码器中，再通过信道编码器进一步编码，得到信道信息，其中信道编码器基于深度神经网络完成；
[0047]
步骤c：将信道传输信息通过信道向接收机传输；
[0048]
步骤d：信道信息通过信道后进入接收机，信道信息先输入信道特征提取器中，信道特征提取器以隐式地获得信道状态信息，其中信道特征提取器基于卷积神经网络完成，其至少包含一个卷积层和一个全连接层；
[0049]
步骤e：将信道状态信息和通过信道的信息输入信道解码器，得到恢复的信道信息，其中信道解码器基于深度神经网络完成；
[0050]
步骤f：将恢复的信道信息输入语义解码器进行解码，恢复出原始文本信息。
[0051]
请参考图1-2，本实施例中，步骤a中对于输入发射机中的文本信息，先用语义编码器对其进行编码，其中语义编码器基于深度神经网络完成。其中，语义编码器包括嵌入层和transformer层。步骤a具体是：文本数据将批量输入框架进行传输，记为b为同一批次输入的句子数量，l为所有句子的最大长度，长度不满l的句子用特殊符号填充至l。通过语义编码器的嵌入层转换为密集词向量其中d为嵌入层给每个单词设计的编码长度，即嵌入维数。将密集词向量经过若干个transformer层输出中间向量其中m是transformer层的输出维数。密集词向量经过的transformer层数为3，transformer采用多头机制，多头数量为8。
[0052]
步骤b中对于由语义编码器编码后得到的语义信息，输入信道编码器进一步编码，其中信道编码器基于深度神经网络完成。其中，将语义编码器编码后的语义信息m输入到预先训练好的信道编码器的具体办法是：首先利用前向反馈网络将m压缩为维数较低的语义信息向量其中n《m。先将语义信息n的维度调整为之后将其分割为n段[n1,n2,...,nn]，每段的长度大于等于信道编码器输入长度w。其中n需要满足nw≥ln以保证将所有语义信息进行信道编码。在等号不成立时需要将n补零至ln。前向反馈网路由两层线性层组成且网络优选relu作为激活函数，网络优选包含一个dropout层。
[0053]
信道编码器由卷积神经网络完成，至少包含一个卷积层。具体的，n段语义信息将被编码成n段复数表示的传输向量[x1,x2,...,xn]，其中此外，传输矢量xi的功率应归一化为1。其中，卷积神经网络的层数优选为4，激活函数优选使用relu。
[0054]
步骤c中将信道传输信息通过信道向接收机传输。其中，经过的信道为带有加性高斯白噪声信道的频率选择性信道,信道抽头数量为k。
[0055]
步骤d中将信道信息通过信道后，得到通过信道的信息，接着通过信道的信息输入信道特征提取器中，信道特征提取器以隐式地获得信道状态信息,信道状态信息用于信道信息的恢复。其中信道特征提取器基于卷积神经网络完成，其至少包含一个卷积层和一个全连接层。其中，通过信道后的信号分为n段，分别为通过信道的信息[y1,y2,...,yn]，其中
[0056]
信道特征提取器由卷积神经网络完成，其中包含四个卷积层和两个全连接层。第一个全连接层的输入特征数量为l+k-1。使用的激活函数为relu。信道状态信息为其中lc为第二个全连接层长度。通过的信道为带有加性高斯白噪声信道的频率选择性信道,信道抽头数量为k.
[0057]
步骤e中将将接收机接收到的信道状态信息和信道传输信息作为两个输入进入预先训练好的信道解码器，其中信道解码器基于神经网络完成。信道状态信息和信道传输信息分别为ci和yi。信道解码器由一个双线性变换器和一个卷积神经网络构成。将ci和yi输入预先训练好的信道解码器后，将这ci和yi使用双线性变换合并起来得到其中表示向量外积，将zi重整为后进入卷积神经网络。卷积神经网络至少包含一个卷积层。
[0058]
经过上述过程信道解码器输出恢复的信道信息其中，卷积层数量优选为6个，激活函数优选为relu。
[0059]
步骤f中将恢复的信道信息输入语义解码器进行解码，恢复出原始文本信息。其具体步骤是：先将n段恢复出的信道信息合并为舍去最末尾nw-ln个在步骤b中填充数据并重整，得到之后，通过前向反馈网络到达语义解码器。语义解码器包括嵌入层和transformer层。通过语义解码器恢复出原始文本信息括嵌入层和transformer层。通过语义解码器恢复出原始文本信息其中，前向反馈网络由两层线性层组成且网络使用relu作为激活函数，网络包含一个dropout层。经过的transformer层数为3，transformer采用多头机制，多头数量为8。
[0060]
上述实施例中深度神经网络的训练过程如下：
[0061]
步骤1中在具有均匀分布功率延迟曲线(pdp)的信道上，利用二进制输入和二进制交叉熵损失函数对信道编码器和信道解码器进行训练。具体训练步骤为：一小批随机生成的比特向量，表示为n，每个元素ni∈{0,1}，被输入信道编码器。编码器输出将通过具有均匀分布pdp的信道到达信道解码器，信道解码器的输出由sigmoid函数处理。最终输出表示为最后，信道编码器和解码器通过随机梯度下降和二进制交叉熵损失函数进行训练，二进制交叉熵损失函数损失函数具体为：
[0062][0063]
其中ni与分别为n和的第i个元素。二进制输入指一小批随机生成的比特向量。
[0064]
步骤2中信道编码器和解码器进一步在与实际通信场景具有相同功率延迟(pdp)分布的信道上，利用均方误差(mse)损失函数来训练信道编码器和解码器。具体训练步骤为：输入为服从标准正态分布的随机生成数据m。编码器输出将通过实际通信场景具有相同功率延迟(pdp)分布的信道到达信道解码器，信道解码器的输出不通过sigmoid函数处理。最终输出表示为最后，信道编码器和信道解码器通过随机梯度下降和最小均方误差损失函数进行训练，最小均方误差损失函数损失函数具体为：
[0065][0066]
步骤3中基于步骤1、2中训练完成的信道编码器和解码器，对步骤a到f所在整个网络进行端到端训练，其中交叉熵被用作损失函数。其中，基于步骤1、2中训练完成的信道编码器和解码器，从数据集中选择一小批句子s作为输入，得到估计的语义句子。接着估计的语义句子通过步骤a到f所在整个网络后，输入语义解码器中。最后语义解码器对估计的语义句子进行解码恢复出原始语义句子再使用交叉熵损失来训练步骤a到f所在整个网络。训练过程可以表示为：
[0067][0068]
其中s(w
l
)和分别表示第l个单词出现在s和中的实际概率和预测概率，w
l
表
示第l个单词。
[0069]
本发明的实施效果与其他通信框架对比图如图3所示。其中，bleu(bilingual evaluation understudy)得分是一种评估机器翻译输出质量的指标。它通过比较机器翻译与人工参考翻译之间的相似度来计算得分，取值范围从0到1。deepsc是业内已经存在效果较好的语义通信框架。同时，作为基准，deepsc网络和传统方案在接收机前有完美和不完美csi的线性zf信道均衡，以克服频率选择性信道的影响。结果显示，本发明在频率选择性信道下两倍优于用估计的csi均衡的deepsc。同时，本发明也稍稍优于用完美的csi均衡的deepsc，而该基准是一种理想情况。本发明在频率选择性信道上全面优于传统基准，在低信噪比环境下表现尤其优异。
[0070]
图4中模拟了所提出的系统在具有不同指数分布的pdp的频率选择信道上的情况，以测试所提出的方案的稳健性。第一条路径的功率为1，而最后一条分路的功率为pk。以信噪比等于9db为例，且其他信噪比下的结果类似，本发明的网络性能几乎保持不变，在pdp的所有分布中都优于其他基准方案的性能。
[0071]
本发明的实施例在配备intelcore i5-12400f cpu@2.50ghz和nvidia geforcegtx 3060的电脑上运行仅用时3.72ms，比作为基准的使用迫零均衡的deepsc用时5.43ms和传统方案用时10.6ms都要快，复杂度较低。
[0072]
本发明适用于加性高斯白噪声信道和频率选择性信道。
[0073]
本发明的实施例中，先将语句信息输入语义编码器输出语义信息；用信道编码器将语义信息进一步编码为信道信息；信道信息输入信道特征提取器提取出信道特征；信道特征和信道信息同时输入信道解码器，通过双线性变换将二者特征合并后解码恢复出估计的语义信息；用语义解码器恢复出估计的语句信息。
[0074]
本发明的实施例的仿真结果表明，所提出的语义通信网络在频率选择性信道下的语义传输精度方面优于传统基准和现有的语义通信系统，并且对不同的频率选择性信道具有鲁棒性。基于预训练的信道编码器和解码器，对深度神经网络进行端到端训练，其中交叉熵被用作损失函数。通过三个步骤使用不同损失函数的方法可以有效提高训练效率。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种基于深度神经网络的语义通信方法，其特征在于，包括以下步骤:步骤a：对于输入发射机中的文本信息，先用语义编码器对其进行编码，得到语义信息，其中语义编码器基于深度神经网络完成；步骤b：将语义信息输入信道编码器中，再通过信道编码器进一步编码，得到信道信息，其中信道编码器基于深度神经网络完成；步骤c：将信道传输信息通过信道向接收机传输；步骤d：信道信息通过信道后进入接收机，信道信息先输入信道特征提取器中，信道特征提取器以隐式地获得信道状态信息，其中信道特征提取器基于卷积神经网络完成，其至少包含一个卷积层和一个全连接层；步骤e：将信道状态信息和通过信道的信息输入信道解码器，得到恢复的信道信息，其中信道解码器基于深度神经网络完成；步骤f：将恢复的信道信息输入语义解码器进行解码，恢复出原始文本信息。2.根据权利要求1所述的基于深度神经网络的语义通信方法，其特征在于，所述步骤a中语义编码器包括嵌入层和transformer层，且语义编码器将文本信息编码成语义信息具体步骤包括：文本信息将批量输入发射机中进行传输，并文本信息记为在发射机中的语义编码器对文本信息中长度不满l的句子用特殊符号填充至l，再通过语义编码器中的嵌入层将文本信息转换为密集词向量，并密集词向量记为其中d为嵌入层给每个单词设计的编码长度，即嵌入维数，接着密集词向量经过语义编码器中的若干个transformer层输出中间向量，并记中间向量为其中m是transformer层的输出维数，再利用前向反馈网络将中间向量压缩为维数较低的语义信息，并语义信息记为其中b为同一批次输入的句子数量，l为所有句子的最大长度，n<m，前向反馈网路由两层线性层组成，且前向反馈网路使用relu作为激活函数，前向反馈网路网络包含一个dropout层。3.根据权利要求1所述的基于深度神经网络的语义通信方法，其特征在于，所述步骤b中信道编码器由卷积神经网络完成，至少包含一个卷积层,且步骤b具体包括：先将语义信息的维度调整为之后将其分割为n段，每段的长度不小于信道编码器输入长度w，接着n段语义信息将被编码成n段复数表示的信道信息[x1,x2,...,x
n
]，其中其中n需要满足nw≥ln以保证将所有语义信息进行信道编码，并在等号不成立时需要将n补零至ln，传输矢量x
i
的功率应归一化为1。4.根据权利要求1所述的基于深度神经网络的语义通信方法，其特征在于，所述步骤d中信道特征提取器由卷积神经网络完成，包含四个卷积层和两个全连接层，且步骤d具体包括：信道信息[x1,x2,...,x
n
]通过信道后分为n段通过信道的信息[y1,y2,...,y
n
]，其中通过信道的信息再将[y1,y2,...,y
n
]输入信道特征提取器中，接着信道特征提取器以隐式地获得信道状态信息其中k为信道抽头数量，l
c
为信道特征提取器的第二个全连接层长度，信道为带有加性高斯白噪声信道的频率选择性信道。5.根据权利要求1所述的基于深度神经网络的语义通信方法，其特征在于，所述步骤e
中信道解码器包括一个双线性变换器和一个卷积神经网络，且步骤e具体包括：将信道状态信息和通过信道的信息输入信道解码器中，在信道解码器中将信道状态信息和通过信道的信息使用双线性变换合并起来得到并接着将z
i
重整为后进入信道解码器的卷积神经网络，得到恢复的信道信息，其中表示向量外积。6.根据权利要求1所述的基于深度神经网络的语义通信方法，其特征在于，所述步骤f中语义解码器包括嵌入层和transformer层，且步骤f具体包括：先将恢复的信道信息合并为舍去最末尾nw-ln个在步骤b中填充数据并重整，得到将通过前向反馈网络到达语义解码器，再语义解码器恢复出原始文本信息，并原始文本信息记为其中前向反馈网路由两层线性层组成，且前向反馈网路使用relu作为激活函数，前向反馈网路网络包含一个dropout层。7.根据权利要求1所述的基于深度神经网络的语义通信方法，其特征在于，所述语义通信方法所用的深度神经网络的训练步骤具体包括：步骤1：在具有均匀分布pdp的信道上，利用二进制输入和二进制交叉熵损失函数来训练信道编码器和信道解码器；步骤2：信道编码器和解码器进一步在与实际通信场景具有相同功率延迟pdp分布的信道上，利用均方误差mse损失函数来训练信道编码器和信道解码器；步骤3：基于步骤1和2中训练完成的信道编码器和信道解码器，对包括所述语义编码器和语义解码器在内的整个语义通信网络进行端到端训练。8.根据权利要求7所述的基于深度神经网络的语义通信方法，其特征在于，所述步骤1具体包括：将二进制输入n输入信道编码器，接着信道编码器的输出通过具有均匀分布pdp的信道到达信道解码器，信道解码器的输出由sigmoid函数处理，最终输出表示为最后信道编码器和解码器通过随机梯度下降和二进制交叉熵损失函数进行训练，二进制交叉熵损失函数具体为：其中二进制输入指一小批随机生成的比特向量，n
i
与分别为n和的第i个元素，n
i
∈{0,1}。9.根据权利要求7所述的基于深度神经网络的语义通信方法，其特征在于，所述步骤2具体包括：将服从标准正态分布的随机生成数据m输入信道编码器，接着信道编码器的输出通过实际通信场景具有相同功率延迟pdp分布的信道到达信道解码器，信道解码器的输出不通过sigmoid函数处理，最终输出表示为最后信道编码器和信道解码器通过随机梯度下降和最小均方误差损失函数进行训练，最小均方误差损失函数具体为：
10.根据权利要求7所述的基于深度神经网络的语义通信方法，其特征在于，所述步骤3具体包括：基于步骤1和2中训练完成的信道编码器和信道解码器，从数据集中选择一小批语义句子s作为输入，再通过步骤a到f所在整个网络后，得到估计的语义句子，将估计的语义句子输入语义解码器中，最后语义解码器对估计的语义句子进行解码恢复出原始语义句子再使用交叉熵损失来训练步骤a到f所在整个网络，交叉熵损失具体为：其中s(w
l
)和分别表示第l个单词出现在s和中的实际概率和预测概率，w
l
表示第l个单词。

技术总结
本发明公开了一种基于深度神经网络的语义通信方法，包括：先将语句信息输入语义编码器输出语义信息；用信道编码器将语义信息进一步编码为信道信息；信道信息输入信道特征提取器提取出信道特征；信道特征和信道信息同时输入信道解码器，通过双线性变换将二者特征合并后解码恢复出估计的语义信息；用语义解码器恢复出估计的语句信息。仿真结果表明，所提出的语义通信网络在频率选择性信道下的语义传输精度方面优于传统基准和现有的语义通信系统，并且对不同的频率选择性信道具有鲁棒性。基于预训练的信道编码器和解码器，对深度神经网络进行端到端训练，其中交叉熵被用作损失函数。通过不同损失函数的方法可以有效提高训练效率。率。率。


技术研发人员：张华 曹子建 王浩天
受保护的技术使用者：东南大学
技术研发日：2023.04.20
技术公布日：2023/7/18