一种基于条件扩散模型的城市路网布局设计方法

1.本发明涉及深度学习以及计算视觉领域，具体涉及一种基于条件扩散模型的城市路网布局设计方法。


背景技术：

2.城市路网布局建模是一个具有广泛应用的重要问题，它对城市规划、游戏行业、自动驾驶等领域都具有重要的意义和作用。如在城市规划中，城市路网布局是城市交通规划的重要组成部分，它直接关系到城市的交通效率和发展。通过城市路网布局建模，可以快速生成高质量的道路设计方案，提高路网布局的合理性和科学性，从而更好地实现城市的交通规划目标。在自动驾驶领域，自动驾驶汽车需要能够适应各种道路场景，从而实现安全、高效的自动驾驶。通过路网布局建模，可以生成各种城市道路场景，用于自动驾驶汽车的测试和训练，提高自动驾驶汽车在不同路况下的行驶安全性和稳定性。在游戏行业，路网布局建模可以帮助游戏制作人员快速生成具有多样化、逼真度高的虚拟城市环境，从而提高游戏玩家的游戏体验。
3.现有的城市路网布局设计自动化方法可以分为两类：第一类，基于过程建模(process modeling)的传统方法。比如l-systems方法，以调整参数迭代式生成路网，在它基础上构建了城市路网设计上最为成功的商业软件cityengine。但是虽然传统方案能在用户指定输入标签情况下，生成合理的拓扑结构路网，但这些标签依赖专业的人工设计，使用时极不灵活。第二类，基于深度学习技术的人工智能方法。如采用生成对抗网络(generative adversarial network,gan)从包含形状特征的高维模型中学习低维生成模型，然后通过低维空间的采样点生成路网布局图，从而更快更高效地进行路网布局建模。和基于规则的传统方案不同，它是基于数据驱动的深度学习模型，用现有路网数据驱动路网生成模型，避免从我们人为学习数据并构建路网所需的高昂成本。但是另一方面，其生成的路网多样性不足，且质量较低，而本基于扩散模型的自动化生成方法保证了高效率跟高质量，同时兼顾了道路生成的多样性，是深度生成算法在城市路网布局设计领域应用上的一次突破。


技术实现要素：

4.本发明要解决的技术问题是如何在扩散模型中引入多模态的空间地理信息，生成满足相应输入条件的高质量城市路网布局设计图。本发明提供了一种基于条件扩散模型的城市路网布局设计方法。
5.本发明所采用的具体技术方案如下：
6.一种基于条件扩散模型的城市路网布局设计方法，其包括：
7.s1、将目标区域的人口密度栅格数据、地形高程栅格数据和土地利用栅格数据作为多模态数据，将不同模态数据通过特征通道维度叠加后输入预先经过训练的多模态数据融合模块中进行压缩和降维，并生成各个层级的编码图；
8.s2、从高斯分布中随机采样一个高斯噪声，将高斯噪声作为预先经过训练的条件扩散模型的初始输入，同时以多模态数据融合模块生成的各个层级的编码图作为条件信息，通过迭代的方式利用条件扩散模型捕捉编码图中的地理空间和道路纹理特征并逐轮利用生成的噪声图片进行去噪，最终输出对应的城市路网布局设计图。
9.作为优选，所述多模态数据融合模块由1个映射模块和5个采样模块顺次级联而成，其中映射模块为具有归一化层和swish激活函数的3*3卷积层；前四个采样模块均为下采样模块，由具有归一化层和swish激活函数的3*3卷积层以及1个下采样卷积层级联而成，最后一个采样模块模块仅为具有归一化层和swish激活函数的3*3卷积层。
10.作为优选，所述多模态数据融合模块中，输入的人口密度栅格数据、地形高程栅格数据和土地利用栅格数据均为512*512尺寸的栅格化图像，三张不同模态的栅格化图像经过多模态数据融合模块融合形成的5个不同层级编码图尺寸分别为512*512，256*256,128*128,64*64,32*32，用于与扩散模型中的u-net结构中的编码器部分相对应尺寸的输出进行相加。
11.作为优选，所述条件扩散模型是一个基于扩散过程的生成模型，其输入为当前迭代的时间步t、所述各个层级的编码图以及一张加噪图，其中第一个迭代步输入的加噪图为随机采样的高斯噪声，其他迭代步输入的加噪图为上一轮次去噪后的加噪图；
12.所述条件扩散模型采用u-net结构，由1个输入模块、包含5个编码器模块的编码器部分、1个中间层模块、包含5个解码器模块的解码器部分以及1个输出模块级联而成；
13.所述输入模块为具有归一化层和swish激活函数的3*3卷积层，负责将输入通道数扩大到中间通道数；
14.所述编码器部分中，前4个编码器模块采用resnet架构，其中包括2个具有归一化层和swish激活函数的3*3卷积层和1个3*3的下采样卷积层；最后一个编码器模块与前4个编码器模块相同但不含有下采样卷积层；
15.所述中间层模块与最后一个编码器模块的结构相同；
16.所述解码器部分中，5个解码器模块与5个编码器模块一一对应且采用跨层连接(skip-connection)结构连接，每一组对应的解码器模块和编码器模块的结构相同但其中3*3的下采样卷积层被替换为4*4的上采样反卷积层，使得每经过一个带下采样卷积层的编码器模块后特征图尺寸减半，每经过一个带上采样反卷积层的解码器模块后特征图尺寸翻倍；
17.所述输出模块为具有归一化层和swish激活函数的3*3卷积层；
18.所述加噪图通过输入模块后形成具有目标通道的特征图，再经过编码器部分的五个编码器模块，分别产生256*256、128*128、64*64、32*32、32*32大小的特征图，将最后输出的32*32的特征图输入至中间层模块再次进行特征提取与融合，输出一个32*32的新特征图作为解码器部分的输入，5个解码器模块每次都将模块输入与对应编码器模块编码后相同大小的特征图进行跨层连接，再与多模态数据融合模块输出的对应大小的编码图相加用于解码，经过上一个解码器模块后的特征图作为下一个级联模块的模块输入，最后通过输出模块输出一张单通道的512*512的噪声图片；
19.输入所述条件扩散模型的当前迭代的时间步t，需要经过时间编码模块生成时间编码并输入每个编码器模块和每个解码器模块中，与每个模块中第一个具有归一化层和
swish激活函数的3*3卷积层的输出特征相加实现信息融合。
20.作为优选，所述时间编码模块中，对时间步t编码采用transformer的编码方法。
21.作为优选，所述条件扩散模型中，第4个编码器模块、第5个编码器模块、中间层模块、第1个解码器模块、第2个解码器模块中，在第2个具有归一化层和swish激活函数的3*3卷积层之后连接有自注意力层。
22.作为优选，所述条件扩散模型在训练过程中，在所有迭代步中随机取一个时间步t，并通过正向扩散过程，利用从高斯分布中随机采样的高斯噪声将原始的城市路网布局图加噪处理成时间步t的加噪图；然后以时间步t以及对应的加噪图作为条件扩散模型的输入，并在解码部分的每一层里加入多模态数据融合模块所输出的条件信息，最终由条件扩散模型输出对应的需要去除的噪声；然后计算条件扩散模型所生成的噪声图片与加噪处理所添加的实际噪声图片之间的损失，通过优化损失来训练模型。
23.作为优选，所述条件扩散模型的损失函数形式为mse损失。
24.作为优选，所述多模态数据融合模块与条件扩散模块联合进行训练。
25.作为优选，所述s2中，生成城市路网布局设计图时采用条件掩码技术，用于在现有城市路网布局设计图的基础上通过对局部区域进行掩码来控制局部道路的优化生成，具体方法是，将现有城市路网布局设计图中需要进行优化的局部区域进行掩码而其余区域不进行掩码，第一轮迭代时，将现有城市路网布局设计图进行加噪处理得到初始的加噪图，并从高斯分布中随机采样一个高斯噪声替换加噪图中的掩码部分形成中间加噪图，然后进行第一轮迭代并利用条件扩散模型生成的噪声图片对中间加噪图进行去噪，得到去噪后加噪图；后续的迭代轮次中，将现有城市路网布局设计图进行加噪处理得到初始的加噪图，以上一轮次得到的去噪后加噪图中的掩码部分替换初始的加噪图中的掩码部分，形成中间加噪图，然后利用本轮迭代中条件扩散模型生成的噪声图片对中间加噪图进行去噪，更新去噪后加噪图；不断迭代重复，将最终生成的去噪后加噪图中的掩码部分替换至现有城市路网布局设计图中，生成最终局部优化后的路网布局设计图。
26.本发明相对于现有技术而言，具有以下有益效果：
27.本发明涉及城市路网布局设计领域，具体地说，本发明引入了一种多模态数据融合模块，该模块将人口密度、地形高程和土地利用三种数据进行融合，并输入至条件扩散模型，生成符合人口、地形和土地类型的路网布局。与传统手工设计方法相比，本方法不需要相关领域的专业知识，也不受限于道路模板，可高效生成特征多样的城市路网布局。相较以往的传统工作，本发明方法引入了多模态的地理空间数据，并采用了目前图像生成领域效果更好的扩散模型，不仅可以生成满足相关地理信息条件的城市路网布局图，而且模型收敛更加稳定，生成质量更高，生成多样性更好。此外，本模型还支持条件掩码生成，可以通过掩码来控制局部道路的生成，或者预先设计局部道路以控制整体道路的生成，从而使得道路生成更加灵活。
附图说明
28.图1为多模态数据融合模块和条件扩散模型的整体模型架构；
29.图2为前四个编码器模块的结构示意图；
30.图3为最后一个编码器模块的结构示意图；
31.图4为具有自注意力层的编码器/解码器模块结构示意图；
32.图5为条件扩散模型的训练过程；
33.图6为条件扩散模型的生成过程；
34.图7为预训练条件扩散模型不同去噪阶段生成的城市路网布局图；
35.图8为采用条件扩散方式生成对应的城市路网布局图；
36.图9为采用掩码方式生成城市路网布局图。
具体实施方式
37.为了更加清晰地阐述本发明的目的、特点和优点，下文结合附图对本发明的具体实施方式进行详细说明。为了使本发明能够得到充分理解，下文阐述了许多具体细节。然而，本发明可以以许多不同于此处描述的其他方式进行实施，本领域技术人员可以在不违背本发明精神的前提下进行类似改进，因此本发明不受下述公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
38.多模态数据指的是来自于不同信息来源、表现形式、特征维度的数据类型，如图像、语音、文本、传感器数据等。在深度学习中，多模态数据的融合能够提供更加全面、准确、丰富的信息，从而提高模型的性能和泛化能力。通过深度学习的方法对多模态数据进行融合，可以充分利用不同数据类型之间的冗余和互补信息，提高模型的鲁棒性和对不确定性的处理能力。同时，多模态数据的融合也能够帮助解决数据稀缺、数据质量差等问题，为应用深度学习解决实际问题提供更多的可能性。
39.本发明的核心之一是对多模态数据融合的处理。以人口密度数据、地形高程数据和土地利用数据作为示例三类多模态数据，并采用了编码器来处理多模态数据融合问题。需要说明的是，该多模态数据处理模块的具体形式不作限制，可以采用其他的模型结构。本发明的另一核心是对条件扩散模型的改进以及条件扩散模型和多模态数据融合模块的嵌入组合。下面对本发明的设计方法的具体实现方式进行详细描述。
40.本发明的一个较佳实施例中，提供了一种基于条件扩散模型的城市路网布局设计方法，该设计方法包括两个步骤：
41.s1、将目标区域的人口密度栅格数据、地形高程栅格数据和土地利用栅格数据作为多模态数据，将不同模态数据通过特征通道维度叠加后输入预先经过训练的多模态数据融合模块中进行压缩和降维，并生成各个层级的编码图。
42.s2、从高斯分布中随机采样一个高斯噪声，将高斯噪声作为预先经过训练的条件扩散模型的初始输入，同时以多模态数据融合模块生成的各个层级的编码图作为条件信息，通过迭代的方式利用条件扩散模型捕捉编码图中的地理空间和道路纹理特征并逐轮利用生成的噪声图片进行去噪，最终输出对应的城市路网布局设计图。
43.上述s1和s2本质上可以视为是一个的城市路网布局设计模型，该模型整体结构如图1。从图1可见，该模型分为扩散模型模块(u-net)和多模态数据编码模块(即编码器)，而扩散模型模块又可分为编码器部分和解码器部分。
44.在本发明的实施例中，该多模态数据编码模块的输入是不同模态的数据，本发明中使用三种模态的栅格数据，分别为人口密度数据、地形高程数据和土地利用数据。三种模态数据都为单通道的512*512大小的栅格化图像，并在沿图像特征通道维度进行叠加后，作
为该多模态数据融合模块的最终输入。多模态数据融合模块由1个映射模块和5个采样模块顺次级联而成，其中映射模块为具有归一化层和swish激活函数的3*3卷积层；前四个采样模块均为下采样模块，由具有归一化层和swish激活函数的3*3卷积层以及1个下采样卷积层级联而成，最后一个采样模块模块仅为具有归一化层和swish激活函数的3*3卷积层。
45.在本发明的实施例中，由于输入多模态数据融合模块的人口密度栅格数据、地形高程栅格数据和土地利用栅格数据均为512*512尺寸的栅格化图像，因此三张不同模态的栅格化图像经过多模态数据融合模块融合形成5个不同层级编码图，这5个不同层级编码图尺寸分别为512*512，256*256,128*128,64*64,32*32。5个不同层级编码图分别用于与扩散模型中的u-net结构中的编码器部分相对应尺寸的输出进行相加。该模块得到的编码图具有多模态的语义信息，同时可避免大量参数带来的高算力需求问题。
46.在本发明的实施例中，上述条件扩散模型是一个基于扩散过程的生成模型，其输入为当前迭代的时间步t、多模态数据编码模块中输出的各个层级的编码图以及一张加噪图，其中第一个迭代步输入的加噪图为随机采样的高斯噪声，其他迭代步输入的加噪图为上一轮次去噪后的加噪图。
47.上述条件扩散模型采用u-net结构，由1个输入模块、包含5个编码器模块的编码器部分、1个中间层模块、包含5个解码器模块的解码器部分以及1个输出模块级联而成。但需要说明的是，此处的条件扩散模型的网络结构与u-net结构类似，但是其中的具体网络层与原始的u-net是存在区别的。下面分别对输入模块、编码器部分、中间层模块、解码器部分以及输出模块的具体结构以及前向数据传递过程进行详细描述。
48.上述输入模块为具有归一化层和swish激活函数的3*3卷积层，负责将输入通道数扩大到输入编码器所需的中间通道数。
49.上述编码器部分中，前4个编码器模块采用resnet架构，其中包括2个具有归一化层和swish激活函数的3*3卷积层和1个3*3的下采样卷积层，如图2所示，根据resnet架构第2个swish激活函数的输出需要与原始输入的卷积结果进行残差连接然后再进行下采样卷积层。最后一个编码器模块与前4个编码器模块相同，区别在于不含有下采样卷积层，如图3所示。
50.上述中间层模块与最后一个编码器模块的结构相同，如图3所示。
51.上述解码器部分中，5个解码器模块与5个编码器模块一一对应且采用跨层连接(skip-connection)结构连接，每一组对应的解码器模块和编码器模块的结构相同但其中3*3的下采样卷积层被替换为4*4的上采样反卷积层。但需要注意的是对于上述最后一个编码器模块中由于不含有下采样卷积层，因此对应的第1个解码器模块中也不存在上采样反卷积层。而其他的第2～5个解码器模块中则存在4*4的上采样反卷积层。由此，在该u-net形式的编码-解码结构中，每经过一个带下采样卷积层的编码器模块后特征图尺寸减半，每经过一个带上采样反卷积层的解码器模块后特征图尺寸翻倍。
52.上述输出模块为具有归一化层和swish激活函数的3*3卷积层。
53.在上述u-net结构的条件扩散模型中，初始输入的加噪图通过输入模块后形成具有目标通道的特征图，再经过编码器部分的五个编码器模块，分别产生256*256、128*128、64*64、32*32、32*32大小的特征图，将最后输出的32*32的特征图输入至中间层模块再次进行特征提取与融合，输出一个32*32的新特征图作为解码器部分的输入，5个解码器模块每
次都将自身模块输入与对应编码器模块编码后相同大小的特征图进行跨层连接，再与多模态数据融合模块输出的对应大小的编码图相加用于解码，经过上一个解码器模块后的特征图作为下一个级联模块的模块输入，最后通过输出模块输出一张单通道的512*512的噪声图片。
54.另外，对于输入的当前迭代的时间步t，需要经过时间编码模块生成时间编码，之后加噪图片每次进入任意模块前，都需要与时间编码进行相加以融入时间信息。也就是说，输入条件扩散模型的当前迭代的时间步t，需要经过时间编码模块生成时间编码并输入每个编码器模块和每个解码器模块中，与每个模块中第一个具有归一化层和swish激活函数的3*3卷积层的输出特征相加实现信息融合。对时间步t编码可采用transformer的编码方法。在本实施例中，通过linear层实现时间编码。
55.本实施例中对条件扩散模块中的具体的网络结构和参数根据实际的城市路网布局设计场景进行了优化。用e(x,y)来表示输入通道数为x，输出通道数为y的编码器，5个编码器模块参数设置为：e(32,32)-e(32,64)-e(64,128)-e(128,512)-e(512,1024)。用d(x,y)来表示输入通道数为x，输出通道数为y的解码器模块，5个解码器模块的参数设置为：d(2048,512)-d(1024,128)-d(256,64)-d(128,32)-d(64,32)。中间层参数为m(1024,1024)，输入层参数为p-in(1,32)，输出层参数为p-out(32,1)。
56.另外，在本发明的上述条件扩散模型中，每一层模块中都可以选择是否加入自注意力层。本实施例中，第4个和第5个编码器模块中加有自注意力层(如果加入了自注意力层，则对应的解码器部分也需要加入对应的注意力层)；中间层的结构同加了自注意力层。也就是说，该条件扩散模型中，第4个编码器模块、第5个编码器模块、中间层模块、第1个解码器模块、第2个解码器模块中，在第2个具有归一化层和swish激活函数的3*3卷积层之后连接有自注意力层。对比图2和图4可见，该自注意力层是添加在上采样层或下采样层之前的。
57.特别说明，上述多模态数据融合模块与条件扩散模块在用于实际推理之前，均需要进行训练。
58.条件扩散模型条件扩散模型主要分为前向扩散过程跟后向去噪过程。条件扩散模型在训练过程中，在所有迭代步中随机取一个时间步t，并通过正向扩散过程，利用从高斯分布中随机采样的高斯噪声将原始的城市路网布局图加噪处理成时间步t的加噪图；然后以时间步t以及对应的加噪图作为条件扩散模型的输入，并在解码部分的每一层里加入多模态数据融合模块所输出的条件信息，最终由条件扩散模型输出对应的需要去除的噪声；然后计算条件扩散模型所生成的噪声图片与加噪处理所添加的实际噪声图片之间的损失，通过优化损失来训练模型。上述条件扩散模型的损失函数形式可以为mse损失。
59.在本发明的实施例的训练过程中，条件扩散模型训练时的输入输出如图5所示。首先先确定一个最大迭代步数t(一般为1000)，再从真实世界的城市路网布局图中取样出一张真实图片，同时从标准正态分布中随机取一个高斯噪声，再随机从0到t中取一个时间步t，通过该高斯噪声和时间步t对真实图片进行特定的前向加噪过程最终加噪处理成加噪图，再将该加噪图与多模态数据融合模块输出的编码图以及时间步t作为输入输入进生成模型中，生成对应的噪声，随后使用损失函数(其中d为生成模型，x为当前图片，t为当前时间步t，c为多模态数据)进行模型训练，目的在于使得模型可以充分理
解数据中的条件信息、时间信息以及图片中的语义信息，从而可以在特定的时间步和特定的条件下，在面对不同的图像时能生成特定的去噪噪声，继而将任意噪声图还原成清晰的图片。
60.另外，上述训练过程中的前向加噪过程需要根据实际的噪声生成过程进行设计。本发明的目的是构造一个已知的前向过程，然后通过未知的后向过程去模拟它，由于本发明需要将高斯分布还原成高清的图片，那么首先就要构造一个高斯分布才能学习去还原它。在本发明的实施例中，构建的已知的前向加噪过程如下：先从高斯分布随机取一个噪声∈～n(0,1)再将其加入进目标分布x0～q(x)，这时可以得到每个时间步的加噪后的目标分布x1到x
t
，将β
t
定义为在每个时间步t时加噪的权重，然后令α
t
＝1-β
t
,之后就可以得到：
[0061][0062][0063]
这个构造过程是为了尽可能使当t足够大时，xt是一个高斯噪声。当然上述前向加噪过程仅仅是一个示例，并非唯一做法。
[0064]
而在生成过程中，条件扩散模型的输入输出如图6所示。同样的，先确定一个最大迭代步数(与训练时设定的最大迭代步数相当，一般为1000)，再从标准正态分布中随机取样一个高斯噪声作为原始输入x
t
，再取需要的人口密度图、地形高程图、土地利用图进多模态数据融合模块生成不同尺寸的条件编码图，之后每一次迭代都将当前图片x
t
，对应条件编码图，时间步t作为输入，生成对应的去噪噪声，再通过特定的去噪算法去除该噪声从而生成下一张图片x
t-1
，再用这张图片作为下一步迭代的输入，以此反复，最终生成清晰的城市路网布局图x0。
[0065]
特别需要说明的是，在实际的训练过程中，多模态数据融合模块与条件扩散模块同时参与训练。
[0066]
同时，本发明还支持条件掩码技术，可通过掩码来控制局部道路的生成，或者预先设计局部道路以控制整体道路的生成。而如果需要进行掩码生成，则先记录对应的掩码图，在每次高斯噪声迭代后，将掩码图未被掩码的部分和生成图片的掩码部分组合成新的输入，输入到条件扩散模型中生成下一个时间步的图片。重复此过程，直到生成最终的路网布局设计图。
[0067]
在本发明的实施例中，若生成城市路网布局设计图时采用条件掩码技术，则可在现有城市路网布局设计图的基础上通过对局部区域进行掩码来控制局部道路的优化生成，具体方法是：将现有城市路网布局设计图中需要进行优化的局部区域进行掩码而其余区域不进行掩码，第一轮迭代时，将现有城市路网布局设计图进行加噪处理得到初始的加噪图，并从高斯分布中随机采样一个高斯噪声替换加噪图中的掩码部分形成中间加噪图，然后进行第一轮迭代并利用条件扩散模型生成的噪声图片对中间加噪图进行去噪，得到去噪后加噪图；后续的迭代轮次中，将现有城市路网布局设计图进行加噪处理得到初始的加噪图，以上一轮次得到的去噪后加噪图中的掩码部分替换初始的加噪图中的掩码部分，形成中间加噪图，然后利用本轮迭代中条件扩散模型生成的噪声图片对中间加噪图进行去噪，更新去噪后加噪图；不断迭代重复，将最终生成的去噪后加噪图中的掩码部分替换至现有城市路
网布局设计图中，生成最终局部优化后的路网布局设计图。
[0068]
下面将上述实施例中基于条件扩散模型的城市路网布局设计方法应用于一个具体案例中，以展示其所能实现的技术效果，部分具体的细节不再赘述。
[0069]
实施例
[0070]
本实施例中的总体流程可以分为数据预处理，条件扩散模型训练，图像生成，三个阶段，其中条件扩散模型的具体结构如图1所示。
[0071]
步骤1、数据预处理阶段
[0072]
步骤1.1：在本案例中，原始数据以栅格形式记录，包括人口密度数据、地形高程数据、土地利用数据和路网布局数据。每组样本数据由四张栅格图像组成，其中前三者为样本的输入数据，而最后一个路网布局数据则是样本的标签，即真实路网布局图。在对样本中的每个原始栅格图像进行初步预处理之后，可以保证它们在中心经纬度对齐，并且尺寸均为512*512的单通道灰度图像。
[0073]
步骤1.2：图像进行筛选，去掉无意义或者样本过于稀少的数据组，例如人口为0、海拔过高、道路稀疏的数据。最后对路网布局图进行膨胀处理，放大特征。
[0074]
步骤2、条件扩散模型训练过程
[0075]
步骤2.1：将数据集打乱后按照7:3的比例划分训练数据集和测试数据集，并将训练数据集按照固定的批量大小进行分批(本实施例中，批次大小为4)，总批次为n。
[0076]
步骤2.2：从训练数据集中顺序选取索引为i的一批训练样本，其中i∈{0,1,
…
,n}。利用每个批次的训练样本对u-net结构的条件扩散模型进行训练，采用adam优化器进行模型优化。条件扩散模型的具体结构如前所述，不再赘述，具体训练过程如图5所示，每个训练样本的损失loss会被计算，通过计算每个批次中所有训练样本的总损失l来调整模型中的所有网络参数，其中学习率参数为0.00002。在训练过程中，条件扩散模型会学习如何生成对应于特定时间、特定条件和特定图像的需要去除的噪声，从而生成清晰的城市路网布局图。随着训练的进行，模型会逐渐理解城市路网布局图的高层语义特征，进而生成更多样、更清晰、连通性更好的城市路网布局图。
[0077]
3、图像生成
[0078]
本实施样例将会针对条件生成和掩码生成两种情况进行实验。
[0079]
步骤3.1：在条件生成下，实验条件被分为两部分，第一部分是随机从标准正态分布中取一个高斯噪声，并将多模态数据输入多模态融合模块中输出对应的不同大小的编码图，第二部分是按照上述过程将数据输入条件扩散模型中，最终生成的图像如图7所示。可以看到，随着去噪过程的进行，图像逐渐变得清晰，并最终生成道路通顺，拓扑结构明显的城市路网布局图。对于未学习的测试数据集，模型依旧能够生成对应的符合人口密度、地形高程、土地利用的城市路网布局设计图，如图8。
[0080]
步骤3.2：在掩码生成下，本实施例尝试了两种情况，一种是保留大部分图片，只掩去一小部分，另一种是只保留一小部分图片，掩去一大部分。无论哪种情况，本发明都能够生成出合理的城市路网布局图，如图9所示，表明很好地达到了预期。
[0081]
本发明并不仅限于以上实施例所述的具体实施方式。在不脱离本发明的精神和范围的情况下，技术人员仍可以做出各种变化和变型。因此，采用等同替换或等效变换的技术方案均落在本发明的保护范围内。

技术特征：
1.一种基于条件扩散模型的城市路网布局设计方法，其特征在于，包括：s1、将目标区域的人口密度栅格数据、地形高程栅格数据和土地利用栅格数据作为多模态数据，将不同模态数据通过特征通道维度叠加后输入预先经过训练的多模态数据融合模块中进行压缩和降维，并生成各个层级的编码图；s2、从高斯分布中随机采样一个高斯噪声，将高斯噪声作为预先经过训练的条件扩散模型的初始输入，同时以多模态数据融合模块生成的各个层级的编码图作为条件信息，通过迭代的方式利用条件扩散模型捕捉编码图中的地理空间和道路纹理特征并逐轮利用生成的噪声图片进行去噪，最终输出对应的城市路网布局设计图。2.如权利要求1所述的基于条件扩散模型的城市路网布局设计方法，其特征在于，所述多模态数据融合模块由1个映射模块和5个采样模块顺次级联而成，其中映射模块为具有归一化层和swish激活函数的3*3卷积层；前四个采样模块均为下采样模块，由具有归一化层和swish激活函数的3*3卷积层以及1个下采样卷积层级联而成，最后一个采样模块模块仅为具有归一化层和swish激活函数的3*3卷积层。3.如权利要求1所述的基于条件扩散模型的城市路网布局设计方法，其特征在于，所述多模态数据融合模块中，输入的人口密度栅格数据、地形高程栅格数据和土地利用栅格数据均为512*512尺寸的栅格化图像，三张不同模态的栅格化图像经过多模态数据融合模块融合形成的5个不同层级编码图尺寸分别为512*512，256*256,128*128,64*64,32*32，用于与扩散模型中的u-net结构中的编码器部分相对应尺寸的输出进行相加。4.如权利要求1所述的基于条件扩散模型的城市路网布局设计方法，其特征在于，所述条件扩散模型是一个基于扩散过程的生成模型，其输入为当前迭代的时间步t、所述各个层级的编码图以及一张加噪图，其中第一个迭代步输入的加噪图为随机采样的高斯噪声，其他迭代步输入的加噪图为上一轮次去噪后的加噪图；所述条件扩散模型采用u-net结构，由1个输入模块、包含5个编码器模块的编码器部分、1个中间层模块、包含5个解码器模块的解码器部分以及1个输出模块级联而成；所述输入模块为具有归一化层和swish激活函数的3*3卷积层，负责将输入通道数扩大到中间通道数；所述编码器部分中，前4个编码器模块采用resnet架构，其中包括2个具有归一化层和swish激活函数的3*3卷积层和1个3*3的下采样卷积层；最后一个编码器模块与前4个编码器模块相同但不含有下采样卷积层；所述中间层模块与最后一个编码器模块的结构相同；所述解码器部分中，5个解码器模块与5个编码器模块一一对应且采用跨层连接(skip-connection)结构连接，每一组对应的解码器模块和编码器模块的结构相同但其中3*3的下采样卷积层被替换为4*4的上采样反卷积层，使得每经过一个带下采样卷积层的编码器模块后特征图尺寸减半，每经过一个带上采样反卷积层的解码器模块后特征图尺寸翻倍；所述输出模块为具有归一化层和swish激活函数的3*3卷积层；所述加噪图通过输入模块后形成具有目标通道的特征图，再经过编码器部分的五个编码器模块，分别产生256*256、128*128、64*64、32*32、32*32大小的特征图，将最后输出的32*32的特征图输入至中间层模块再次进行特征提取与融合，输出一个32*32的新特征图作为解码器部分的输入，5个解码器模块每次都将模块输入与对应编码器模块编码后相同大
小的特征图进行跨层连接，再与多模态数据融合模块输出的对应大小的编码图相加用于解码，经过上一个解码器模块后的特征图作为下一个级联模块的模块输入，最后通过输出模块输出一张单通道的512*512的噪声图片；输入所述条件扩散模型的当前迭代的时间步t，需要经过时间编码模块生成时间编码并输入每个编码器模块和每个解码器模块中，与每个模块中第一个具有归一化层和swish激活函数的3*3卷积层的输出特征相加实现信息融合。5.如权利要求4所述的基于条件扩散模型的城市路网布局设计方法，其特征在于，所述时间编码模块中，对时间步t编码采用transformer的编码方法。6.如权利要求1所述的基于条件扩散模型的城市路网布局设计方法，其特征在于，所述条件扩散模型中，第4个编码器模块、第5个编码器模块、中间层模块、第1个解码器模块、第2个解码器模块中，在第2个具有归一化层和swish激活函数的3*3卷积层之后连接有自注意力层。7.如权利要求1所述的基于条件扩散模型的城市路网布局设计方法，其特征在于，所述条件扩散模型在训练过程中，在所有迭代步中随机取一个时间步t，并通过正向扩散过程，利用从高斯分布中随机采样的高斯噪声将原始的城市路网布局图加噪处理成时间步t的加噪图；然后以时间步t以及对应的加噪图作为条件扩散模型的输入，并在解码部分的每一层里加入多模态数据融合模块所输出的条件信息，最终由条件扩散模型输出对应的需要去除的噪声；然后计算条件扩散模型所生成的噪声图片与加噪处理所添加的实际噪声图片之间的损失，通过优化损失来训练模型。8.如权利要求7所述的基于条件扩散模型的城市路网布局设计方法，其特征在于，所述条件扩散模型的损失函数形式为mse损失。9.如权利要求7所述的基于条件扩散模型的城市路网布局设计方法，其特征在于，所述多模态数据融合模块与条件扩散模块联合进行训练。10.如权利要求1所述的基于条件扩散模型的城市路网布局设计方法，其特征在于，所述s2中，生成城市路网布局设计图时采用条件掩码技术，用于在现有城市路网布局设计图的基础上通过对局部区域进行掩码来控制局部道路的优化生成，具体方法是：将现有城市路网布局设计图中需要进行优化的局部区域进行掩码而其余区域不进行掩码，第一轮迭代时，将现有城市路网布局设计图进行加噪处理得到初始的加噪图，并从高斯分布中随机采样一个高斯噪声替换加噪图中的掩码部分形成中间加噪图，然后进行第一轮迭代并利用条件扩散模型生成的噪声图片对中间加噪图进行去噪，得到去噪后加噪图；后续的迭代轮次中，将现有城市路网布局设计图进行加噪处理得到初始的加噪图，以上一轮次得到的去噪后加噪图中的掩码部分替换初始的加噪图中的掩码部分，形成中间加噪图，然后利用本轮迭代中条件扩散模型生成的噪声图片对中间加噪图进行去噪，更新去噪后加噪图；不断迭代重复，将最终生成的去噪后加噪图中的掩码部分替换至现有城市路网布局设计图中，生成最终局部优化后的路网布局设计图。

技术总结
本发明公开了一种基于条件扩散模型的城市路网布局设计方法。本发明在城市路网布局设计任务中引入多模态数据融合模块，将人口密度、地形高程和土地利用分类三类数据进行数据编码，作为条件扩散模型(Conditional Diffusion Model,CDM)，从而使之可以生成与上述三类数据分布对应的路网布局。与传统手工设计方法相比，本方法不需要相关领域的专业知识，不受限于道路模板，可高效生成特征多样的城市路网布局，减少了大量的手工操作。与传统工作，例如仅使用生成对抗网络(Generative Adversarial Network,GAN)的方法相比，本方法更易收敛，模型更加稳定，生成图片的质量更高，且更加具有多样性，同时，本方法可以通过掩码(Mask)等手段，可面向特定区域，灵活地生成局部路网。部路网。部路网。


技术研发人员：冯天 张微 李龙 沈骏翱
受保护的技术使用者：浙江大学
技术研发日：2023.05.23
技术公布日：2023/7/21