《测绘学报》印象要素提取的可变结构卷积神经网络办法
印象要素提取的可变结构卷积神经网络办法 王华斌1,2, 韩旻1,2, 王光芒2, 李玉1 摘要：针对运用经典卷积神经网络提取印象地物要素的办法中，模型容量受既定网络固有结构的束缚而难以得到杰出提取作用的问题，提出利...
- 作者：王华斌,韩旻,王光芒,李玉来历：《测绘学报》|2019年07月10日
, 韩旻1,2
, , , HAN Min1,2, , 近年来，以卷积神经网络模型为典型代表的深度学习技能带动了印象要素提取研讨的迅速发展[-]。相较于传统的人工界说指数和浅层机器学习办法[-]，卷积神经网络模型经过对海量必威现金回扣像的深层特征建模完成了必威现金回扣像信息的有用提取[]，在非样本数据集上的泛化才干显着增强。因而，根据卷积神经网络的印象要素提取成为研讨抢手。
根据卷积神经网络模型的印象要素提取办法一般运用包括卷积操作的神经网络模型描绘印象与要素的类属联系，然后运用随机梯度下降算法求解模型中的不知道参数[]。依照要素提取的粒度，运用卷积神经网络模型的要素提取研讨首要分为3个层次[]：必威现金回扣像层的场景分类、像素层的印象切割和方针层的实例切割。
文献[]提出的LeNet，将卷积操作引进神经网络模型，也是现代卷积神经网络模型的原型。该模型运用2次重复的卷积、下采样和3次全衔接对必威现金回扣像的深层特征进行建模，在文本数字必威现金回扣像辨认范畴得到了有用运用。但因为卷积操作的核算价值过于昂扬且缺少明晰的理论根底，该算法在提出后并未引起学界的重视。文献[]提出的AlexNet以肯定优势荣获2012年ImageNet比赛的冠军，加之贱价的必威现金回扣形处理单元(GPU)供给了足够的核算资源，引起研讨人员关于卷积神经网络模型的广泛重视。文献[]运用AlexNet提取多标准印象的深层卷积特征，并对其进行特征编码以获取大局表征，结合支撑向量机(support vector machine，SVM)分类印象所属的场景类别，是卷积神经网络模型在范畴的探究。文献[]提出了一种结合显着性检测与稀少自编码器的显着要素稀少特征非监督提取算法，结合SVM精确区域分出了印象的场景类别。可是，以场景分类为方针的要素提取成果受印象鸿沟的束缚，无法顾及印象中非首要类其他要素。
文献[]提出的FCN(fully convolutional networks)是一种支撑逐像素分类的卷积神经网络结构，将切割粒度由必威现金回扣像层细化到像素层。在该网络结构中，本来用于分类的卷积神经网络中的全衔接层被替换为卷积层和转置卷积层，并加入了多个跨过衔接。因为网络中间层悉数为(转置)卷积层，练习所需的数据量较大，练习时刻长，切割边际不行明晰。针对这一问题，文献[]引进数据增强技能并提出了U-Net。该网络先经过多个卷积、池化层提取高度笼统的深层特征，再经过转置卷积和卷积操作复原布景信息，一起运用带有裁切的跨过衔接细化切割边际。数据增强技能显着削减了模型练习时所需的样本数量，可是裁切和卷积操作下降了输出符号必威现金回扣像的空间分辩率，模型练习缓慢的问题依然存在。文献[]将端到端的印象切割网络笼统分解为编码器、解码器和像素分类层，而且引进了运用最大池化指数的上采样层和批标准化层[]界说SegNet。该网络结构经过边际补零的卷积操作一致了输出符号必威现金回扣像与输入必威现金回扣像的空间分辩率，经过批标准化层缩短了练习所需的时刻。可是该网络运用Softmax层作为像素多类别分类器，其类别间的比赛影响了分类成果，均匀像素分类精度依然有待进步。
文献[]提出的R-CNN率先将候选区生成进程、卷积神经网络与支撑向量机(SVM)结合用于方针检测问题。在该研讨中，卷积神经网络模型首要担任候选区的特征提取，与其他进程耦合较为松懈。其续作Fast R-CNN经过多使命丢失(multi-task loss)建立了分类与围住盒批改网络[]。在此根底上，Faster R-CNN将候选区生成进程替换为候选区生成网络[]。至此，卷积神经网络模型完整地覆盖了方针检测使命的各个阶段。受Faster R-CNN启示，文献[]提出的Mask R-CNN在原有架构的根底上增添了方针掩膜猜测分支，然后将方针的检测、分类、切割归入到一致的卷积神经网络模型中。该网络由多个部分构成，第1部分是残差衔接网络(ResNet50或101)与特征金字塔网络(feature pyramid network)组成的特征提取网络，第2部分是候选区生成网络(region proposal network)，第3部分是感兴趣区别类、方位批改及切割网络。特征网络首要提取必威现金回扣像多个标准的特征，并由候选区生成网络直接在卷积特征层直接生成感兴趣区域，终究由分类及切割网络对感兴趣区域中的方针进行分类和切割。相关实验标明该模型可以非常精确地标示并切割出必威现金回扣像中的地物。可是，方针层的要素提取适用于独立特别地物[](如房子、机场等)的提取，而对成片的大面积要素(如犁地)的提取支撑较弱。
在卷积神经网络模型中，网络的结构界说是要害。上述几种办法尽管提取粒度不同，但遍及选用固定结构的卷积神经网络结构要素提取模型，网络的表达才干遭到固定结构的束缚。另一方面，固定结构网络的规划彻底由专家根据专业常识手动界说，主动化水平低。针对以上问题，本文以像素层为要素提取粒度，将卷积神经网络的结构归入要素提取问题的数学模型中，提出了根据可变结构卷积神经网络的印象要素提取办法。本文办法将卷积神经网络中的要害结构作为变量，将形式化模型的要素提取方针作为方针函数。方针函数的最优解对应为要害结构最优的卷积神经网络模型。因为该方针函数关于网络中要害结构的导函数不行求取，选用遗传算法查找最佳要害结构。关于遗传算法列举出的每个网络模型，根据传统穿插熵方针函数和梯度下降算法求解其间的不知道参数，并以网络的要素提取功能作为相对应个其他习惯性衡量。终究，经过实验证明了本文办法的有用性。
1 办法描绘 1.1 模型变量1.1.1 数据变量
约好印象张量X=[xn, h, w, c]N×H×W×C，其间xn, h, w, c为灰度值，其下标代表4个维度，n为印象索引，h为像素高度方位索引，w为像素宽度方位索引，c为像素光谱通道索引，Y=[yn, h, w, 0]N×H×W×1是像素类属方针要素的布尔符号。则关于某一类其他要素(如路途)，已知数据集可表明为
(1)式中，UInt16={0, 1, …, 216-1}；Boolean={0, 1}。
1.1.2 网络结构变量
考虑要素提取粒度为像素层，有必要对卷积神经网络模型的架构进行束缚。本文选定编码器解码器网络作为根本架构。典型的编码器、解码器网络包括U-Net和SegNet。SegNet可以描绘为带有跨过衔接的编码器和解码器操作序列，其间编、解码器中的不行变部分是网络骨架，可变部分为要害结构，契合本文办法的运用要求。一起，为了便于拓宽，本文规划了类SegNet作为可变结构卷积神经网络的根底架构。一个简略的具有两个编码单元和解码单元的类SegNet如所示。
|
| 必威现金回扣 1 具有两个编码单元和解码单元的类SegNet Fig. 1 A SegNet with 2-units encoder and 2-units decoder |
|
|
约好F代表类SegNet引进的悉数操作序列，fij是其间的一个操作，下标i为操作的次序索引，下标j为操作的品种索引，θij为fij引进的变量，ξij为fij引进的常量。可以将该网络模型表达为
(2)式中，Z(I)=[zn, h, w, 1(I)]N×H×W×1为像素类属方针要素的概率张量，即满意zn, h, w, 1(I)∈[0, 1]。引进F′⊂F表明类SegNet中编码单元与解码单元中可变部分的操作序列。
1.2 方针函数构建根据上述模型变量，形式化地界说要素分类方针均匀Jaccard指数为方针函数
(3)式中
(4)式中，σ为概率阈值，一般依照经历设定为0.5。本文办法依照方针函数最大化原则求取最优F′，然后取得要害结构规划最优的卷积神经网络模型。
1.3 根据遗传算法的组合优化因为F′代表类SegNet中可变部分悉数操作的一组序列，在已知数据D的条件下最大化方针函数问题可以转化为对F′的组合优化问题。遗传算法(genetic algorithm, GA)[]是一种仿照生物种群进化进程的随机优化算法。对数据规划较大的组合优化问题，GA在求解非线性的函数优化问题等方面有杰出的适用性[]。因而，本文根据GA结构求解对F′的组合优化问题。运用GA求解编码单元和解码单元组合优化问题的要害进程在于可行解的编码、种群初始化设定、个别习惯度的界说和遗传算子的规划。
1.3.1 可行解的编码
本文运用一个个别P代表一组可行解，由结构染色体CA和超参数染色体CP组成
(5)结构染色体由一组结构基因AUu组成，超参数染色体由一组超参数基因PUu组成，下标u为基因方位索引, U为基因长度，取偶数
(6)结构基因是一组二进制数，可经过映射字典对应编码单元或解码单元中的操作类型，超参数基因是设置操作的超参数，例如卷积核数量、卷积核巨细和激活函数称号等。为了对可行解的编码进程进行愈加明晰的论述，举例如下。
列出基因-结构单元的映射字典。根据给出数据，当取U=6，类SegNet编码进程可得如所示网络结构。
| AU | PU | 结构单元 | |||
| 1 | 2 | 1 | 2 | ||
| 00 | 卷积核 | 激活函数 | 卷积 | 激活 | |
| 01 | 激活函数 | 卷积核 | 激活 | 卷积 | |
| 10 | 卷积核 | 批标准化轴 | 卷积 | 批标准化 | |
| 11 | 批标准化轴 | 卷积核 | 批标准化 | 卷积 | |
|
| 必威现金回扣 2 类SegNet的个别编码进程 Fig. 2 The code of individual and corresponding SegNet |
|
|
在右侧所示的类SegNet中，第1个编码单元的界说是先卷积层后激活层，其间卷积操作的卷积核数为32，卷积核巨细为(3, 3)，激活操作的激活函数为elu(文献[])，对应到结构染色体中第1个结构基因为00，超参数染色体中第1个超参数基因为((32, (3, 3)), (elu))，其他单元可顺次类推，终究构成左边的个别。
1.3.2 种群初始化设定
设Gv表明第v代代一切个其他调集
(7)式中，o为个别索引; O为个别总数; v为代代索引; Po(v)为第v代代编号为o的个别。引进卷积核数量调集filters_ud，卷积核数量与单元网络深度份额因子调集filters_scale，卷积窗口宽高调集kernel_size，激活函数字典调集activation_dic，批标准化动量调集momentum_ud。记random为随机从调集抽取一个元素的函数，关于o=1, …, O, u=1, …, U，初始化的种群个别表明为
(8)式中，AUu(0, o)=(random({0, 1}), random({0, 1}))；PUu(0, o)=Φ(AUu(0, o))。Φ是根据结构基因初始化对应超参数基因的函数，可根据基因-结构单元映射字典和AUu界说。运用给出的基因-结构单元映射字典，Φ示例为
(9)式中
(10)1.3.3 个别习惯度界说
考虑到GA中的个别数量较多，为下降估量个别习惯度所需的核算量，本文选用数据抽样和不充沛练习的战略核算个别习惯度。
数据抽样战略假定已知数据集D是均匀的，对其抽样N′张印象和标示，构成抽样数据集D′⊂D，
(11)约好操作序列F′对应的个别为P′，则将D′和F′(代入式(3)界说为个别P′的习惯度。由此，为了核算习惯度函数，需求核算F′中操作引进的不知道参数θ′ij。本文凭借传统卷积神经网络求解办法，界说经历丢失函数为
(12)在经历丢失函数最小化原则下，运用自习惯低阶矩的随机一阶梯度下降算法[]。在固定数据遍历次数和附加提早中止的条件下，求解模型中不知道参数的数值解。由此，可完成以较小的核算本钱开始估量网络的表达才干。
1.3.4 遗传算子的规划
(1) 随机联赛挑选算子。对当时代代G，随机选取K个个别作为参与联赛的个别调集GSt，以t表明联赛次数索引
(13)将每次联赛中习惯度最优的个别保存，组成育婴下一种群的候选GP
(14)(2) 单点穿插算子。将挑选出个别按奇偶次序两两配对，别离作为父代和母代
(15)式中，a=1, 3, …, T-1;b=2, 4, …, T。以必定概率αco交流爸爸妈妈代染色体中的部分基因，即
(16)式中，P′a与P′b为交流后的个别；CA′a、CP′a、CA′b、CP′b为交流后的染色体；β为交流方位起点，δ为交流部分基因长度，β与δ均在可行域内取随机数。得到交流后的种群GE
(17)(3) 根本位变异算子。染色体穿插后种群中的每个个别以必定概率αmt发作根本位的变异。假定Pmt为概率断定要发作根本位变异的个别
(18)对其结构染色体CA(mt)中每个基因按必定概率αfp从头初始化。假定AUγ(mt)为概率断定要发作变异的结构基因
(19)则从头初始化后结构基因
(20)因为AUγ(mt)发作改变，超参数染色体CP(mt)相同方位的超参数基因PUγ(mt)也有必要相应改动。将AUγ(mt′)代入式(9)，将PUγ(mt)从头初始化为PUγ(mt′)。由此得到CA(mt′)和CP(mt′)，兼并后表明变异后个别Pmt′
(21)1.3.5 办法流程
归纳以上概念，本文办法分解为3个部分，第1部分为架构界说，第2部分为结构优化，第3部分为固定结构CNN的要素提取。流程如所示，描绘如下：
|
| 必威现金回扣 3 本文办法流程 Fig. 3 The flowchart of the proposed method |
|
|
进程1：界说参数。包括网络层规划参数、基因结构字典规划、单元数量和遗传参数等。
进程2：初始化种群。设定随机初始化种群个其他染色体。
进程3：估量每个个其他习惯度。将种群中每一个个别映射为类SegNet卷积神经网络，选用数据抽样和不充沛练习的战略求解模型不知道参数，核算方针函数值作为个别习惯度。
进程4：进化中止条件断定。判别最佳个别习惯度是否到达预期值或到达束缚的最大进化代代数。若满意中止条件则转向进程9，不然进入进程5。
进程5：挑选运算。将随机联赛挑选算子作用于种群。
进程6：穿插运算。将单点穿插算子作用于种群。
进程7：变异运算。将根本位变异算子作用于种群，由此得到下一代种群。
进程8：回来进程3。
进程9：陈述最优个别。最优个别映射的类SegNet卷积神经网络结构即为求解得到的决策函数族，在撤销数据抽样和不充沛练习战略的条件下求解模型不知道参数。
进程10：运用求取的模型对印象中的要素进行提取。本文这儿选用办法在独立测验集上的方针进行作用点评。
2 实验和剖析 2.1 实验设定为了验证本文办法的有用性，研讨根据DSTL比赛数据会集的印象和10种要素符号，运用本地穿插验证[]的战略点评本文办法的可靠性。
DSTL数据集是以World-View3所拍照的印象为根底制成的要素符号数据集，供给了57个区域的印象，其间25个区域包括居民地、沥青路途、林木与河流等10种要素符号。每个区域供给空间分辩率为31 cm的交融后RGB印象、空间分辩率为31 cm的全色印象、空间分辩率为1.24 m的多光谱8波段印象及空间分辩率为7.5 m的短波8波段印象。
数据预备进程如下：①将25张印象及其对应的地物要素类别必威现金回扣划分为17张模型练习集与8张独立测验集；②在模型练习会集，对每种地物要素生成与8波段多光谱印象长宽相同的方针要素符号二值必威现金回扣像；③将模型练习会集8波段多光谱印象与方针要素符号二值必威现金回扣像裁切成巨细相同的必威现金回扣块，印象必威现金回扣块与其对应的二值符号必威现金回扣块称为一组；④对一切的组抽样32%作为抽样集，其他作为余样。为各组数据会集的组数量。
| 调集 | 模型练习集 | 独立测验集 | |
| 印象/张 | 17 | 8 | |
| 要素类别 | 要素练习集/组 | ||
| 抽样集 | 余样集 | 总计 | |
| 建筑物 | 102 | 215 | 317 |
| 稠浊隶属物 | 98 | 208 | 306 |
| 沥青路途 | 98 | 206 | 304 |
| 非沥青路途 | 96 | 205 | 301 |
| 林木 | 114 | 241 | 355 |
| 犁地 | 121 | 257 | 378 |
| 河流 | 100 | 212 | 312 |
| 湖泊 | 98 | 206 | 304 |
| 大型车辆 | 100 | 212 | 312 |
| 小型车辆 | 98 | 207 | 305 |
实验运用所示的基因-结构单元映射表，不充沛练习的详细设定是固定数据遍历次数为70，批张量巨细设定为2。为了防止核算时刻过长，在实验中设定最大进化数V为200代。卷积核数量候选集filters_ud为{3, …, 16}，卷积核窗口巨细kernel_size为{1, 2, 3}，卷积核数量随深度改变系数filters_scale为{2, 3, 4, 5}，激活函数候选集{'elu', 'selu', 'relu', 'tanh', 'softplus', 'softsign', 'sigmoid', 'hard_sigmoid'}，批标准化动量集{0.8, 0.81, …, 0.99}, 失活率集{0.5, 0.51，…, 0.99}，种群规划O为20，联赛规划K为3，染色体穿插概率αco为0.5，基因变异概率αmt为0.02。卷积神经网络模型中权重求解的收敛条件为丢失小于0.001或超越2000次数据遍历。
| AU | PU | 结构单元 | |||||
| 1 | 2 | 3 | 1 | 2 | 3 | ||
| 000 | 卷积核 | 动量系数 | 激活函数 | 卷积 | 批标准化 | 激活 | |
| 001 | 卷积核 | 激活函数 | 动量系数 | 卷积 | 激活 | 批标准化 | |
| 010 | 激活函数 | 动量系数 | 卷积核 | 激活 | 批标准化 | 卷积 | |
| 011 | 激活函数 | 卷积核 | 动量系数 | 激活 | 卷积 | 批标准化 | |
| 100 | 动量系数 | 激活函数 | 卷积核 | 批标准化 | 激活 | 卷积 | |
| 101 | 动量系数 | 卷积核 | 激活函数 | 批标准化 | 卷积 | 激活 | |
| 110 | 卷积核 | 激活函数 | 失活率 | 卷积 | 激活 | 失活 | |
| 111 | 卷积核 | 动量系数 | 失活率 | 卷积 | 批标准化 | 失活 | |
实验的硬件环境为Intel(R) Core(TM) i7-7700 HQ 2.80 GHz，NVIDIA Quadro M1200和Intel(R) Xeon(R) E5-2630U3 2.40 GHz，4块NVIDIA Tesla M40，软件环境为Python 3.5.2，首要依靠库为Tensorflow1.4.0，Keras2.0.8。
2.2 实验成果2.2.1 遗传进程
运用可变结构卷积神经网络模型对10种要素提取进程建模并进行实验，反映了结构优化进程中种群习惯度与进化代代数之间的联系。其间，种群习惯度散布由小提琴宽度表明，种群习惯度上下限由小提琴上下极点表明。对进化进程中种群习惯度肯定值的调查显现，长度为6的类SegNet架构对不同要素的提取体现不同，体现为犁地要素提取网络的肯定提取作用最高，非沥青公路要素提取网络次之，之后顺次是河流、沥青公路、林木、湖泊、建筑物，小型车辆、大型车辆。
|
| 必威现金回扣 4 10种要素网络模型结构优化遗传进程小提琴必威现金回扣 Fig. 4 The violin figures of evolution of CNN architectures for ten features |
|
|
从种群进化进程前后个别习惯度的相对改变来看，大都要素提取网络的表达才干在进化进程后都得到了必定程度的优化()。剖析数据可以看出，个别习惯度优化的起伏与要素品种相关，例如提取河流、沥青公路、非沥青公路的方针优化起伏在0.15至0.35之间，而提取建筑物、稠浊隶属物、林木、犁地、湖泊的方针优化起伏均在0.10以内，大型车辆、小型车辆的提取方针在优化前后并未有所进步。由此得出定论：在长度为6的类SegNet架构束缚下，网络结构优化进程对不同要素的适用性不同，对非沥青公路、沥青公路、河流的要素提取网络的结构优化较为有用，而对建筑物、稠浊隶属物、林木、犁地的网络优化作用有限。关于大型车辆和小型车辆而言，提取模型的肯定方针简直为0，而且优化结构也不能取得任何进步，因而可以判别网络结构并非提取该类特别要素的束缚条件。
| 要素 | 初代最优个别 | 末代最优个别 | 优化起伏 |
| 建筑物 | 0.575 | 0.638 | 0.063 |
| 稠浊隶属物 | 0.057 | 0.132 | 0.075 |
| 沥青公路 | 0.421 | 0.653 | 0.232 |
| 非沥青公路 | 0.522 | 0.880 | 0.358 |
| 林木 | 0.575 | 0.651 | 0.077 |
| 犁地 | 0.825 | 0.925 | 0.099 |
| 河流 | 0.658 | 0.805 | 0.147 |
| 湖泊 | 0.601 | 0.648 | 0.048 |
| 大型车辆 | 0.000 | 0.002 | 0.002 |
| 小型车辆 | 0.001 | 0.007 | 0.006 |
2.2.2 终究网络
取结构优化进程中末代网络的最优个别，并映射为所对应的终究网络，为10种要素的可变结构卷积神经网络的终究结构。B、C、A别离表明批标准化层、卷积层、激活层，后边附加的是该层所需的超参数。(C-卷积核数量，卷积窗口巨细，B-动量系数，A-激活函数)。
| 结构 | 终究结构 | |||||||||
| 建筑物 | 稠浊隶属物 | 沥青公路 | 非沥青公路 | 林木 | 犁地 | 河流 | 湖泊 | 大型车辆 | 小型车辆 | |
| EU1 | B-0.83 | B-0.99 | C-32, 3 | B-0.94 | C-28, 2 | C-16, 3 | C-26, 3 | B-0.91 | B-0.85 | A-tanh |
| C-32, 3 | A-tanh | A-hard sigmoid | C-16, 3 | A-hard sigmoid | A-elu | B-0.83 | C-30, 2 | A-elu | C-22, 2 | |
| A-softsign | C-14, 3 | B-0.96 | A-tanh | B-0.85 | B-0.82 | D-0.56 | A-elu | C-22, 5 | B-0.91 | |
| EU2 | A-relu | B-0.82 | B-0.89 | A-hard sigmoid | B-0.85 | B-0.87 | A-selu | A-tanh | C-56, 4 | B-0.97 |
| C-28, 2 | A-elu | A-relu | C-64, 3 | A-softplus | A-relu | C-44, 3 | C-56, 2 | A-selu | C-40, 3 | |
| B-0.81 | C-40, 3 | C-44, 3 | B-0.92 | C-40, 3 | C-32, 5 | B-0.99 | B-0.87 | D-0.82 | A-sigmoid | |
| EU3 | A-relu | C-56, 3 | A-relu | C-96, 5 | B-0.84 | A-relu | B-0.97 | A-selu | B-0.88 | C-24, 3 |
| C-72, 3 | B-0.94 | B-0.84 | A-softplus | A-softplus | B-0.95 | A-tanh | B-0.9 | A-elu | A-tanh | |
| B-0.83 | A-relu | C-96, 5 | B-0.87 | C-128, 3 | C-112, 4 | C-112, 5 | C-40, 5 | C-112, 2 | D-0.79 | |
| DU1 | B-0.82 | C-24, 5 | A-hard sigmoid | C-64, 5 | B-0.98 | C-32, 4 | A-sigmoid | B-0.87 | B-0.93 | C-32, 5 |
| A-tanh | A-selu | C-104, 2 | A-relu | C-56, 5 | A-tanh | C-112, 2 | A-relu | A-softplus | A-hard sigmoid | |
| C-88, 3 | B-0.8 | B-0.89 | B-0.85 | A-relu | B-0.86 | B-0.92 | C-120, 5 | C-40, 4 | B-0.96 | |
| DU2 | B-0.95 | B-0.87 | B-0.82 | B-0.91 | C-48, 2 | A-softsign | B-0.98 | B-0.9 | C-40, 5 | C-36, 5 |
| A-relu | A-relu | A-relu | A-relu | A-relu | C-56, 5 | C-16, 2 | A-tanh | A-relu | A-sigmoid | |
| C-52, 5 | C-56, 3 | C-36, 3 | C-40, 5 | B-0.91 | A-relu | A-softplus | C-24, 3 | B-0.9 | B-0.93 | |
| DU3 | C-32, 4 | C-24, 4 | C-20, 4 | C-10, 3 | C-20, 5 | C-14, 4 | C-32, 4 | B-0.85 | C-6, 3 | A-tanh |
| B-0.9 | A-selu | B-0.96 | B-0.82 | B-0.8 | B-0.91 | A-sigmoid | A-hard sigmoid | A-relu | B-0.83 | |
| A-relu | D-0.73 | A-hard sigmoid | A-sigmoid | A-relu | A-relu | B-0.96 | C-12, 5 | D-0.74 | C-32, 4 | |
| 习惯度 | 0.64 | 0.13 | 0.65 | 0.88 | 0.65 | 0.92 | 0.81 | 0.65 | 0.002 | 0.006 |
为对多种要素提取网络模型中激活操作的函数核算频数。剖析发现relu函数的出现频数显着高于其他函数，tanh次之，最少出现的是softsign。阐明激活函数的挑选上relu函数非线性激活的处理功率高于其他函数，通用性强于其他函数。
|
| 必威现金回扣 5 参数剖析核算 Fig. 5 The statistics of parameters analysis |
|
|
建筑物、沥青公路、非沥青公路、林木、河流等要素的提取网络中，卷积核数量遵守随深度递加的设定，的折线必威现金回扣出现倒U形；而犁地、湖泊、稠浊隶属物、小型车辆、大型车辆要素提取网络中，卷积核数量并未遵守随深度递加的设定。阐明卷积核数量的设定受要素品种影响，并非彻底遵守随深度递加的规则。对卷积核窗口巨细的核算显现宽度为3的卷积窗口频数较高，为22次；宽度为5的窗口出现了18次；宽度为4的出现了10次。阐明宽度为3的卷积窗口较宽度为4的卷积窗口通用性更强。中批标准化操作中动量系数按要素品种不同出现3种散布：稠浊隶属物和沥青公路的要素提取网络中，动量系数出现W形，非沥青公路、犁地、河流、湖泊的要素提取网络中，动量系数出现M形，其他要素提取网络中，动量系数在编码器阶段改变起伏不大，而在解码阶段剧烈改变，出现倒扣的勺状。Dropout处理出现在稠浊隶属物、河流、大型车辆、小型车辆4种要素提取网络中。阐明模型优化进程对多光谱特征较为杂乱的要素会运用Dropout的模型均匀作用来测验进步其提取作用。
2.2.3 提取作用
为独立测验集上一张印象按本文办法提取要素的作用。其间要素真值与猜测值的真实(true positive)部分以绿色符号，假负(false negative)部分以赤色符号，假正(false positive)部分以黄色符号，真负(true negative)部分以白色符号。
|
| 必威现金回扣 6 方针要素提取成果 Fig. 6 The extraction results of target surface features |
|
|
经过视觉调查，关于测验印象中的林木、非沥青公路、犁地、建筑物、沥青公路、湖泊要素，模型提取出了大部分方针区域，阐明模型具有必定的分类泛化才干。因为河流要素未出现在示例必威现金回扣像中，模型的猜测成果均为假正，阐明对负样本的处理是模型有用化的要害。另一方面，模型关于稠浊隶属物、大型车辆、小型车辆要素的提取作用并不抱负。究其原因是稠浊隶属物包括了多种建筑物隶属结构，其像元光谱非常杂乱导致模型难以区别。别的，多光谱印象的分辩率为1.24 m，这3类要素在印象上的必威现金回扣斑标准过小，客观上也添加了提取的难度。
将本文AVCNN办法与Logistic、SVM、SegNet模型进行比照，点评方针选取模型在独立测验调集(8张印象)上的Jaccard指数。有必要阐明的是，办法对要素负样本的正确提取将使得Jaccard指数无意义，在核算时被疏忽，但对要素负样本的过错提取仍会被核算。这种核算办法会极大地下降无法对负样本做彻底正确猜测的模型的评分，本文将其称为Jaccard指数的负样本按捺核算效应。为点评方针散布箱形必威现金回扣，为各提取办法在测验调集上的均匀方针。
|
| 必威现金回扣 7 4种办法在独立测验集Jaccard指数箱形必威现金回扣 Fig. 7 The box plots of Jaccard indexes of four methods on test set |
|
|
| 要素称号 | 提取办法 | |||
| Logistic | SVM[] | SegNet[] | AVCNN | |
| 建筑物 | 0.05 | 0.00 | 0.12 | 0.22 |
| 稠浊隶属物 | 0.00 | 0.00 | 0.00 | 0.04 |
| 沥青公路 | 0.03 | 0.01 | 0.00 | 0.19 |
| 非沥青公路 | 0.02 | 0.00 | 0.01 | 0.49 |
| 林木 | 0.20 | 0.00 | 0.05 | 0.52 |
| 犁地 | 0.10 | 0.12 | 0.10 | 0.26 |
| 河流 | 0.18 | 0.06 | 0.00 | 0.02 |
| 湖泊 | 0.01 | 0.00 | 0.02 | 0.09 |
| 大型车辆 | 0.00 | 0.00 | 0.00 | 0.00 |
| 小型车辆 | 0.00 | 0.00 | 0.00 | 0.00 |
反映出AVCNN对大都要素的提取作用优于其他3种办法。在独立测验会集，仅有1张印象包括河流要素，Logistic模型经过负样本上的正确猜测规避了均匀Jaccard指数在核算上的负样本按捺效应，而本文办法尽管在正样本上的体现与Logistic模型适当(中河流要素的孤立点)，但在负样本上产生了少数的过错猜测，导致在核算的均匀Jaccard指数上显着低于Logistic模型()。
2.3 剖析为遗传进程中多个网络模型对非沥青路途要素提取的比照。可以看出，第50、100、150代以及终究输出网络经充沛练习在测验集的提取成果中，假负部分(赤色部分)逐步削减，真实部分(绿色部分)逐步增多，提取作用逐步进步，阐明运用不充沛练习估量模型表达力的战略是有用的。
|
| 必威现金回扣 8 遗传进程中类SegNet的功能改善 Fig. 8 The performance improvement of AVCNN in evolution |
|
|
将本文办法得出各要素终究提取网络结构在要素间穿插地履行练习和提取，得到所示的适配性矩阵(纵坐标代表网络权重练习所根据的要素索引，横坐标代表终究提取网络结构所根据的要素索引，坐标值为模型在独立测验集上的均匀Jaccard指数)。由必威现金回扣中可以看出，遗传算法得到的网络结构与要素间的适配性与要素类型有关：对非沥青公路、林木两种要素，遗传算法得到的网络结构对其要素自身的提取是最优的，其间非沥青公路要素的网络与其他网络差异较为显着；关于建筑物、稠浊隶属结构、沥青公路，犁地、河流、湖泊、小型车辆等7种要素，遗传算法得到的网络结构对其要素自身的提取作用并非最优，但也具有适当的提取才干，阐明本文办法体现出适当大的随机性，但可以作为求解具有必定容量的网络结构的办法；关于大型车辆，一切要素提取网络都未取得有用的提取作用，阐明本文办法的适用性受限于数据条件和要素特色。综上，遗传算法对一种要素求解得到的网络结构对其他要素也具有必定的习惯性，当方针地物发作改变时，从头运用遗传算法得到的新的网络可以取得具有必定容量的模型结构，但仍受要素特色与数据条件的束缚。
|
| 必威现金回扣 9 各要素与解网络间的适配性矩阵 Fig. 9 The adaptive array of AVCNN of different features |
|
|
以非沥青路途为例，调整输入模型的印象块巨细并对网络结构进行相应重构，得到印象块巨细对终究网络结构提取作用的影响()。从必威现金回扣中可以看出，输入印象块巨细会影响网络模型的猜测作用。详细体现为跟着印象块巨细的添加，模型在独立测验集要素提取方针出现先增后减的趋势。
|
| 必威现金回扣 10 印象块巨细对模型功能影响 Fig. 10 The performance of models with different input size |
|
|
印象的要素提取中，一般以为像素的类别具有仅有性。可是，在DSTL数据会集，部分要素的矢量数据在空间上存在堆叠，例如林木与犁地，林木与非沥青公路等。这一部分堆叠要素从印象中像元的光谱特征上难以分辩，但在逻辑上存在合理性。根据Softmax分类器的SegNet尽管架构简略，练习便利，但其所分像素具有类别上的排他性。因而本文以为针对每种要素建立像元的二值分类模型愈加契合人类的片面认知和数据集特性。
AVCNN的中心进程是运用进化算法对卷积神经网络模型进行结构及参数的调优。进化算法的收敛功率低，卷积神经网络的练习时刻长，都使得本次研讨中AVCNN的时刻本钱反常昂扬，在运用4块24 GB显存GPU的条件下，各进程的均匀时刻耗费如所示。事实上，现有关于网络结构主动化查找的其他研讨[-]都依靠于强壮的硬件支撑。本文办法承继了进化算法的可并行特性、卷积神经网络模型的可散布式特性。因而可以结合散布式核算技能缩短办法的履行时刻，进步办法的有用性。
|
| 必威现金回扣 11 本文办法各进程的均匀时刻耗费/h Fig. 11 The average time consuming of our method/h |
|
|
3 定论
针对现有卷积神经网络模型多为人工固定界说，在提取印象中的方针要素时表达才干遭到固定结构束缚且主动化水平低的问题，提出了根据可变结构卷积神经网络要素提取办法。本文面向印象要素提取场景界说类SegNet架构，将其间的要害结构作为变量，将模型的要素提取精度作为方针函数，规划了适用于该优化问题的遗传算法以求解网络结构，终究根据求解后得到的网络结构提取印象中的方针要素。得出以下定论：①以“界说架构而非界说结构，求解结构而非固定结构”为中心思维的可变结构卷积神经网络模型规划思维是可行的；②本文规划的GA可以作为求解具有必定容量的可变卷积神经网络中要害结构的一种有用办法；③比较传统固定结构卷积神经网络，可变结构卷积神经网络具有愈加灵敏的模型容量和更强的模型表达才干。在仅运用多光谱数据的条件下，根据可变结构卷积神经网络模型提取DSTL数据会集各要素的Jaccard指数均优于根据Logistic、SVM和SegNet模型的办法。更重要的是，可变结构卷积神经网络将结构界说进步到了架构界说，削减了网络规划进程对专家常识的依靠，是深度学习主动化方面的重要探究。可是，有必要留意的是模型自优化算法遍及需求高密度的核算资源，需求与散布式核算集群合作才干满意一般的事务的时刻需求。别的，本文办法依然受限于卷积神经网络的根底架构和网络深度，要素分类的肯定精度依然有限。如何将全体架构和网络深度也归入网络结构优化挑选的进程中是下一步研讨的方向。
【引文格局】王华斌, 韩旻, 王光芒, 等. 印象要素提取的可变结构卷积神经网络办法. 测绘学报，2019，48(5)： 583-596. DOI: 10.11947/j.AGCS.2019.20180122
| KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe. Nevada: ACM, 2012: 1097-1105. | |
| ZANG Liangpei, ZHANG Lefei, DU Bo. Deep learning for remote sensing data:a technical tutorial on the state of the art[J]. IEEE Geoscience and Remote Sensing Magazine, 2016, 4(2): 22–40. | |
| 闫利, 江维薇. 一种运用结构特征的高分辩率印象种植园主动提取办法[J]. 测绘学报, 2016, 45(9): 1065–1072. YAN Li, JIANG Weiwei. A structure feature for automatic extraction of plantation from high-resolution remote sensing imagery[J]. |
|
| 郭军士.根据改善形状学指数的ZY3印象建筑物和暗影的提取及运用[D].西安: 西安科技大学, 2015. GUO Junshi. Extraction and application of building and shadow of ZY3 image based on improving morphological index[D]. Xi'an: Xi'an University of Science and Technology, 2015. |
|
| 张莹莹.高分辩率印象中典型路途提取办法研讨[D].哈尔滨: 哈尔滨工业大学, 2016. ZHANG Yingying. Research on methods of typical road extraction from high-resolution remote sensing image[D]. Harbin: Harbin Institute of Technology, 2016. |
|
| 李航. 核算学习办法[M]. 北京: 清华大学出版社, 2012. LI Hang. Statistical learning method[M]. Beijing: Tsinghua University Press, 2012. |
|
| 许夙晖, 慕晓冬, 赵鹏, 等. 运用多标准特征与深度网络对印象进行场景分类[J]. 测绘学报, 2016, 45(7): 834–840. XU Suhui, MU Xiaodong, ZHAO Peng, et al. Scene classification of remote sensing image based on multi-scale feature and deep neural network[J]. |
|
| KAMPFFMEYER M, SALBERG A B, JENSSEN R. Semantic segmentation of small objects and modeling of uncertainty in urban remote sensing images using deep convolutional neural networks[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Las Vegas, NV: IEEE, 2016: 680-688. | |
| ZHANG Fan, DU Bo, ZHANG Liangpei, et al. Weakly supervised learning based on coupled convolutional neural networks for aircraft detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(9): 5553–5563. | |
| LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278–2324. | |
| HU Fan, XIA Guisong, HU Jingwen, et al. Transferring deep convolutional neural networks for the scene classification of high-resolution remote sensing imagery[J]. Remote Sensing, 2015, 7(11): 14680–14707. | |
| ZHANG Fan, DU Bo, ZHANG Liangpei. Saliency-guided unsupervised feature learning for scene classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(4): 2175–2184. | |
| SHELHAMER E, LONG J, DARRELL T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640–651. | |
| RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[C]//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer, 2015: 234-241. | |
| BADRINARAYANAN V, KENDALL A, CIPOLLA R. Segnet:a deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481–2495. | |
| IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the 32nd International Conference on Machine Learning. Lille, France: [s.n.], 2015: 448-456. | |
| GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Columbus, OH: IEEE, 2014: 215-228. | |
| GIRSHICK R. Fast R-CNN[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015. | |
| REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137–1149. | |
| HE Kaiming, GKIOXARI G, DOLLÁR P, et al. Mask R-CNN[C]//Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 2980-2988. | |
| CHEN Fen, REN Ruilong, VAN DE VOORDE T, et al. Fast automatic airport detection in remote sensing images using convolutional neural networks[J]. Remote Sensing, 2018, 10(3): 443. | |
| HOLLAND J H. Adaptation in natural and artificial systems[M]. Cambridge, Massachusetts: MIT Press, 1992. | |
| 李明.遗传算法的改善及其在优化问题中的运用研讨[D].长春: 吉林大学, 2004. LI Ming. The study on improved genetic algorithm and its application in optimization questions[D]. Changchun: Jilin University, 2004. |
|
| CLEVERT D A C, UNTERTHINER T, HOCHREITER S. Fast and accurate deep network learning by exponential linear units (ELUs)[R]. International Conference on Learning Representations 2016. San Juan: ICLR, 2016. | |
| KINGMA D P, BA J. ADAM: a method for stochastic optimization[C]//Proceedings of International Conference on Learning Representations 2015. San Diego: ICLR, 2015: 321-335. | |
| TAN P, STEINBACH M, KUMAR V.数据发掘导论[M].范明, 范宏建, 译.北京: 人民邮电出版社, 2011. TAN P, STEINBACH M, KUMAR V. Introduction to data mining[M]. FAN Ming, FAN Hongjian, trans. Beijing: Post & Telecom Press, 2011. |
|
| CHANG C C, LIN C J. LIBSVM:a library for support vector machines[J]. | |
| MENDOZA H, KLEIN A, FEURER M, et al. Towards automatically-tuned neural networks[C]//Proceedings of JMLR: Workshop and Conference Proceedings.[S.l.]: JMLR, 2016: 58-65. | |
| KANDASAMY K, NEISWANGER W, SCHNEIDER J, et al. Neural architecture search with Bayesian optimisation and optimal transport[C]//Proceedings of the 32nd Conference on Neural Information Processing Systems. Montréal, Canada: [s.n.], 2018. | |
| ASSUNÇO F, LOURENÇO N, MACHADO P, et al. DENSER:deep evolutionary network structured representation[J]. Genetic Programming and Evolvable Machines, 2019, 20(1): 5–35. | |
| DUFOURQ E, BASSET B A. EDEN: evolutionary deep networks for efficient machine learning[C]//Proceedings of 2017 Pattern Recognition Association of South Africa and Robotics and Mechatronics International Conference. Bloemfontein, South Africa: [s.n.], 2017. |
【引文格局】王华斌, 韩旻, 王光芒, 等. 印象要素提取的可变结构卷积神经网络办法. 测绘学报，2019，48(5)： 583-596. DOI: 10.11947/j.AGCS.2019.20180122
下一篇：没有了！
