本文介绍了一种面向光学遥感目标检测任务的动态知识蒸馏方法。该方法依托师生教学机制，一方面，通过特征级蒸馏，提升学生模型在复杂遥感场景下的空间关系建模能力，缓解地物混淆问题；另一方面，通过实例级蒸馏，强化学生模型对外观模糊、形状各异的小目标、大长宽比目标的适应能力。显著地提升了轻量级学生模型的检测精度。
本项工作由赛博智能团队的张伊丹等人提出，相关论文已于年11月被IEEETransactionsonGeoscienceandRemoteSensing期刊录用。
论文信息
Y.Zhang,Z.Yan,X.Sun,W.Diao,K.FuandL.Wang,"LearningEfficientandAccurateDetectorsWithDynamicKnowledgeDistillationinRemoteSensingImagery,"inIEEETransactionsonGeoscienceandRemoteSensing,vol.60,pp.1-19,,Artno.,doi:10./TGRS...
01背景简介
随着边缘智能的发展，轻量化、高精度的遥感目标检测愈发重要，可应用于卫星在轨处理解译、无人机实时跟踪等新型遥感智能场景。而现有的高精度模型多采用参数较多的CNN结构，时效性差，高效的小模型通常又准确率过低。解决上述问题的一种思路是知识蒸馏，可通过师生教学机制，提升轻量级学生模型的精度。但是，如下图所示，现有的蒸馏方法忽视了遥感地物要素之间的关系，并且对遥感目标本身的形状和比例特性理解不足，蒸馏精度提升有限。
图1光学遥感目标示意图
具体来讲：
1、光学遥感影像图幅辽阔，背景复杂，目标通常与背景存在地理空间关系：环岛被辐射状道路环绕，飞机停靠在航站楼和航道线旁，桥梁修建在水上等。传统蒸馏方法通常只模仿目标所在前景区域的特征响应，难免损失重要的上下文信息，造成地物混淆。如上图（a）和（b）中的环岛和储油罐易混淆；
2、遥感目标外观模糊，形状多变，如图（c）所示，检测难度大，教师网络也会出现误判。若不加辨别地继承教师预测实例，将导致学生梯度向异常方向更新，造成误检和漏检；
3、遥感场景中小目标和大长宽比较多，如图（c）和（d）的小船与桥梁，大量实例目标的回归难度失衡，微小和狭长目标回归更难，蒸馏后定位精度差。
针对上述问题，本文从挖掘地物要素关系、规避教师误判、结合小目标和大长宽比目标特性三点入手，设计了一种新的动态知识蒸馏(DynamicKnowledgeDistillation，DKD)方法，提升轻量级学生模型的检测精度。
02方法介绍
DKD总体框架如下图所示，主要包含三个模块：动态全局蒸馏模块、动态实例选择模块和基于最短边的训练状态执导的损失函数。
图2动态知识蒸馏框架
2.1
动态全局蒸馏模块
针对地物要素空间关系被忽视的难题，本文提出了动态全局蒸馏模块（DynamicGlobalDistillationModule，GDM），利用全局上下文信息聚合机制，自适应地挖掘有价值的周边环境信息指导蒸馏，辅助学生模型的物体类别判断，改善了传统方法仅蒸馏固定目标区域所导致的地物混淆问题。
图3动态全局蒸馏模块
动态全局蒸馏模块位于师生检测器的骨干网络部分，它提取检测器特征金字塔处5个层级的输出。GDM将同尺度的学生层和教师层进行匹配，并增强它们之间的分布一致性。特征蒸馏损失定义为：
Ibk,i为前景-背景协同掩模，用于动态调整前景和背景像素的师生差异对蒸馏损失的贡献程度。为了避免上下文信息丢失，本文采用池化操作建模师生间知识的不变性。
不同的池化维度（如空间，通道，水平和垂直），代表了不同种类的知识。因为目标与周围环境的空间关系存在于宽高相互作用的维度中，如果这一维度坍塌，相关的映射关系将会丢失，由此选择pool=pspatial。同时，本文后续实验也证明，来自其他维度的信息对地物空间关系建模帮助甚微，甚至会引入多余的噪声。
2.2
动态实例选择模块
针对教师的误判问题，本文提出一组动态实例选择模块（DynamicInstanceSelectionDistillationModule，ISM）进行蒸馏。它在对分类头和回归头两部分进行蒸馏的同时，依据师生预测框的分类和回归损失构建判别因子，辨别性地筛选数值较小的蒸馏实例，赋予学生“自主判断”能力，避免盲目学习。
图4动态实例选择模块
ISM作用于检测网络的分类头和回归头的末端：
以分类头为例，ISM首先根据IoU对包含前景区域的预测实例进行初步筛选，再根据教师和学生网络在分类任务上的表现动态选择蒸馏实例。分类头的蒸馏损失如下：
在训练过程中，预测框不断变化的损失值Li实际上表明了网络当前对实例类别的判别能力。对于预测实例Boxi，将其在所有类别中的损失相加，获得判别因子Ji。当JS,i与JT,i相比足够小时，表明学生网络已经不再需要模仿教师。
对回归头的蒸馏与分类头类似，蒸馏损失公式如下：
2.3
基于最短边的训练状态执导的损失函数
遥感场景中的小目标和大长宽比目标通常是回归任务中的“难例”。以基于锚框的检测器为例，因为微小和狭长目标的宽度和高度一般与预设的锚框有较大的出入，这导致网络很难准确预测固有锚框到目标位置的偏移量。
在以往蒸馏中，未
转载请注明：http://www.0431gb208.com/sjszlff/378.html
