（图片源自网络）
1、引言
近年来空天地一体网络成为全球的研究热点。国外的Starlink星座、OneWeb星座、Kuiper星座以及中国的“鸿雁”“虹云”“天象”“银河Galaxy”等星座正如火如荼地实施。随着星座规模的激增，星地融合网络将面临巨大的技术挑战，其中路由问题成为当下研究热点。
随着人工智能和航空航天技术的发展，星上将具有强大的计算和存储能力，随着星间链路的增加及链路容量的进一步扩大，大多数信息交换和数据处理将在星地融合网络中以智能协作的方式实现。
由于卫星网络具有星间链路传播时延大、误码率高、网络拓扑高动态性、负载分布不均衡以及资源受限等特点，现有的路由算法仍存在较多问题。集中式路由需要存储和维护全网庞大的路由表信息，对星上资源有限的卫星网络造成巨大冲击；并且无法实时根据网络状态改变路由策略，缺少灵活性与容错能力。分布式路由需要邻居节点间定期交换状态信息，导致卫星网络中带宽资源浪费严重，并对星上计算能力具有一定的要求。
规模日益增大、星上环境更加复杂的星地融合网络，需要的预测指标增多，对卫星的存储、计算和路由能力都提出了更高的要求，频繁的消息交换给卫星资源能耗问题带来更大挑战，SDN、边缘计算、机器学习等技术与新型服务模式将成为路由问题的有效解决方案。
2基于软件定义的星地融合网络架构研究进展
2.1基于软件定义的卫星网络技术概述
随着新兴的卫星应用和服务愈加复杂，传统的卫星通信网络很难仅依靠空间网络来实现有效的服务交付，存在信息分离、服务滞后等问题，无法满足灾害预警、目标接力侦察等需求，因此有必要将卫星网络和地面网络相结合，形成综合的空间—地面卫星通信网络。然而，卫星和地面网络始终是相对隔离和异构的，缺乏统一管理，配置慢、流量调度不灵活，粗粒度QoS无法保证，是数据传输和服务交付中的重大障碍。因此将具有控制、转发分离特性的软件定义网络（SoftwareDefinedNetwork，SDN）引入卫星网络，通过软件定义网络控制器实时观测网络状态并完成网络信息的收集和管理，可增强卫星网络动态拓扑的适应性，提高卫星网络资源管理能力的普适性，节省开销。
参考文献对SDN应用在卫星网络中的优势、网络架构设计和关键技术进行了分析，并阐述了空天地一体网络中的网络分层结构。在现有研究中，不同的组网架构设计对应差异化的SDN层次框架，可分为以下两类。
（1）星地协同架构
这类架构实现了天基网络与地基骨干网的融合，其中多数研究将控制平面部署在地面网络，将卫星网络作为数据平面，通过星地网络实现对于中低轨卫星网络的管控及流量调度，属于地面单端管控，仅在星地链路稳定可用时有效。
参考文献提出的新型星地集成网络架构侧重于地面控制，在地面设施（控制中心、基站、地面站等）上安置SDN控制器，分别对地面网络和卫星网络进行控制，卫星层只负责数据的转发。参考文献将网络分为天基、空基、地基3层，保证各层能够在独立工作的基础上互联互通，除卫星外的各层均有SDN控制器，负责本层管理和各层协调。此外，参考文献[29]等均基于地面控制、卫星转发的思想进行研究。
（2）分层卫星架构
随着卫星星座规模的扩大，越来越多的研究选择在卫星上搭载控制平面，实现网络自治。在这类架构中，数据平面与控制平面混合部署，对于体量大、组网卫星数量多的星座是一种切实可行的架构方案。
参考文献基于分布式SDN提出的网络架构包括GEO/MEO/LEO3层卫星网络，LEO负责数据转发，MEO/GEO卫星包含搭载控制器的卫星和负责数据交换的卫星，实现了控制平面的逻辑中心化和物理分布化，并基于Raft算法实现了控制器集群的一致性。参考文献中将控制层放在GEO卫星上，将转发层放在LEO/MEO卫星和网关上，并将管理中心放在地面骨干网中负责决策和资源管理。参考文献提出的3层卫星通信网络架构则将GEO作为控制卫星，MEO作为路径搜寻的辅助卫星，LEO负责信息转发，并基于此提出了自适应路由算法提高网络性能。最新的研究中，由LEO负责辅助控制，参考文献提出一种SDN控制器动态放置方法，控制平面由地面管理控制中心、GEO主控制器和LEO从控制器组成，并根据应急任务进行动态自组网的划分。参考文献提出基于SDN的单层卫星多层控制器架构，控制平面由GEO卫星和地面站组成，利用其强大的计算能力，收集和处理网络流信息并通过神经网络训练数据流传输模型；数据平面为LEO卫星，利用控制平面下发的模型完成路径预测，并对数据流进行转发。
本文提出了一种基于分布式SDN的天基智能路由框架，在已有的相关研究基础上更进一步地引入地面+多层卫星的网络架构和双端控制、分层分域的智能控制思想，提高了天地网络资源整合能力和网络连通性。
2.2基于软件定义的分层架构
目前，空间网络中高时敏类型的任务需求凸显，由地面数据中心控制卫星组网的方式因时延过大等问题难以满足需求。此外，受限于空间任务的突发性、卫星节点接入的随机性以及星地链路的不稳定性，星地控制实现卫星组网及协同的方式可靠性不足，地面数据中心无法提供稳定的支持。
因此，为了提升星地融合网络的集中自治能力，奠定为天基高时敏应用提供定制化网络支撑的基础，本文提出一种基于SDN的在轨自主控制星地融合智能组网架构。如图1所示，该智能路由框架由天基网络和地面骨干网组成，天基网络涵盖了高轨卫星集群和低轨卫星集群。该框架通过提供智能化网络控制能力，可实现天地网络资源整合和网络的互联互通。
图1基于SDN的在轨自主控制星地融合智能组网架构
面向由卫星节点对通信、遥感等数据进行中继转发的典型天基应用场景，本文提出了一个分级、分域的卫星网络SDN控制器部署方案。将一级SDN控制器部署在高轨卫星集群上，实现对低轨卫星网络的顶层管控；将二级SDN控制器部署在低轨卫星集群上，作为控制终端，一方面接收一级SDN控制器指令以实现定制化的跨域通信，另一方面各个分域内的二级SDN控制器组织成二级SDN控制平面，直接生成区域网络调度决策，实现对区域内网络的控制和行为定义；除此之外，地面骨干网中部署的SDN控制器，在星地链路可用时具备优先控制权，直接接管对低轨卫星集群的顶层管控，同时负责对地面数据中心网络及星地链路的管控和调度。各层的具体功能分析如下。
（1）高轨SDN控制平面
高轨卫星即地球同步轨道卫星，覆盖范围广、集群网络拓扑稳定且辐射面相对固定，能够获取并维护天基低轨卫星网络的全局视图。这类卫星体量大，星载存储、计算及网络资源更加充足，能够支撑更加复杂的计算和更加密集的同轨道通信。在本架构中考虑将一级SDN控制器部署在所有高轨卫星上，形成高轨SDN集群，并将该层作为天基网络的一级控制平面。面向不同类型的卫星应用，该层的SDN控制器按需启用。
面向星地协同作业任务时，对于低轨卫星集群的控制权由部署在地面数据中心的SDN控制器接管，高轨SDN控制平面不启用。在星地协同作业时，低轨卫星与地面数据中心的链路实时可用，相较于高轨卫星与低轨卫星之间的链路，长度更短，时延更小；将地面数据中心作为一级SDN控制平面，实现对低轨卫星网络的跨域通信控制。
面向卫星集群单独作业任务时，对于低轨卫星集群的控制权由高轨SDN控制器接管，启用高轨控制平面作为一级SDN控制平面，实现对低轨卫星网络的跨域通信控制。
（2）低轨SDN控制平面
低轨卫星体积小、覆盖范围小、组网节点数量多，但网络拓扑动态性高。通过构建大规模的低轨卫星集群能够提升系统处理能力，实现在轨计算。本框架将二级SDN控制器部署在低轨卫星集群上，作为天基网络的二级控制平面。受限于低轨卫星星座的拓扑动态特性及有限的星载资源，将低轨卫星网络划分为多个自治域，在各个域内部署一个SDN控制器，面向小范围的区域，实现区域子网的行为定义和控制，更好地为天基应用提供服务。
面向星地协同作业任务时，该层作为星地协同作业的空间网络中继层，向上对接地面控制中心的一级SDN控制平面，实现跨域的SDN管控；向下对接低轨卫星集群，实现对任务组网络的定义和控制。
面向卫星集群单独作业任务时，该层可直接通过任务接入卫星，获取应用程序的网络需求，通过生成数据传输层控制决策，控制区域子网实现更加优质的流量调度及更加高效的数据转发。同时由高轨SDN控制平面辅助跨域的网络流量调度。
（3）地面骨干网SDN控制平面
地面骨干网实现了地面数据中心资源互联，能够提供充足的计算、存储和网络资源，进行复杂的任务处理。因此，在本架构中，在地面骨干网中部署SDN服务器，作为星地网络的地基控制层，与天基网络协同作业。
面向星地协同作业任务时，地基SDN控制平面提供了对于低轨卫星集群的一级管控能力，可以根据所卸载的天基任务需求，对低轨卫星集群的跨域通信进行定义及控制。同时，对于地面用户生成的任务需求，该层可直接调度星地链路资源，实现任务需求敏捷发布，与天基网络一起构成一套完备的面向卫星应用的网络支持方案。
面向卫星集群单独作业任务时，星地链路不可用，地基SDN控制平面不参与天基网络行为定义。
基于上述架构能够实现星地协同作业及卫星集群单独作业两种模式，在实现星地网络资源综合管控的同时能够大大提升天基网络的自治能力。这种分层、分域的部署模式具备3个突出的优势：在高轨卫星上部署SDN控制器，构成分布式SDN控制平面，分散单节点管控负载压力的同时，多控制节点之间可以通过高可用部署，避免单节点故障导致的集群失效；在低轨卫星集群中部署SDN控制器并分区域启用。区域依据星座构型划分，要求所有SDN控制节点的控制范围能够覆盖整个低轨卫星集群。各区域内SDN控制器根据任务需求按需启用，在任务执行阶段对区域子网进行控制。这种控制平面与数据平面混合的方式，能够有效提升天基网络的自治能力，协调同轨、异轨之间网络资源分配，更好地为上层应用提供网络支持；地基与高轨卫星的双端控制能力能够在不同任务需求及星地链路状态下提供完备的天基网络管控能力。
3智能路由技术在卫星领域的研究现状
3.1智能路由技术概述
随着深度学习算法的创新和网络设备硬件性能的提升，智能路由算法得到很大发展。但由于网络分布式的特点，基于深度学习实现网络智能路由在正确性和收敛性等方面仍面临较大挑战，在真实场景下的训练与部署方案仍不够完善。目前基于深度学习的智能路由研究主要分为监督学习和强化学习两类。
基于深度学习的路由算法就是将通过深度学习训练得到的模型作为路由求解算法。参考文献提出了基于QoS保证的智能路由管理策略，是针对SDN架构的智能路由定制方案。针对网络流量突发性强、拓扑时变等问题，参考文献使用神经网络实现了静态网络流量特征的建模，但是难以应对网络流量的变化。参考文献提出了一种改进的长短期记忆（LongShort-TermMemory，LSTM）网络算法，减少了神经网络过拟合的影响，提高流量预测精度。参考文献基于图神经网络预测网络拓扑、输入流量和路由之间的对应关系，提供网络时延和抖动估计。因为监督学习需要使用大量数据集进行训练，而在现有网络环境中，正确标记的数据难以获取，因此针对强化学习进行了越来越多的研究。基于强化学习的智能路由算法通过分布式学习，可以灵活地用于拓扑更改，易于实现且不会增加成本。参考文献利用与环境的交互和网络全局视图，考虑链接状态信息，基于RL预先计算最佳路由。自适应路由（AdaR）是一种基于最小二乘强化学习（RL）技术的路由方案，可以提升算法的收敛速度。FROMS是一种基于RL算法的能量感知型多播路由协议，它能显著降低路由成本；参考文献提出了一种在移动自组织网络中使用的基于深度强化学习的高效可靠路由方法，能够通过平衡网络节点的负载来实现更长的网络寿命，但是基于强化学习的智能路由算法的复杂度随着智能体数量的增加而呈指数级增长，大规模网络应重点考虑算法的复杂性。
另外，考虑到基于深度学习路由算法的准确性、收敛性等问题，智能路由算法在网络中的训练与部署框架需要进行研究。由于监督学习训练过程中需要的计算和数据资源较多，因此大多采用离线训练，然后上注模型；而基于强化学习生成路由转发策略，既可以在真实环境中在线训练，也可以离线训练。智能路由算法的部署方式主要分为集中式与分布式两种，集中式方案的智能路由算法部署在集中式控制器中，控制器汇集到网络状态信息后基于训练好的模型完成路由决策并下发至各节点，这种方式对控制器的可靠性及硬件性能要求较高。随着路由设备和SDN技术的发展，将智能路由算法分布式部署在网络节点中，由网络节点自主进行路由决策，从而增加网络的弹性和扩展性是未来的发展趋势。表1对上述智能路由算法的训练模式和部署方式进行了总结。
3.2星载智能路由概述
星载智能路由技术是为了解决传统的路由策略无法从以前的状况（例如高时延和高数据包丢失率）中学习和改进的问题。智能路由是适应未来超密集大规模星座网络及改善网络QoS的重要思路。
从应用优化的角度，目前应用在星载的智能路由技术研究有以下两个侧重点：低时延传输路径的选择和流量拥塞控制。在低时延传输路径方面，相关研究将机器学习技术应用于时延容忍网络（DelayTolerantNetwork，DTN）路由优化，采用Q路由和朴素贝叶斯分类方法，使用机器学习分类器预测一组具有特殊属性的相邻节点。在流量拥塞控制方面，参考文献提出了一种基于深度卷积神经网络的流智能控制方法，预测空间网络的流量拥塞趋势以智能地更新路由表。参考文献提出了一种基于不完全信息博弈机制和强化学习的有限贪婪快速拥塞控制（LGFCC）算法。参考文献讨论了基于时延空间网络的强化学习和贝叶斯学习技术辅助接触图路由（ContactGraphRouting，CGR）算法的路由决策。
地面无线传感网（WirelessSensorNetwork，WSN）的拓扑形式与卫星网络很相似，WSN中的智能路由算法可分为5类：基于强化学习的路由算法、基于蚁群算法的路由算法、基于模糊逻辑的路由算法、基于遗传算法的路由算法和基于神经网络的路由算法。然而卫星节点的机动性，卫星星座规模引发的星上环境的复杂性，以及所需要的预测指标增多，对卫星的存储、计算和转发能力提出了更高要求，频繁的消息交换给卫星能耗带来更大挑战，这些算法都不能直接应用于星地融合网络。目前适用于星地融合网络的人工智能路由算法，根据训练的网络状态数据有无标签可分为监督学习和强化学习两类。其中监督学习在拓扑复杂多变的空间网络里需要大量协议转换开销和真实训练样本，缺乏安全性和稳健性；而深度强化学习的路由算法处理高度复杂的时变环境更为合适。
现有研究提出的智能方法本质是优化卫星流量路径选择或拥塞控制，多停留在算法层面，在仿真实验中并没有结合卫星网络的特性，与真实环境下的部署和训练有很大差距。如何在大规模星地融合网络中训练和部署更高效的人工智能学习架构和路由算法是未来需要解决的问题。为此，本文采用在轨深度强化学习路由方法，将星地融合网络一段时间内的网络拓扑变化表输入强化学习模型，通过模型对未来的网络拓扑进行预测，再在预测的网络拓扑基础上，根据网络的历史流量矩阵对当前流量路由进行选择，最终提高数据流的路由转发的准确度和效率。
4智能路由算法的训练、部署及实现
4.1训练与部署技术
基于对现有地面网络智能路由算法的调研，结合软件定义网络架构，本文提出采用深度强化学习技术是解决网络中连续时间内通用且可定制的路由策略优化问题的可行方案之一。基于软件定义的星地融合分层网络架构，考虑到卫星网络高动态性及资源受限的情况，本文针对星地融合网络中基于深度强化学习技术的智能路由算法，提出了一种合理的训练和部署框架：基于在线深度强化学习的分布式智能路由算法部署方案，使得智能路由算法能够在复杂的星地融合网络中低成本、高可靠地部署。
根据本文所提出的星地融合网络架构，方案拟采用地面控制中心离线学习的预训练技术，完成路由决策模型的初始化；然后通过在线学习对智能路由决策模型进行增量学习，以适应卫星网络动态拓扑和流量时空变化的特性。此外由于智能路由模型的训练占用资源多、功耗大，同时考虑网络的可扩展性和可靠性，决定采用集中式与分布式相结合的部署策略，将整个星地融合网络分为二层控制架构：地面数据中心和高轨卫星作为一级SDN控制器，通过在线增量学习，生成中低轨卫星网络域之间的路由控制策略；将二级SDN控制器部署在由中低轨卫星自组织形成的域中，生成域内的智能路由控制策略。卫星网络智能路由训练和部署方案如图2所示。
图2卫星网络智能路由训练和部署方案
（1）首先需要对整个网络进行路由算法初始化。地面数据中心预训练模型，基于已有网络历史流量数据，结合数据模拟的方式生成深度学习训练所需的数据，利用地面数据中心强大的计算能力完成智能路由决策模型的离线初始化，并将模型上注到高轨卫星。利用星间链路在卫星网络内部完成预训练模型的分发。
（2）在网络进行数据传输时，域内的流量信息汇聚到二级SDN控制器中，二级SDN控制器在进行路由决策时完成集中式的在线深度强化学习，将训练好的路由策略模型广播到域内的每一个卫星节点上。同样的，当数据需要在域间进行传输时，由一级SDN控制器完成模型训练，并实现智能路由策略的下发。
（3）当卫星域内的二级SDN控制节点发生故障时，二级SDN控制器会重新确认，此时新的二级SDN控制节点会获取到原控制节点的模型，并在此基础上进行在线增量学习。星间链路的变化可能会使路由决策出现安全隐患，例如出现路由回路、引发网络拥塞等，此时可以采用简单可靠的接触图路由算法对原本的路由决策进行替换；还能够通过增加惩罚因子的方式，避免深度强化学习模型再次做出同样的路由决策。
由于每个二级SDN控制器只根据域内的局部信息完成域内独立决策，为了使卫星域之间的分布式决策达到全局最优化的目标，参考文献中提出的DDPG框架，可以将一级SDN控制器作为全局评价者，由它控制所有的二级SDN控制器对整个星地融合网络中的路由决策进行全局优化。一级SDN控制器拥有网络的全局信息，以网络流量负载均衡为优化目标，对每个二级SDN控制器的路由决策进行打分，每个二级SDN控制器能够根据分值有针对性地优化路由策略，实现全局优化。
4.2算法软件支撑平台
随着卫星规模的扩大和硬件设备性能的提升，传统卫星网络计算能力不足的限制已经被打破，对于星间、星地动态网络路由的计算支持有了更多的可能性。因此，上述区域子网和智能路由算法及训练部署方案，其算力支持可由在轨异构智能计算平台的计算资源承担，通过对路由计算、路径信息、网络动态拓扑等信息进行实时处理，可降低星地融合网络响应时延，提高服务能力和网络性能。
在轨异构计算平台由卫星群搭载，单星计算节点承载就近处理计算任务，并通过星间链路与通信可达卫星进行任务交互和协同处理，满足动态网络低时延处理要求。如图3所示，单星计算平台分为基础资源层、异构计算资源层、虚拟化层和应用层，多星共同组成完整的在轨异构计算平台。
图3支撑智能路由的在轨计算平台
预训练模型生成之后，通过高速星地链路将模型上注到高轨卫星，并通过星间链路完成模型广播，实现智能路由算法的初始化。当数据在星地融合网络中进行转发时，每个卫星节点都能够利用本地智能计算平台提供的计算资源完成在线推理，得到路由转发策略，降低数据转发的时延。此外，部署有SDN控制器的节点还需要同步利用GPU资源进行在线的增量学习，实现异构资源虚拟化的虚拟化层为上层应用提供了统一的资源接口，因此路由决策推理与在线增量学习充分利用了智能计算平台的计算资源，可靠、高效地完成计算任务。
由于SDN控制器节点所承担的功能较多，计算任务量大，因此控制器节点的可靠性与硬件能力成为限制网络智能路由效果的瓶颈。为了降低SDN控制器节点的计算负载以及星间链路中的带宽占用，在每个卫星节点上完成网络流量特征的特征转化，生成历史流量矩阵，再将其传输到控制器节点，然后利用特征矩阵进行增量学习。
目前，对于星地融合网络中智能路由算法的训练与部署方案的研究工作尚处于起步阶段，设计时需要充分考虑卫星网络的架构与卫星平台的硬件资源。在提高卫星硬件资源利用率的前提下，更好地将深度学习路由算法与卫星网络架构相融合，从而保证智能路由算法的可用性和可靠性。
5结束语
针对深度学习与卫星网络相结合的研究目前还属于探索阶段，智能路由技术应用于规模庞大的星地融合网络面临着新的问题。
（1）网络特征提取：基于深度学习完成模型训练需要大量的数据，而目前星地融合网络的历史流量数据量小，难以使用真实数据训练模型，因此目前更多采用数据模拟的方式；此外网络场景的动态变化，会导致网络信息维度的变化，给特征提取带来困难。
（2）算法稳健性：卫星网络拓扑周期性动态变化，星间链路具有建链时间短、距离动态变化等特点，因此训练的模型需要不断调整以适应动态网络环境；如何设计一个轻量、高效且低复杂度的，适用于天基时效性场景的深度学习算法也是当前面临的一大挑战。
（3）网络可扩展性：星地融合网络建设周期长，需要在建设初期考虑好网络的可扩展性，集中式控制能够以全局视角对路由决策进行优化，但是网络状态信息实时收集的成本高，而且控制中心受到计算能力的限制成为网络扩展的瓶颈，因此分布式的路由控制策略是未来发展的趋势。
综上，为适应大规模星地融合网络拓扑动态性、链路多样性等特征，实现面向用户QoS的网络智能管理，本文从顶层网络架构、智能路由算法及其训练与部署3个方面对智能路由技术进行了分析。文中调研了基于SDN的智能网络架构，针对天基网络动态环境，探讨了基于深度强化学习的智能路由算法，并结合空间智能计算硬件平台设计了其训练与部署方案，最后总结了星地融合网络中智能路由技术所面临的挑战。
转载请注明：http://www.0431gb208.com/sjszlff/3332.html
