Smart-Flycast：基于无人机平台的多路径实时视频传输系统
近年来，无人机凭借其灵活操控、视角广阔、移动性强等优势，被广泛应用于大型赛事直播、应急救援、目标识别等领域。然而，由于无人机飞行高速移动过程中带来网络质量频繁波动，尤其是采用基站入网方式的无人机在飞行过程中需要频繁切换入网点，往往无法满足高清视频传输所需的高带宽、低时延、小抖动等传输需求，更无法针对特殊应用提供定制化的服务质量（QoS）和用户体验（QoE）。
为此，AI4Network研究团队将多路径技术引入无人机实时视频传输过程，开发研制了智能多路径无人机实时视频传输系统Smart-Flycast，旨在通过增加无人机平台的网络链路数量，提供视频传输的带宽聚合与并行传输能力，提升传输稳定性和可靠性。该系统的核心特性是智能跨层传输协议，集成典型流媒体传输协议集，底层可灵活适配多种传输协议，并支持自研的传输算法库，可实现应用协议、传输协议、控制决策算法三个层次的传输方案集成创新，增强了无人机流媒体传输在动态网络环境中的自适应能力，以及面向多种视频应用需求的可扩展性。
目前，基于Smart-Flycast的研究工作已被网络领域国际顶级杂志IEEE Network Magazine（影响因子9.3）录用[1]。该工作结合“AI for Network”思路，通过智能算法的自适应能力辅助多路径报文调度和传输控制，为研究使能网络的人工智能技术提供了新的思路和应用场景。IEEE Network是网络领域知名刊物，专注于网络通信领域的重要问题和发展趋势。该工作作者为2020级博士研究生宋丛溪（第一作者）、2023级博士研究生计晓岚、2020级硕士研究生李亚辉、指导老师为韩彪副研究员、苏金树研究员。
一、Smart-Flycast演示视频
二、Smart-Flycast系统架构
Smart-Flycast系统架构如图1所示，包括载有摄像头和机载计算机的无人机、接收和转发实时流的云服务器以及客户端视频播放器。其中机载计算机部署了智能跨层传输协议栈。端到端的实时流媒体传输过程包括以下步骤:
首先，传输模块从机载摄像头获取视频流并通过多个网卡（如WiFi、4G和5G）将其分发到云服务器。而后，云服务器汇聚并转发实时流。在客户端，订阅者通过视频播放器从云服务器拉取实时视频进行观看。Smart-Flycast系统的核心设计为智能跨层传输协议。
三、智能跨层传输协议
智能跨层传输协议分为三个层次，集成了流媒体传输协议集、底层可灵活适配多种传输协议，并支持自研的传输算法库，可实现应用层协议、传输层协议、传输决策算法三种层次的传输方案组合，增强了无人机流媒体传输在动态网络环境中的自适应能力，以及面向多种视频应用需求的可扩展性。如图2所示，应用层的流媒体传输协议集支持多种流媒体传输协议，包括RTMP、RTSP和RTP；传输层支持TCP、QUIC以及多路径扩展MPTCP、MPQUIC，可根据视频传输需求跨层适配协议；传输层内置了传输算法库，支持报文调度算法RR、minRTT、ECF、BLEST、RDDT、DRAMA等，拥塞控制算法CUBIC、Olia、BBR等，可根据网络状态切换传输策略。在此基础上，开发并部署了智能算法驱动的三种传输策略，分别是基于决策树的自适应多路径报文调度DRAMA、面向QoS的自适应多路径拥塞控制ACCeSS[2]、视频内容感知的部分可靠传输算法VICTOR[3]。
（1）基于决策树的自适应多路径报文调度
异构链路以及无人机飞行期间的网络波动会导致路径状态的差异性增大，MPTCP和MPQUIC的默认报文调度器会产生不合理的决策，导致报文乱序到达从而降低应用的QoS和QoE。为了解决这个问题，使用决策树模型根据网络条件选择适合当前状态的策略。三个子策略包括，“分发”，“复制”和“丢弃”。“分发”策略根据网络状态计算每条路径的报文分配量，使报文尽可能按序到达接收端；“复制”策略将高优先级的报文复制发送到所有路径以保持传输可靠性。“丢弃”策略会主动丢弃低优先级数据的报文，以提供给高优先级报文充足带宽。
（2）面向QoS的自适应多路径拥塞控制
为了满足在无人机动态网络环境的多种QoS，ACCeSS面向吞吐量、丢包以及延迟三种QoS设计效用函数，针对每种类型的QoS要求，ACCeSS求解一个特定QoS的最优问题。ACCeSS包含在线速率控制和离线训练两部分。在线速率控制部分获取网络状态作为效用函数的输入，采用基于梯度的在线学习方法从效用值决定发送速率。同时，网络状态和QoS需求被输入到离线训练部分，从而根据特定QoS类型解决特定的最优问题。ACCeSS采用轻量化的随机森林回归拟合吞吐量、丢包率、延迟和发送速率之间的回归关系，预测性能指标，实现在网络波动的情况下的高效预测。
（3）视频内容感知的部分可靠传输机制
实时流媒体传输是一时延敏感型应用，在某些情况下，完全可靠传输带来的大量重传可能会恶化传输时延从而造成视频的卡顿。因此，我们实现了视频内容感知的部分可靠传输机制VICTOR，减少低优先级数据的重传，从而提高实时流媒体的QoE。VICTOR中实现了不可靠的流类型。在不可靠流上丢失的数据包将被丢弃，并在数据被提交到应用时，用零值填充相应的数据。根据感知到的优先级信息，流媒体内容将被区分发送到可靠和不可靠流传输。
四、平台实现
Smart-Flycast的硬件平台实现如图3所示，平台载体是一架定制Dji四旋翼无人机，该平台配备了Manifold 2机载计算机，其CPU为Intel Corei7-8550U，内存为8GB RAM。实时流媒体画面通过机载高清摄像头收集。无人机通过多个网卡将流媒体传输到云服务器，网卡分别为华为8372 4G模组，以及华为MH5000 5G模组。
五、总结与展望
Smart-Flycast无人机实时视频传输平台基于多路径传输技术，集成了跨应用层、传输层的协议以及传输算法，提升了无人机流媒体传输的实时性、可靠性与自适应能力。如今，智能技术使能网络是一个发展趋势，在诸多机器学习与智能算法中，强化学习被广泛应用于传输控制，已有研究工作将强化学习应用于拥塞控制、调度、路由优化等决策，以增强传输在多种网络状态中的自适应能力[4]。然而，基于智能的无人机传输决策仍面临亟待解决的挑战：一是智能算法的推理开销会加大无人机能耗，从而影响无人机的续航能力；二是无人机飞行导致网络状态的快速波动，智能算法在面临未知网络状态时，可能会产生输出的不可解释从而作出错误决策，进而影响无人机的任务执行。Smart-Flycast系统集成的三种智能传输算法以轻量的智能算法解决了无人机传输在高动态网络环境的挑战，并可支持多种QoS、QoE需求的挑战。作为一种智能技术使能的原型系统, Smart-Flycast通过引入多路径技术提升了传输的可靠性和稳定性，同时弥补了多路径协议缺乏自适应传输能力的短板，将为无人机实时视频传输提供更多的可能性。
参考文献
[1] Song C, Han B, Ji X et al. AI-driven Multipath Transmission: Empowering UAV-based Live Streaming.IEEE Network, 2023. [2] Ji X, Han B, Li R, et al. ACCeSS: Adaptive QoS-aware Congestion Control for Multipath TCP[A]. 2022 IEEE/ACM 30th International Symposium on Quality of Service, IWQoS 2022[C]. 2022. [3] Li Y, Han B, Han X, et al. VICTOR: Video Content-aware Partially Reliable Transmission over Multipath QUIC. IEEE International Conference on Metaverse Computing, Networking and Applications (IEEE MetaCom 2023) 2023[c]. [4]Song C, Han B and Su J. 4D-MAP: Multipath Adaptive Packet Scheduling for Live Streaming over QUIC . Comput. Sci. Technol.
