从背景介绍到未来挑战,一文综述移动和无线 络深度学习研究

选自arXiv

机器之心编译

近来移动通信和 5G 络等快速发展,它们的调控与配置因为充满了多样性和动态变化而面临非常多的挑战。因此近来很多研究科学家开始利用机器学习及深度学习加强移动和无线 络的配置,并帮助应对数据量和算法驱动的应用程序的增长。本论文基本是首篇综述深度学习及无线 络交叉学科研究面貌的调研,读者可以阅读原论文全面了解该新兴交叉学科。

互联 连接的移动设备正在渗透生活、工作和娱乐的各个方面。智能手机数量不断增加以及不断增多的应用程序引发了移动数据流量的激增。事实上,最新行业预测显示,到 2021 年,全球 IP 年流量将达到 3.3 泽字节 ( 1015 兆字节),同年,智能手机流量将超过 PC 流量 [1]。由于用户偏好转向无线连接,当前移动基础设施面临着巨大的容量需求。针对这一日益增长的需求,有人建议采用灵活的资源供给方式 [ 2 ],分布式解决移动管理问题 [ 3 ]。然而,长远来看,互联 服务提供商 ( ISP ) 必须开发智能异构架构和工具,以催生第五代移动系统 ( 5G ),并逐步满足终端用户的迫切需求 [4], [5]。

移动 络架构日益多样化且复杂性不断提高,监控和管理众多 络元素的问题因而变得棘手。因此,广大研究人员对多功能机器智能嵌入未来移动 络这一课题的兴趣空前高涨 [6],[7]。这种趋势反映在机器学习(ML)解决方案中,从无线接入技术(RAT)选择 [8] 到恶意软件检测 [9],以及支持机器学习实践的 络系统的开发(例如 [10 ],[11])。机器学习能够从流量数据中系统地挖掘有价值的信息,并自动发现其相关性,这类问题对于人类专家来说太过复杂 [12]。作为机器学习的重要部分,深度学习在计算机视觉 [13] 和自然语言处理(NLP)[14] 等领域取得了卓越的进展。 络研究人员也开始认识到深度学习的重要性,并探索如何将深度学习应用到移动 络领域 [15], [16]。

论文:Deep Learning in Mobile and Wireless Networking: A Survey

论文
https://arxiv.org/abs/1803.04311

摘要:移动设备以及移动应用和服务的日益普及对移动和无线 络基础设施的需求达到前所未有的高度。即将推出的 5G 系统正在发展,以应对移动通信量的爆炸式增长,并灵活管理 络资源,从而最大限度地提高用户体验及细粒度抽取实时分析的能力。该任务颇具挑战性,因为移动环境日趋复杂、多样化并不断发展变化。一个潜在的解决方案是采用先进的机器学习技术来帮助应对数据量和算法驱动的应用程序的增长。深度学习的最新成果是有效解决这一问题的基础。

近来深度学习有很多先进的综述性调查或研究,它们都令深度学习尤其是移动端 络架构在终端设备上有很大的提升。一般来说,深度学习的这些进步主要体现在先进的并行计算、分布式机器学习系统、便捷的深度学习框架和高效的最优化方法等。我们在下表 3 展示了这些进步,并在论文中详细讨论它们。

表 2:与深度学习和移动 络相关的现有调研、学术论文和专著汇总。符 D 表示该出版物所处的研究领域,标记不直接覆盖该领域的文章,但读者可以从中检索一些相关的见解,与深度学习和移动 络相关的出版物都使用阴影表示。

3. 深度学习基础

我们首先将简述深度学习,并重点介绍该领域的核心原则以及成功的关键优势。深度学习实际上是机器学习的一个分支,它通过多层非线性处理单元从原始数据中分层抽取特征与知识,因而能针对一些目标执行高效的预测或决策。相比传统机器学习,深度学习的主要优势是在于自动抽取特征,因而避免了昂贵的人工特征预处理过程。此外,我们在下图 2 中展示了深度学习、机器学习以及人工智能之间的关系。

图 2:深度学习、机器学习和 AI 之间关系的维恩图。本调研重点关注移动和无线 络中的深度学习应用。

对于一般的深度学习来说,它们可以抽象为一系列相互嵌套的复合函数,且这种复合函数在直观上可以表示为一系列叠加的层级。如下展示了一般深度神经 络架构的训练和推断过程,其中正向传播即神经 络的推断过程。因为它们可以抽象为一个复合函数,那么根据复合函数的链式求导法则,我们可以轻松地使用反向传播和最优化方法训练神经 络。

图 3:4 层卷积 络的学习和推断过程,其中 w(·) 代表每一个隐藏层的权重、σ(·) 代表激活函数、λ 为学习率、(·) 表示了卷积运算,而 L(w) 为需要优化的损失函数。

4. 深度学习在移动 络中的应用

5G 系统是试图提升信息吞吐量并获得低延迟通信服务的协议,它们能很大程度上提升用户的 QoE [4]。但在 5G 系统上构建深度学习智能系统是非常复杂和昂贵的。幸运的是,目前一些进步令深度学习在移动端的应用变成了可能:(i)高级并行计算,(ii)分布式机器学习系统,(iii)优秀的深度学习框架,(iv)快速优化算法和(v)雾计算(fog computing)。我们在下表 3 中总结了这些优势。

表 3:在移动系统中嵌入深度学习的工具和技术汇总

因为并行计算和分布式系统的进步,目前深度学习出现了很多适用于移动端的框架和平台,它们都寻求在移动端上精简和优化深度模型。我们在表 4 中对比了这些平台。

表 4:深度学习移动平台对比

5. 深度学习:顶尖性能

若我们重新回顾图 2,机器学习方法可以很自然地分为监督学习、无监督学习和强化学习,而深度学习在这些领域中都实现了当前最顶尖的性能。在这一章节中,我们将介绍深度学习的关键原则,并讨论它们在解决移动 络问题上的潜力。下图 4 和表 5 都展示了当前基本的深度神经 络架构。

图 4:MLP、RBM、AE、CNN、RNN、GAN 和 DRL 的基本结构和操作原理。

如上所示为基本的深度 络架构,当然最基础的是有感知机发展而来的多层感知机或全连接 络,该 络前后两层的所有神经元都相互有连接。而后卷积神经 络和循环神经 络都基于一些先验特征而只有局部连接,这样不仅减少了权重数量,同时还加强了模型的性能。

以下展示了各神经 络架构的属性、优势和应用于移动 络的潜力等:

表 5:不同深度学习架构汇总。阴影部分是 GAN 和 DRL,因为它们是建立在其他模型之上的。

6. 深度学习驱动的移动和无线 络

无线传感器 络(WSN)由一组分布在不同地理区域的独特或异构传感器组成。它们通过无线通道协同监测物理或环境状态(如温度、压力、运动和污染),并将已收集数据传输到中心服务器。

图 5:蜂窝、WiFi 和无线传感器 络中的移动数据收集过程示意图。BSC:基站控制器;RNC:无线电 络控制器。

不同无线 络中收集的数据是不一样的,如下展示了由不同基础设施收集的不同数据及及其类型。

表 6:移动大数据的分类。

后面表 7、图 6 和表 8 展示了上述不同数据类型的应用、部署与研究工作等。

表 7: 络级移动数据分析工作总结。

图 6:应用级移动数据分析的两种部署方法示意图,即基于云(左)的方法和基于边缘(右)的方法。基于云的方法在云端推断并将结果发送给边缘设备。相反,基于边缘的方法则是在边缘设备上部署可进行本地推理的模型。

表 8:应用级移动数据分析工作的总结。

表 9:深度学习驱动的移动分析和室内定位的研究工作总结。

表 10:深度学习驱动的 WSNs 研究工作总结。

无线 络其实还能使用强化学习和模仿学习等先进的技术控制移动 络:

图 7:应用于移动和无线 络管控的三种管控方法的原理,即强化学习(上)、模仿学习(中)和分析管控(下)。

表 11:深度学习驱动的 络管控研究工作总结。

表 12:深度学习驱动的 络安全研究工作总结。

7. 把深度学习适用于移动 络

尽管深度学习在诸多移动 络领域表现不凡,但免费午餐定理(NFL)表明,一个模型不可能一劳永逸地解决所有问题 [356]。这意味着对于任何特定的移动和无线 络问题,我们可能需要采用不同的深度学习架构以取得更好表现。本节将重点讨论如何从三个角度为移动 络应用定制深度学习,即移动设备和系统、分布式数据中心以及不断变化的移动 络环境。

表 13:深度学习驱动的新兴移动 络应用总结。

表 14:移动设备和系统的深度学习研究工作总结。

图 8:模型并行(左)和训练并行(右)的基本原理。

图 9:深度终身学习(左)和深度迁移学习(右)的基本原理。终身学习保留已学的知识,而迁移学习利用源领域标记数据改善没有知识保留的目标领域学习。

8. 未来研究展望

图 10:意大利米兰 3D 移动流量表面(左)和 2D 投影(右)的实例。图像 [163] 通过 [402] 中的数据绘制而成。

图 11:移动流量数据(左)和其他数据(右)之间的类比。

9. 结论

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2018年2月14日
下一篇 2018年2月14日

相关推荐