2020-11-22

数据分析

• 《云计算与大数据应用》
• • 云计算概述
  • • 1.1 什么是云计算
    • 1.2云计算的发展背景
    • 1.3典型的云计算基础架构
    • 1.4 云计算的主要服务模式
    • 1.5 云计算的主要部署模式。
    • 1.6 云计算是商业模式的创新
    • 1.7 典型的云计算产品
    • 1.8 云计算技术的新发展
    • 1.9 我国的云计算产业现状

《云计算与大数据应用》

云计算概述

1.1 什么是云计算

1.2云计算的发展背景

有人说云计算是技术革命的产物，也有人说云计算只不过是已有技术的最新包装，是设备厂商或软件厂商新瓶装旧酒的一种商业策略。我们认为，云计算是 会、经济的发展和需求的推动、技术进步以及商业模式转换共同作用的结果。
1.飞速发展的 络技术
2.万维 的发明与发展
长期以来，人们只是通过传统的媒体（如电视、 纸、杂志和广播等）获得信息。但随着计算机 络的发展，人们想要获取信息，已不再满足于传统媒体那种单方面传输和获取的方式，而希望有一种主观的选择性。现在， 络上提供各种类别的数据库系统，如文献期刊、产业信息、气象信息、论文检索等等。由于计算机 络的发展，信息的获取变得非常及时、迅速和便捷。

到了1993年，WWW 的技术有了突破性的进展，它解决了远程信息服务中的文字显示、数据连接以及图像传递的问题，使得 WWW 成为 Internet 上最为流行的信息传播方式。

1.3典型的云计算基础架构

首先，云计算大致分为IaaS（基础设施即服务，如小鸟云、阿里云）、PaaS（平台即服务）、SaaS（软件即服务）

PaaS（Platform-as-a-Service：平台即服务）是指将软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。在2007年国内外SaaS厂商先后推出自己的PaaS平台。PaaS能够提供企业进行定制化研发的中间件平台，同时涵盖数据库和应用服务器等。

1.4 云计算的主要服务模式

算的主要服务形式：SaaS（软bai件即服务），PaaS（平台du即服务），zhiIaaS（信息即服务）
1.4.1 基础设施服务设置 Iaas
IaaS(Infrastructure as a Service)，即基础设施即服务。

像以前用的OA系统都是安装在企业的服务器中，数据存储在本地，通过局域 或者互联 进行访问。

但是现在不需要安装软件了，打开浏览器输入 站就可以登录到公司的OA系统了，数据也被存储在服务器中，这个服务器就是软件服务提供商所提供的。

这个系统就是SaaS。

再举个简单的例子，一个企业想要用一套OA办公系统，云创就会给这家企业提供一个账 用以使用OA系统，至于OA系统的维护升级都是由云创来负责的，包括数据也都是保存在云创的服务器中。这家企业只需要享受所有OA系统中的服务就可以了。

1.4.4 三种服务模式之间的关系
SaaS、PaaS、IaaS简单的说都属于云计算服务，也就是云计算+服务。我们对于云计算的概念，维基百科有以下定义：Cloud computing is a new form of Internet-based computing that provides shared computer processing resources and data to computers and other devices on demand. 云计算就是一种按照需求通过Internet获取计算资源的形态。这些计算资源被包装成为服务，提供给用户。而提供这些服务的主体，我们称之为云服务供应商（Cloud Service Provider）。按照NIST (National Institute of Standards and Technology，美国国家标准和技术研究院)的定义，云服务最主要的有三类，就是题主提问的IaaS、PaaS、Saa

1.5 云计算的主要部署模式。

1.私有云，云端资源只给一个单位组织内的用户使用，这是私有云的核心特征。而云端的所有权、日常管理和操作的主体到底属于谁并没有严格的规定，可能是本单位，也可能是第三方机构，还有可能是二者的联合。云端位于本单位内部，也可能托管在其他地方。

2. 区云，云端资源专门给固定的几个单位内的用户使用，而这些单位对云端具有相同诉求（如安全要求、云端使命、规章制度、合规性要求等）。云端的所有权、日常管理和操作的主体可能是本 区内的一个或多个单位，也可能是 区外的第三方机构，还可能是二者的联合。云端可能部署在本地，也可能部署于他处。

4.混合云，混合云由两个或两个以上不同类型的云（私有云、 区云、公共云）组成，它们各自独立，但用标准的或专有的技术将它们组合起来，而这些技术能实现云之间的数据和应用程序的平滑流转。由多个相同类型的云组合在一起属于多云的范畴，比如两个私有云组合在一起，混合云属于多云的一种。由私有云和公共云构成的混合云是目前最流行的——当私有云资源短暂性需求过大时，自动租赁公共云资源来平抑私有云资源的需求峰值。例如， 站在节假日期间点击量巨大，这时就会临时使用公共云资源来应急。

1.6 云计算是商业模式的创新

很多人讨论，云计算是否格局已定，我觉得云计算只是刚刚走过了其高速发展的草莽时代。这个时代，相当于拓荒之地刚刚完成了庞大的基础设施建设。离全面的繁荣，还有很长的一段路要走。先用一段篇幅，回顾一下这个时代的一些历史和时代印记。我在两年前写过一篇文章，可以回顾一下当时的市场。

新的商业模式的诞生

2006年，当亚马逊第一次将其对象存储作为服务区售卖时，标志着云计算这种新的商业模式的诞生。有的人把云计算当做一种新的技术，其实并没有反映出云计算的本质。云计算并没有用到什么新的技术，它用的虚拟化技术， 络技术，存储技术，十多年前就已经很成熟了。甚至很多学术界的同僚对此嗤之以鼻，认为云计算是产业界搞出的一个概念，把他们之前搞的并行计算，集群计算换了个高大上的名字，并不是什么创新。我个人认为，云计算的确是创新，但是不是技术上的创新。云计算的本质是一种商业模式的创新，是将IT资源作为一种服务去售卖的新的商业模式。当年，云计算出现时的意义，就像我们现在看到的”共享单车“的意义是一样的。突然之间，大家恍然大悟，喔，原来自行车是不用买的，随时随地即时获取，按需付费。可惜当年大家悟的不是这么快。

中国的拓荒者

谈起云计算，我觉得这个行业的所有人都应该对国内最早的先驱者盛大云表示敬意，当然，按照历史规律，必定也是先烈。我第一次接触云计算，是从使用盛大云开始的，第一次觉得IT还可以这样玩，所以当时就觉得，如果要继续搞IT，就一定要进入到云计算这个行业。后来，阿里进入了这个行业，一场大革命也就开始了。腾讯其实也是最早的开拓者之一，我2011年进入这个腾讯的时候，就已经成立了云计算的业务部门。只是当时主要以向开放平台的生态伙伴售卖服务为主，面向的是相对小众的一个市场。内部的能力一直在积累中，2014年开始全面对外开放。与此同时，除了阿里，腾讯这两个巨头开始进入这个市场，引领革命的同时，也出现了一些创新者，譬如QingCloud，Ucloud，他们凭借当时相对更新的技术，以及非常好的服务，也取得了不俗的战绩。

“基建时代”的用户

最早使用云计算的是一些什么用户觉得最早使用云计算的用户，一类是游戏客户，一类是 站客户。 站客户很好理解，因为 站时代，主机托管，主机租用，VPS，租用空间的模式流行了很长时间。本质上，他们和云计算的模式类似，但是云计算的模式比他们更先进一些，体验也更好，特别是BGP 络这样的东西，直接秒杀了当时很多三 IP的VPS。阿里也是通过收购万 ，快速取得了领先地位。最早使用云计算的游戏行业用户，是从页游开始的。记得当时到腾讯云时，大部分客户都是页游客户。当时的游戏巨头Zynga在腾讯云就有着庞大的机器集群。云计算的快速发展，得益于2012年开始，手游市场的爆发式增长。为什么手游行业会第一个吃螃蟹，这主要与手游的特点是有关系的：

生命周期短（租用模式最划算）

快速开发，快速迭代（资源随时获取）

用户爆发快（需要很强的资源弹性）

分区分服，架构简单（虚拟机就可以搞定）

手游用户大规模采用云计算的同时，也让这种模式在互联 行业逐渐被认可，后面有经历了app的一轮爆发，基本上都认同使用云计算，再也没有人去买机器，搞托管方式了。所以云计算早期的市场主要还是集中在互联 领域，包括游戏，移动应用， 站。2016年，视频直播爆发，其实也是属于互联 领域。某种程度上讲，只是在自己的圈子开始流行开了，改变所有行业，推动 会发展，还远没有开始。

1.7 典型的云计算产品

1.8 云计算技术的新发展

1、数据中心向整合化和绿色节能方向发展

目前传统数据中心的建设正面临异构 络、静态资源、管理复杂、能耗高等方面问题，云计算数据中心与传统数据中心有所不同，它既要解决如何在短时间内快速、高效完成企业级数据中心的扩容部署问题，同时要兼顾绿色节能和高可靠性要求。高利用率、一体化、低功耗、自动化管理成为云计算数据中心建设的关注点，整合、绿色节能成为云计算数据中心构建技术的发展特点。

数据中心的整合首先是物理环境的整合，包括供配电和精密制冷等，主要是解决数据中心基础设施的可靠性和可用性问题。进一步的整合是构建针对基础设施的管理系统，引入自动化和智能化管理软件，提升管理运营效率。还有一种整合是存储设备、服务器等的优化、升级，以及推出更先进的服务器和存储设备。艾默生公司就提出，整合创新决胜云计算数据中心。

兼顾高效和绿色节能的集装箱数据中心出现。集装箱数据中心是一种既吸收了云计算的思想，又可以让企业快速构建自有数据中心的产品。与传统数据中心相比，集装箱数据中心具有高密度、低PUE、模块化、可移动、灵活快速部署、建设运维一体化等优点，成为发展热点。国外企业如谷歌、微软、英特尔等已经开始开发和部署大规模的绿色集装箱数据中心。

通过服务器虚拟化、 络设备智能化等技术可以实现数据中心的局部节能，但尚不能真正实现绿色数据中心的要求，因此，以数据中心为整体目标来实现节能降耗正成为重要的发展方向，围绕数据中心节能降耗的技术将不断创新并取得突破。数据中心高温化是一个发展方向，低功耗服务器和芯片产品也是一个方向。

2、虚拟化技术向软硬协同方向发展

按照IDC的研究，2005年之前是虚拟化技术发展的第一阶段，称之为虚拟化1.0，从2005年到2010年时虚拟化发展的第二阶段，称之为虚拟化2.0，目前已经进入虚拟化2.5阶段，虚拟化3.0阶段在不久也将会到来。根据Gartner的预测，到2016年中国70%的X86企业服务器将实现虚拟化。

ArsTechnica 站上刊出的一篇文章评论到，当前的虚拟化市场当中，VMware是老大，微软Hyper-V老二，思杰Xen第三，红帽和甲骨文在争夺第四把交椅。随着服务器等硬件技术和相关软件技术的进步、软件应用环境的逐步发展成熟以及应用要求不断提高，虚拟化由于具有提高资源利用率、节能环保、可进行大规模数据整合等特点成为一项具有战略意义的新技术。

首先，随着各大厂商纷纷进军虚拟化领域，开源虚拟化将不断成熟。Gartner也指出，虽然目前开源虚拟化的市场还比较小，但到2014年底其市场份额将翻番，而且未来也会快速增长。

其次，随着虚拟化技术的发展，软硬协同的虚拟化将加快发展。在这方面，内存的虚拟化已初显端倪。

第三， 络虚拟化发展迅速。 络虚拟化可以高效地利用 络资源，具有节能成本、简化 络运维和管理、提升 络可靠性等优点。VMware和思科公司通过四年的合作，在 络虚拟化领域取得突破创新，推出了VXLAN（虚拟可扩展局域 ）。VXLAN已获得多个行业领先厂商的支持。

3、大规模分布式存储技术进入创新高峰期

在云计算环境下，存储技术将主要朝着从安全性、便携性及数据访问等方向发展。分布存储的目标是利用多台服务器的存储资源来满足单台服务器不能满足的存储需求，它要求存储资源能够被抽象表示和统一管理，并且能够保证数据读写操作的安全性、可靠性、性能等各方面要求。为保证高可靠性和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，以高可靠软件来弥补硬件的不可靠，从而提供廉价可靠的海量分布式存储和计算系统。在大规模分布式存储技术中，基于块设备的分布式文件系统适用于大型的、海量数据的云计算平台，它将客户数据冗余部署在大量廉价的普通存储上，通过并行和分布式计算技术，可以提供优秀的数据冗余功能。且由于采用了分布式并发数据处理技术，众多存储节点可以同时向用户提供高性能的数据存取服务，也保证数据传输的高效性。目前国外很多大学、研究机构和公司已经或正在着手开发分布式文件系统，已经涌现出一批著名的分布式文件系统，如PVFS、GPFS、zFS、Google FS、Hadoop FS等，进一步更深入的研发也还在进行中。

除了大规模分布式存储技术，P2P存储、数据 格、智能海量存储系统等方也是海量存储发展的趋势体现。其中，P2P存储可以看做是分布式存储的一种，是一个用于对等 络的数据存储系统，旨在提供高效率、鲁棒和负载均衡的文件存取。数据 格是有机的智能单元的组合，类似于计算 格。智能海量存储系统包括主动的数据采集、数据分析、主动调整等。云计算中存储的海量数据应用将为云计算提供新的价值高点，也必将成为云计算发展的重点方向之一。

4、分布式计算技术不断完善和提升

资源调度管理被认为是云计算的核心，因为云计算不仅是将资源集中，更重要的是资源的合理调度、运营、分配、管理。云计算数据中心的突出特点，是具备大量的基础软硬件资源，实现了基础资源的规模化。但如何合理有效调度管理这些资源，提高这些资源的利用率，降低单位资源的成本，是云计算平台提供商面临的难点和重点。业务/资源调度中心、副本管理技术、任务调度算法、任务容错机制等资源调度和管理技术的发展和优化，将为云计算资源调度和管理提供技术支撑。不过，正成为业界关注重点的云计算操作系统有可能使云计算资源调度管理技术走向新的道路。云计算操作系统是云计算数据中心运营系统，是指架构于服务器、存储、 络等基础硬件资源和单机操作系统、中间件、数据库等基础软件管理海量的基础硬件资源和软件资源的云平台综合管理系统，可以实现极为简化和更加高效的计算模型，以低成本实现指定服务级别、响应时间、安全策略、可用性等规范。

现在云计算的商业环境对整个体系的可靠性提供了更高的需求，为了支持商业化的云计算服务，分布式的系统协作和资源调度最重要的就是可靠性。未来成熟的分布式计算技术将能够支持在线服务(SaaS)，自从2007年苹果iPhone进入市场开始，事情发生很大的变化，智能手机时代的到来使得Web开始走进移动终端，SaaS的风暴席卷整个互联 ，在线应用成为一种时尚。分布式计算技术不断完善和提升，将支持在跨越数据中心的大型集群上执行分布式应用的框架。

5、安全与隐私将获得更多关注

云计算作为一种新的应用模式，在形态上与传统互联 相比发生了一些变化，势必带来新的安全问题，例如数据高度集中使数据泄漏风险激增、多客户端访问增加了数据被截获的风险等等。云安全技术是保障云计算服务安全性的有效手段，它要解决包括云基础设施安全、数据安全、认证和访问管理安全以及审计合规性等诸多问题。云计算本身的安全仍然要依赖于传统信息安全领域的主要技术。不过另一方面，云计算具有虚拟化、资源共享等特点，传统信息安全技术需要适应其特点采取不同的模式，或者有新的技术创新。另外，由于在云计算中用户无法准确知道数据的位置，因此云计算提供商和用户的信任问题是云计算安全要考虑的一个重点。总体来说，云计算提供商要充分结合云计算特点和用户要求，提供整体的云计算安全措施，这将驱动云计算安全技术发展。适应云计算的特点和安全需求，云计算安全技术在加密技术、信任技术、安全解决方案、安全服务模式方面加快发展。

此外，未来的安全趋势，势必会涉及终端及移动终端各个层面，包括各类PC、手机在内的智能终端、可穿戴设备，都有可能会面临攻击者的挑战，这样的攻击对多种设备会变得日益难以防护。解决终端安全，云安全是首先需要解决的，即从云端首先判断安全的趋势，而不是孤立的从一台终端来判断。通过云端安全的大数据分析，可以清晰发现其中存在的多种威胁趋势，从而及时拦截新木马以及防止 络入侵和攻击。隐私权保护问题虽是云计算普及过程中需要解决的一大难题，但随着云计算的发展及相关标准的成熟。相信隐私权会得到更好地保护，云计算也将像互联 上的其他应用环境一样，深刻地影响我们的生活方式。

6、SLA细化服务质量监控实时化

要想让用户敢于将关键业务应用放在云计算平台上，粗放的服务协议显然无法让人放心，用户需要知道云计算厂商能否快速地将数据传遍全国、 络连接状况又能好到何种程度。对于激增的商业需求而言，性能的拓展是不够的，而云计算提供商能够多快地拓展性能也事关重要。用户需要能够让他们高枕无忧的服务品质协议，细化服务品质是必然趋势。云计算对计算、存储和 络的资源池化，使得对底层资源的管理越来越复杂，越来越重要，基于云计算的高效工作负载监控要在性能发生问题之前就提前发现苗头，从而防患于未然，实时的了解云计算运行详细信息将有助于交付一个更强大的云计算使用体验，也是未来发展的方向。

1.9 我国的云计算产业现状