云计算IaaS核心技术全景指南

何谓多租strong>

逻辑清晰的读者可能已经隐约感觉到“弹性”和“多租”并非严格的正交和并列关系，那么为什么笔者特意把“多租”上升到“弹性”并列的高度来进行讨论p>

严格来说，多租是实现极致弹性和极致 会IT资源效率的必要条件之一。不可否认，私有云确实在一定程度上解决了企业IT资源灵活高效使用的问题，但是私有云和公有云在“多租”这个核心业务特性差异，导致二者之间的天壤之别。

准确完成对云计算的“弹性”和“多租”业务特性的定义，则可以进一步讨论技术实现层面，如何实现“弹性”和“多租 ”功能，如何在极致安全、极致稳定、极致性能、极致成本等四个维度讨论云计算技术实现层面的演进。

IaaS的阿克琉斯之踵

为了实现IaaS计算、存储、 络等IT资源灵活按需供给，其核心特点是资源池化、服务多租、弹性供给以及管理运维自动化等。其背后的核心技术则是虚拟化技术。

我们简要回顾一下虚拟化技术和公有云服务的历史：

• 2003年，XenSource在SOSP发表《Xen and the Art of Virtualization》，拉开x86平台虚拟化技术的大幕。

• 2006年，AWS发布EC2和S3，拉开了公有云服务的大幕。EC2的核心正是基于Xen虚拟化技术。

可以看出，虚拟化技术和IaaS云计算服务相互成就：IaaS云服务“发现和发掘”了虚拟化技术的业务价值，使得虚拟化技术成为了IaaS云服务的基石；与此同时，虚拟化技术红利让IaaS云服务成为了可能。

从2003年Xen虚拟化技术发轫，到2005年英特尔开始在至强处理器引入虚拟化支持，加入新指令集并改变x86体系架构，使得虚拟化技术大规模部署成为可能，然后2007年KVM虚拟化技术诞生，持续近20年的IaaS虚拟化技术演进，无不是围绕上述更安全、更稳定、更高性能、更低成本等四大业务目标进行演进。

简单回顾历史，我们就可以清晰看到IaaS的阿克琉斯之踵 —— 虚拟化技术之痛。

其一，成本。Xen时代，Xen Hypervisor DOM0消耗XEON一半的CPU资源，也就是只有一半的CPU资源可以对外售卖，可以看到虚拟化云计算税极其沉重。

其二，性能。Xen时代，内核 络虚拟化时延达到150us之巨， 络时延抖动极大， 络转发pps成为企业核心业务的关键瓶颈，Xen虚拟化架构在存储和 络IO虚拟化方面有不可克服的性能瓶颈。

其三，安全。QEMU大量设备仿真代码，对于IaaS云计算毫无意义，而这些冗余代码不仅仅会导致额外资源开销，更进一步导致安全攻击敞口（attack surface）无法根本收敛。

众所周知，公有云成立的基础之一是多租环境下的数据安全。而持续提升硬件的可信能力，数据在计算、存储、 络等子系统流动过程中的安全加密能力，在Xen/KVM虚拟化下技术挑战极大。

其四，稳定性。云计算稳定性提升，依赖两大核心技术：底层芯片白盒，以此输出更多RAS数据；以及基于这些稳定性数据的大数据运维。虚拟化系统要进一步提升稳定性，则需要进一步深入计算、 络和存储芯片的实现细节，以此获得更多影响系统稳定性数据。

其五，弹性裸金属支持。诸如Kata、Firecracker等安全容器，多卡GPU服务器在PCIe switch P2P虚拟化开销，头部大用户追求降低极致计算和内存虚拟化的开销，以及VMware/OpenStack支持等需求方面，需要弹性裸金属来支撑这类需求，而基于Xen/KVM虚拟化架构无法实现弹性裸金属。

其六，IO和算力之间的鸿沟持续扩大。我们以Intel XEON 2 Socket服务器为例，分析存储和 络IO以及XEON CPU PCIe带宽扩展能力，与CPU算力的发展做一个简单对比分析：

从上图2018年到2022年四年数据对比，我们可以得到如下结论：

1、Intel CPU提升了2倍（未考虑IPC提升因素），DDR带宽提升了2.4倍，因此CPU和DDR带宽是匹配的；

2、单 卡（包含 卡连接的以太交换 络）带宽提升了4倍，单NVMe带宽提升了3.7倍，整机PCIe带宽提升6.7倍，可以看出 络/存储/PCIe等IO能力和Intel XEON CPU的算力之间gap在持续拉大；

3、上图未分析的时延维度数据，由于Intel CPU频率基本保持不变，IPC未有显著提升，因此CPU处理数据的时延会有小幅改进，PCIe和 卡/ 络的时延也仅有小幅改进，而存储NVMe和AEP等新一代存储介质，相对于HDD等老一代介质，在时延方面出现了数量级的下降；

作为有虚拟化技术背景的人士，看到上述分析，内心一定是沉重的。

因为在Intel VT等计算和内存硬件虚拟化技术普遍部署后，计算和内存虚拟化的开销（包含隔离性、抖动等）已经得到了相当程度的解决。而上述PCIe/NIC/NVMe/AEP等 IO技术突飞猛进发展的同时，如果继续沿用PV半虚拟化技术，在内存拷贝、VM Exit、时延等方面的技术挑战将愈发凸显。

CIPU从何处来strong>

通过上面的内容，我们基本阐述清楚了IaaS云计算在技术层面面临的问题和挑战，本章节我们将对CIPU技术发展史做一个综述，目的是回答一个问题：CIPU从何而来“不了解历史，则无法看清未来”。

细心的读者如果对上文的“六大虚拟化技术之痛”有进一步思考和分析，应该可以看出6个痛点有一个方面的共性：都在或多或少地讨论IO虚拟化子系统的成本、安全和性能。因此符合逻辑的技术解决思路应该是从IO虚拟化子系统入手。而回望过去20年的技术发展史，也确实印证了上述推导逻辑。

其一，IO硬件虚拟化–Intel VT-d

IO虚拟化子系统存在巨大的需求和技术鸿沟，Intel自然会重点解决。DMA直接内存存取，以及IRQ中断请求在虚拟化条件下的改进，以及对应PCIe标准化组织的跟进，肯定会成为必然。

而笔者在此罗列Intel VT-d IO硬件虚拟化技术的唯一目的是想说：CPU IO硬件虚拟化技术的成熟，是CIPU技术发展的前置关键技术依赖。

其二， 络处理器（NPU）和智能 卡

2012年前后，由于受运营商诸多美好愿望驱动（是否能够大规模落地按下不表，但是人总是要有希望，否则“和咸鱼有何差别”），无论是在通信领域的无线核心 还是宽带接入服务器（BRAS）中（如下图），NFV（ 络功能虚拟化）都成为重点研发方向。

一言以蔽之，NFV就是通过标准x86服务器，标准以太交换 、标准IT存储等IT标准化和虚拟化的基础设施，来实现通信领域的 元功能，以此摆脱传统通信烟囱式和垂直化的非标紧耦合软硬件系统，从而达到运营商降本增效和提升业务敏捷度。

2、DPDK纯软件 络转发性能优化瓶颈凸显

同时，云计算弹性业务必然要求弹性裸金属、虚拟机、安全容器等计算资源的并池生产和调度。

9、CIPU池化能力

考虑到通用计算和AI计算在 络、存储和算力等方面的需求差异巨大，CIPU必须具备池化能力。通用计算通过CIPU池化技术，显著提升CIPU资源利用率，从而提升成本层面的核心竞争力；同时又能够在一套CIPU技术架构体系下，满足AI等高带宽业务需求。

10、计算虚拟化支撑

计算虚拟化和内存虚拟化的业务特性增强，云厂商均会对CIPU有不少核心需求定义。

CIPU体系架构溯源

经过第五章对CIPU业务的完整定义，我们需要对CIPU的计算体系架构进一步理论溯源。只有计算机工程实践上升到计算机科学视角，才能更为清晰地洞察CIPU的实质，并为下一步的工程实践指明技术方向。这必然是一条从自发到自觉的提升之路。

第三小节我们得出一个结论：“单 卡（包含 卡连接的以太交换 络）带宽提升了4倍，单NVMe带宽提升了3.7倍，整机PCIe带宽提升6.7倍，可以看出 络/存储/PCIe等IO能力和Intel XEON CPU的算力之间gap在持续拉大。”

如果仅根据上述结论进行判断，必然会认为CIPU硬件加速是算力offloading（卸载）。但是事情显然并没有如此简单。

XEON算力可以简化为：ALU等计算处理能力 + 数据层级化cache和内存访问能力。对于普遍的通用计算（标量计算），XEON的超标量计算能力，可谓十分完美。而矢量计算，XEON的AVX512和SPR AMX，定向优化的软件性能会大超预期，同时GPU和AI TPU等异构计算对于矢量计算实现了计算的高度优化。

因此，CIPU要在通用标量计算和AI矢量计算等业务领域，去完成XEON ALU算力和GPU stream processor的offloading显然不现实。

如下图，Intel精确定义workload算力特征，以及最佳匹配算力芯片：

行文至此，谨以Nvidia首席计算机科学家Bill Dally的精辟阐述“Locality is efficiency, Efficiency is power, Power is performance, Performance is king.”作为小结。

那既然CIPU硬件加速不单单是算力卸载，那它是什么出答案：CIPU是随路异构计算。

Nvidia/Mellanox已经持续倡导in networking computing（近 络计算）多年，CIPU随路异构计算和它是什么关系领域，也存在多年的computational storage、in storage computing以及near data computing（近数据计算）等概念，CIPU随路异构计算和它们又是什么关系p>

答案很简单：CIPU 随路异构计算 = 近 络计算 + 近存储计算

进一步对比分析，可以加深对随路异构计算的理解：GPU、Google TPU、Intel QAT等，均可以总结分类为: 旁路异构计算；CIPU位于 络和存储必经之路，因此它的分类为：随路异构计算。

CIPU&IPU&DPU

DPU：Data Processing Unit，从业内信息来看，应该源自Fungible；而这个名字真正发扬光大和名噪一时，则要归功于Nvidia的大力宣传推广。在Nvidia收购Mellanox之后，NVidia CEO 黄仁勋对行业趋势的核心判断：数据中心的未来将是CPU、GPU和DPU三足鼎立，并以此为Nvidia Bluefield DPU造势。

进腾讯了｜学习技术哪家强

变强！

– END –

看完一键三连在看，转发，点赞

定个目标｜建立自己的技术知识体系

难走的路，从不拥挤

你好，这里是极客重生，我是阿荣，大家都叫我荣哥，从华为->外企->到互联 大厂，目前是大厂资深工程师，多次获得五星员工，多年职场经验，技术扎实，专业后端开发和后台架构设计，热爱底层技术，丰富的实战经验，分享技术的本质原理，希望帮助更多人蜕变重生，拿BAT大厂offer，培养高级工程师能力，成为技术专家，实现高薪梦想，期待你的关注！点击蓝字查看我的成长之路。

校招/ 招/简历/面试技巧/大厂技术栈分析/后端开发进阶/优秀开源项目/直播分享/技术视野/实战高手等, 极客星球希望成为最有技术价值星球，尽最大努力为星球的同学提供面试，跳槽，技术成长帮助！详情查看->极客星球

                                                                求点赞，在看，分享三连

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树人工智能机器学习工具包Scikit-learn214850 人正在系统学习中