CEOCIO.COM.CN
IT经理世界
行业的发展需求促进信息技术包括存储技术的不断演进,全闪存软件定义产品已经步入舞台中央。
在即将过去的2018年,软件定义存储、超融合成为存储领域的一匹黑马,为整个市场贡献了诸多方案与案例。随着大数据、人工智能、4K影视在过去一年的快速发展和应用,软件定义全闪存存储产品也走上应用的舞台。
的确,在过去的七八年间,不管是架构还是在介质上,存储发生了非常大的改变。从云计算、云存储,到软件定义存储和超融合,再到闪存存储介质上的全闪存架构、全闪存阵列一路”大跃进”。
在市场和用户对更快更强的弹性基础架构的需求越来越强的今天,企业需要从用户需求出发,通过技术创新,为市场和用户提供了高性能、可横向扩展的,并可纳管整合既有存储资源的统一存储产品及跨平台,全存储协议支持的超融合产品。
目前,国内做全闪存且做到分布式的有三个厂家:EMC、分布式全闪存厂家Pure Storage和Bigtera。Bigtera在软件定义存储领域扎根多年,从一开始就利用分布式的方式去做全闪。2010年就开始做软件定义存储,可以算是国内最早做软件定义存储的,2013年开始推出第一个软件定义存储的产品。同时在分布式的软件定义存储架构和超融合架构上都有相应的产品。
现在软件定义存储厂商不少,Bigtera公司总经理游宗霖介绍,Bigtera软件定义存储的特色在于,软件定义存储可以让用户善用所有的存储资源,还可以根据业务的特性做不同的安全级别的设计不同跨数据中心灾备的方式,再有,软件定义集群允许客户把旧的存储加进来,变成存储资源池的一部分。
在2018中国存储与数据峰会上,Bigtera发布了最新的Bigtera VirtualStor? Extreme软件定义全闪存存储产品,拥有超高的性能、按需扩展的能力及对全闪存写放大的优化,Bigtera利用其与市场主流闪存厂商基于闪存控制器层的交互可以让Bigtera VirtualStor? Extreme的写放大优化由当前市场主流的7.31倍极大的降低至1.05倍,大大延长闪存的使用寿命而不影响数据安全。该产品主要应用于大数据、人工智能、基因测序、4K富媒体融媒体广播、在线教育培训、云基础架构和IT基础架构及电子设计自动化(EDA)等需要高性能的领域。
作为资深的存储业界人士,Bigtera公司总经理游宗霖分享了,从存储技术的发展到用户需求的变迁及Bigtera针对新技术及新经济下的存储解决方案的思考。
游宗霖:
首先,是扩容问题,以前的存储不是很容易扩容,用到一定时间容量、性能都会遇到瓶颈,需要更新、更大和更快的存储。
第二,每个应用对存储的需求都不太一样,这在一定程度上导致了存储孤岛出现。而应用对存储有不同的需求,为了数据安全,会做备份、灾备,如此多的具体需求会导致整个基础建设、基础架构里面的存储设计非常复杂。
第三,我们常看到一个IT的挑战就是当你有各种不同形态存储的时候,必须把数据做迁移。每次做数据迁移的时候,业务就必须暂停一下,这导致整个IT在交付服务时无法及时快速响应。
第四,可以看到数据中心的存储空间有50%以上没有被有效使用,客户的习惯还是每一次有新应用就去买新存储,导致剩余的空间非常多。
最后,每一家企业的设备管理方式都不一样,所以IT人员必须花时间去学习所有厂家存储的配置、管理、优化等。而且不同的厂家、不同的管理方式其实都不一样,就会出现。虽然你买到一些便宜的存储,但是管理上反而会耗费更多的钱、人力和资源。
游宗霖:
超融合架构HCI是把计算、 络、存储放在同一个物理设备上,然后它可以不断地扩充。借用软件的方式可以把计算、 络、存储变成是资源池,然后根据你的应用的需要去分配这些资源来给大家使用。
以前计算、 络跟存储是完全独立的,HCI是把这些东西全部塞在同一台机器里。而软件组合式的基础建设SCI是把这些再度分开,切成很多的小块,然后任意地根据需要去组合。根据用户需要多少的计算资源、多少 络、多少存储,能够把它组合在一起。但是组合在一起之后,它的性能、使用方式、使用感觉让你它就是一台机器,不是分开来的一些存储设备或者是 络设备跟计算资源。不过,SCI其实是一个刚开始发展的阶段。
游宗霖:
提到SCI,当然我们刚才讲了SCI要去组合这些资源,的确像你讲的需要一些人工智能的判断,我才知道什么样的业务动态的变化,我应该去动态地组合什么样的资源。AI是一个辅助怎么去组合这个资源的方式,但是你必须要有一些先前的条件,允许你做这样的组合,你才有办法去做出来。
现在这一个技术的瓶颈在于 络,NVMe-oF是一个新协议,在客户的接受度还比较低,同时它现在还不支持多路径功能。我们的判断是,在两个前提下,这个NVMe-oF可以快速成熟。第一个是这个多路径的协议完成,而且大量地厂家已经支持NVMe-oF的多路径。第二个是NVMe over TCP协议还没有制定完成,如果这个协议已经完成了,而且已经有产品支持,我觉得组合式的基础建设就可以开始有比较快速的发展。
游宗霖:
我们的产品设计是为了人工智能、大数据、4K、8K的设计,但也使用了AI的技术。其中一个用AI去预测闪存什么时候故障,在全闪阵列里根据客户的使用状况、历史记录,去判断SSD寿命、预测它什么时候会出故障。我们也会针对性能的增加或者是存储空间的使用率做一个预测,可以提前告知IT人员什么时候该扩容,什么时候该增加节点,什么时候该换盘,让他们有更充裕的时间去准备采购或者替换盘。
游宗霖:
我们大部分是自研的,但是我们有一部分参考了开源。2011年开始,我们在研究开源软件Ceph,一开始的架构参考了Ceph,但是后来发现Ceph设计上有很多局限,所以我们自研了一套架构。另外,我们也发现Ceph在 群里做的很好,比如他跟openstack这些的对接做得非常好,为了维持跟其他的对接,我们在界面上还是维持了Ceph的界面,Ceph支持的原生协议我们也支持,等于接口我们还是用了Ceph的接口,但是底层、内部的核心是自己研发的。
游宗霖:
技术上的挑战可以说一直都有。举个发生在比较早期的例子。
我们一开始的架构是一个分布式架构,我们认为在这个架构下,当你的硬盘故障时,对业务是不会造成影响的,于是直接以这样的架构销售给企业用户。但是,一开始硬盘没有那么快坏,客户都用的也很好,时间一长,客户就开始抱怨会经常卡顿。我们花了很多时间追踪发现,如果硬盘坏不是突然间整个就坏掉,而是处于一种半死不活的状态,也就是说有些区块你还是可以写出数据,但是有些坏掉的地方就卡很久,有些卡很久不回来,有些卡很久还是会回来。这个状态导致了客户业务受到非常大的影响,客户就认为是我们这边的问题。我们的挑战在于从软件上怎么样精准判断出硬盘的状态,以及会对业务造成的影响。
第二个挑战带有衍生性,即当硬盘真的坏了或者出现节点故障,我们会开始做一些数据的自我修复。一开始的想法比较单纯,这个东西坏了,数据丢失了,必须赶快把它复原回来,要不然万一个节点再故障有可能就会有数据真的丢失。所以我们用很快的速度去做数据复原,但其实这件事对企业用户来讲并不是一个很好的选择,因为当你在快速复原数据时,对他的业务会有影响(他的业务要写进来,我在做复原,他的数据写进来会变慢,反而会影响他的业务),这是我们一开始设计时始料不及的。后来我们会看客户的业务状况,当他业务不忙的时候我们再做复原,业务忙的时候,我们复原的速度再放慢。这种是在客户那边碰到,我们才理解设计上要做这样的改变。
游宗霖:
我觉得不管怎么发展,他们都是围绕在一个什么样的基础建设能够很快速而且弹性的交付给最终用户来使用。未来一定会朝向SCI这种架构,但是这个有一个前提,就是说当一切都变成是全闪存的时候,在那个架构之下应该就是SCI的架构是比较内容快速弹性的交付给最终用户。
IT经理世界
技术推动商业变革
-长按关注我们哟-
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!