Author: Luo
E-Mail: xcluo.mr@gmail.com
MSN: lx_9986@hotmail.com
Date: 12 Sep, 2011
Keywords: Lustre,并行文件系统, 集群, 高性能, 线性增长
一 并行文件系统
文件系统分为分布式和共享式,而在分布式文件系统中,又细分有分布式并行文件系统,这里说的也是这个。NFS( 络文件系统)是起源最早的为 络系统服务的文件系统之一,用户可以通过NFS将自己的存储才 络中共享给所有的客户端。但是在系统增大,计算机节点增多的前提下,很容易出现访问瓶颈,比如 络瓶颈(千兆 卡的最大数据能力就是100MB/s上下),存储瓶颈(单硬盘的读写能力基本在100MB/s上下),服务器内存等,都会成为存储的瓶颈。基于此问题,诞生了更新一代的 络文件系统,那就是分布式并行文件系统。它通过在 络中集中的管理大于2台存储服务器,使之能如访问一台存储的使用方式一样,保持系统前后使用的一致性基础上, 通过存储服务器的叠加,来提高访问的速度和存储的大小。具体的做法如下:
1. 一台服务器用来构建元数据服务器,主要是文件的索引信息(文件物理位置,文件创建者,时间,日期,日志等);
2. 多台文件存储服务器,用来存储文件的实际内容;
二 Lustre 概述
Lustre文件系统是当前应用最为广泛的分布式并行文件系统,在世界超级计算机500强中占有大数(其他有ZFS, Panasas等),Lustre由SUN公司开发和维护,现在被Oracle收购,由Oracle提供开发和维护(从2.0开始,Oracle不提供纯软件的技术支持了,对免费使用的用户来说,基本没什么影响),是免费的软件,遵从GPL开源软件协议。兼容了POSIX标准(是一个UNIX系统的程序访问操作系统接口,主要是方便应用程序在不同的Unix系统,包含了Linux系统之间方便的移植)的 络系统,能使用与类Unix,Linux,FreeBSD架构的系统。
三 系统安装与部署
四 性能测试
五 调试调优
六 编者按
七 备注
八 参考
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!