【存储】GPFS简介及搭建

第一章 GPFS简介

1.1  GPFS 文件系统介绍

IBM的GPFS（General Parallel File System，通用并行文件系统）可以让用户共享文件系统，这些文件系统可以跨多个节点，多个硬盘。GPFS文件系统提供了许多标准的Unix文件系统接口，大多数应用不需要修改或重新编译就可运行在GPFS文件系统上。UNIX文件系统上的实用程序也为GPFS所支持。也就是用户可以继续使用他们所熟悉的UNIX命令来进行常规的文件操作。但是用户需要使用GPFS文件系统的特有的管理命令来管理GPFS文件系统。

GPFS提供的文件系统服务既适用于并行应用也可用于串行应用。GPFS使得并行应用可同时访问文件系统上同一个文件或不同的文件。GPFS特别适合于集中对数据的访问超过了分布式文件服务器的处理能力的应用环境。它不适用于以热备份为主应用环境或数据很容易按照节点划分区的应用环境。

通用并行文件系统(General Parallel File System–GPFS)for AIX是一种高性能共享磁盘文件系统.它可以在一个AIX集群环境中为各节点提供数据存取.并行和串行应用程序可以容易地通过标准UNIX文件系统界面访问共享的文件,并且同一个文件可以被多个节点并发地访问.GPFS的设计通过登录机制和复制机制,提供了高可用性特性,可以配置为在磁盘及服务器发生故障时实现接管.GPFS现在已经被IBM RS/6000 SP集群系统广泛兼容,扩展文件系统I/O,帮助满足广泛的应用需求,如地震数据处理,数字图书馆文件服务器,商务智能中的数据挖掘,等.GPFS for AIX支持IBM eServer Cluster 1600,以及用相应技术将IBM eServer p系列节点组成的集群环境.

1.2  GPFS文件系统的特点

1. 增强系统的性能

使用GPFS文件系统存储和检索文件可以提高系统的性能。

l 使得运行在同一节点集中的多个节点上的进程和应用，使用标准的文件系统调用就可同时访问同一个文件。

l 通过将读写操作分布到多个此盘上提高了文件系统的总体带宽。

l 允许从多节点上进行并发的读/写操作。

2. 保证文件的一致性

GPFS中使用了成熟的令牌管理技术来保证数据的一致性，同时又允许群集中的节点通过不同的途经以相同的名字访问相同的文件。

3. 较强的恢复能力以提高数据的有效性

GPFS是一个日志文件系统，每个节点都有单独的日志，在这些日志中记录了对元数据（metadata）的修改和配置，在节点发生故障时便于快速恢复，保证数据的一致性。

4. 增强了系统的灵活性

使用GPFS，系统资源是可变的，可在文件系统加载时，就进行磁盘的添加与删除操作。如果系统不是很繁忙，还可在文件系统中重新分布数据，以提高文件系统的读写性能。

5. 统一的文件系统管理

GPFS管理命令被设计成，保证群集中节点上GPFS群集数据（有关群集和GPFS文件系统的配置信息）的同步性，GPFS文件系统的管理命令只需在一节点上执行，相关操作就会同步到其他相关节点上。

1.3  GPFS的基本结构

GPFS是一种定义在多个节点上的集群文件系统。运行GPFS的全部节点集称之为GPFS群集。在GPFS群集中，所有节点又被分成多个GPFS节点集，在同一个节点集的节点可共享其所属的GPFS文件系统，而其他节点集中的节点是无法访问它的。GPFS支持lc、rpd、hacmp和sp等多种群集类型。

GPFS群集中的每一节点，都由以下几方面构成：

1. GPFS管理命令

2. 扩展核心

3. 多线程的后台监控程序

GPFS的扩展核心

GPFS的扩展核心为操作系统的vnode提供了一个接口，为增加文件系统提供了虚拟文件系统接口。在结构上，应用程序向操作系统发出一文件系统调用请求，操作系统系统会将此请求转给GPFS文件系统扩展核心。从应用的角度，GPFS只是一个文件系统。GPFS的扩展核心将完成这些请求 — 通过使用系统中已有的资源 或发送消息给GPFS后台监控程序来完成此请求。

GPFS后台监控程序

GPFS后台监控程序为GPFS完成所有的I/O操作和缓存的管理。 这包括预读（read-ahead）和延迟写(write-behind)。 所有的I/O操作是由令牌（token）来控制的，这确保了建立在多节点上的文件系统中数据的一致性。

后台监控程序是一多线程的进程，有些线程只处理某些特定的功能。忙于日常事务的线程只进行日常事务处理，有专用的线程来响应服务请求。后台监控进程也与运行在其他节点上运行GPFS的实例进行通信，来协调配置的改变、文件系统的恢复和并行修改相同的数据结构。这些具体的功能包括：

 ·为新文件和新扩大的文件分配空间，这通过与文件系统管理器（file system manager）协商完成。

 ·目录的管理，包括创建新目录、插入和删除目录中的条目、因I/O的请求而检索相关的目录

·为保证数据和元数据的完整性分配适当的锁。涉及到会从多个节点访问的数据

 ·磁盘的I/O 是由后台进程中的线程发起的。

 ·文件系统的安全与配额管理也是由进程协同文件系统管理器共同管理的

1.4  GPFS集群类型

GPFS集群的类型有哪些, 它们各由什么样的环境支持/span>

络连接, 磁盘连接, 操作系统和服务器平台与GPFS集群类型的关系如下: