GlusterFS分布式文件系统环境部署

GlusterFS / 作者：

一、概述

本手册主要是关于GlusterFS分布式文件系统环境部署说明。

二、 安装环境需求

  • 安装包说明
操作系统：CentOS release 6.6
非结构化数据存储：Glusterfs v3.7
  •  网络需求

非机构化存储采用GlusterFS分布式文件系统进行存储，集群由三个节点组成，通过Client挂载实现访问。

    • 地址规划

名称

地址

说明

GlusterFS-01

172.19.0.6

GlusterFS-02

172.19.4.3

GlusterFS-03

172.19.8.3

三、 GlusterFS配置

    • 前期准备

主机名设置

添加主机名及IP对应关系

# vim /etc/hosts
172.19.0.6 GlusterFS-01
172.19.4.3 GlusterFS-02
172.19.8.3 GlusterFS-03
180.8.40.11 Client
    • DNS设置
# vim /etc/resolv.conf
nameserver 180.8.10.253
    • NTP设置 统一时间
/etc/ntp.conf
    • 关闭防火墙
service iptables stop
chkconfig iptables off

注：如果需要启用防火墙，需要添加glusterfs的端口

    • 关闭SElinux
查看SELinux状态：
getenforce 查看启用的状态
如果SELinux status参数为enabled即为开启状态
SELinux status:                 enabled
cat /etc/selinux/config
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
确认SELINUX=disabled，如不是进行修改后重启系统。
    • 磁盘分区
ext4格式化工具目前支持最大16TB
使用parted进行磁盘分区
分区格式化
mkfs.ext4 -L /NODE1  /dev/sdb
  • 分组自动挂载
mkdir /NODE1
mkfs.ext4 -L /NODE1 /dev/sdb
mount -t ext4 -L /NODE1  /NODE1
  • 开机自动挂载
/etc/fstab
LABEL=/NODE1            /NODE1                  ext4    defaults        0 0
  • 查看卷标
e2label /dev/sdb
添加到/etc/fstab后可以验证自动挂载
mount –a
三台GlusterFS分别执行以上操作

GlusterFS Server配置安装

    • Fuse支持库安装
#yum install fuse -y
  •  查看Fuse支持库是否安装
# lsmod | grep "fuse"
fuse                   73530  0
以上提示说明Fuse已经安装，如果没有则需要进行安装：
  • 挂载fuse内核模块 
    #modprobe fuse (关键)
#lsmod | grep "fuse" (查询fuse内核模块是否已正确挂载)
    • Glusterfs Server安装
#tar -zxvf glusterfs-3.3.1.tar.gz
# cd glusterfs-3.3.1
#./configure --prefix=/usr/local
#make && make install
  • 查看是否安装成功：
# glusterd -V
glusterfs 3.3.1 built on Jun 10 2015 07:43:49
Repository revision: git://git.gluster.com/glusterfs.git
Copyright (c) 2006-2011 Gluster Inc. </" >http://www.gluster.com>
GlusterFS comes with ABSOLUTELY NO WARRANTY.
You may redistribute copies of GlusterFS under the terms of the GNU General Public License.
    • Glusterd服务自启动
service glusterd start
添加开机自启动
chkconfig glusterd on

Volume管理

    • 组建扩展
#选择其中一个节点进行操作
gluster peer probe 组建集群
gluster peer probe GlusterFS-01
gluster peer probe GlusterFS-02
gluster peer probe GlusterFS-03
    • 复合卷（哈希-复制卷）

示例：

# gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4 server5:/exp5 server6:/exp6
Creation of test-volume has been successful
Please start the volume to access data.
  • 创建复制卷
gluster volume create dht_afr_1 replica 3 GlusterFS-01:/NODE1/data1 GlusterFS-02:/NODE1/data1 GlusterFS-03:/NODE1/data1 GlusterFS-01:/NODE1/data2 GlusterFS-02:/NODE1/data2 GlusterFS-03:/NODE1/data2
  • 查看卷信息：
gluster volume info
  • 启动创建卷
gluster volume start dht_afr_1
  • 查看卷状态
gluster volume status dht_afr_1

Client 安装

  • Fuse支持库安装
#yum install fuse -y
  •  查看Fuse支持库是否安装
# lsmod | grep "fuse"
fuse                   73530  0
以上提示说明Fuse已经安装，如果没有则需要进行安装：
  • 挂载fuse内核模块
#modprobe fuse (关键)
#lsmod | grep "fuse" (查询fuse内核模块是否已正确挂载)
  • 安装GlusterFS Client
#tar -zxvf glusterfs-3.3.1.tar.gz
# cd glusterfs-3.3.1
# /configure
#make && make install
  •  卷组进行挂载：

复合卷（哈希-复制卷）

#创建挂载目录 
mkdir -p /gfs

执行挂载

mount -t glusterfs GlusterFS-01:/dht_afr_1 /gfs
设置开机自动挂载：
将以下挂载命令添加到开机自动启动，
/etc/rc.d/rc.local

mount -t glusterfs GlusterFS-01:/dht_afr_1 /gfs

发表评论