moosefs安装和配置步骤

(一)、安装和配置元数据服务(master server) 1、下载源代码 http://ncu.dl.sourceforge.net/pr … 1/mfs-1.6.11.tar.gz 2、tar zxvf mfs-1.6.11.tar.gz 3、创建用户 useradd mfs –s /sbin/nologin 4、./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs 5、make ; make install 6、配置 配置文件位于安装目录/usr/local/mfs/etc,需要的配置文件有两个:mfsmaster.cfg和 mfsexports.cfg, mfsmaster.cfg是主配置文件,mfsexports.cfg是被挂接目录及权限设置。 (1)、mfsmaster.cfg的配置 [root@nas etc]# cp mfsmaster.cfg.dist mfsmaster.cfg 需要注意的是,凡是用#注释掉的变量均使用其默认值,这里我解释一下这些变量: #WORKING_USER和WORKING_GROUP:是运行master server的用户和组; #SYSLOG_IDENT:是master server在syslog中的标识,也就是说明这是由master serve产生的; #LOCK_MEMORY:是否执行mlockall()以避免mfsmaster 进程溢出(默认为0); #NICE_LEVE:运行的优先级(如果可以默认是 -19; 注意: 进程必须是用root启动); #EXPORTS_FILENAME:被挂接目录及其权限控制文件的存放位置 #DATA_PATH:数据存放路径,此目录下大致有三类文件,changelog,sessions和stats; #BACK_LOGS:metadata的改变log文件数目(默认是 50); #REPLICATIONS_DELAY_INIT:延迟复制的时间(默认是300s); #REPLICATIONS_DELAY_DISCONNECT:chunkserver断开的复制延迟(默认是3600); # MATOML_LISTEN_HOST:metalogger监听的IP地址(默认是*,代表任何IP); # MATOML_LISTEN_PORT:metalogger监听的端口地址(默认是9419); # MATOCS_LISTEN_HOST:用于chunkserver连接的IP地址(默认是*,代表任何IP); # MATOCS_LISTEN_PORT:用于chunkserver连接的端口地址(默认是9420); # MATOCU_LISTEN_HOST:用于客户端挂接连接的IP地址(默认是*,代表任何IP); # MATOCU_LISTEN_PORT:用于客户端挂接连接的端口地址(默认是9421); # CHUNKS_LOOP_TIME :chunks的回环频率(默认是:300秒); # CHUNKS_DEL_LIMIT :在一个loop设备中可以删除chunks的最大数 (默认:100) # REPLICATIONS_DELAY_DISCONNECT chunkserver断开后的复制延时(默认:3600秒) # CHUNKS_WRITE_REP_LIMIT:在一个循环里复制到一个chunkserver的最大chunk数目(默认是1) # CHUNKS_READ_REP_LIMIT :在一个循环里从一个chunkserver复制的最大chunk数目(默认是5) # REJECT_OLD_CLIENTS:弹出低于1.6.0的客户端挂接(0或1,默认是0) 注意mfsexports访问控制对于那些老客户是没用的 以上是对master server的mfsmaster.cfg配置文件的解释,对于这个文件不需要做任何修改就可以工作。 ...

2010-01-29 · 2 min · 338 words · kevin

使用MooseFS

一、挂载文件系统 启动管理服务器(master server)和数据服务器(chunkservers) (chunkservers一个是必需的,但至少两个推荐) 后,客户机便可以利用mfsmount挂接mfs文件系统。 MooseFS文件系统利用下面的命令: mfsmount mountpoint [-d] [-f] [-s] [-m] [-n] [-p] [-H MASTER] [-P PORT] [-S PATH] [-o OPT[,OPT…]] -H MASTER:是管理服务器(master server)的ip地址 -P PORT: 是管理服务器(master server)的端口号,要按照mfsmaster.cfg 配置文件中的变量MATOCU_LISTEN_POR的之填写。如果master serve使用的是默认端口号则不用指出。 -S PATH:指出被挂接mfs目录的子目录,默认是/目录,就是挂载整个mfs目录。 Mountpoint:是指先前创建的用来挂接mfs的目录。 在开始mfsmount进程时,用一个-m或-o mfsmeta的选项,这样可以挂接一个辅助的文件系统MFSMETA,这么做的目的是对于意外的从MooseFS卷上删除文件或者是为了释放磁盘空间而移动的文件而又此文件又过去了垃圾文件存放期的恢复,例如: mfsmount -m /mnt/mfsmeta 需要注意的是,如果要决定挂载mfsmeta,那么一定要在mfsmaster的mfsexports.cfg文件中加入如下条目: * . rw 原文件中有此条目,只要将其前的#去掉就可以了。 基本操作 挂载文件系统后就可以执行所有的标准的文件操作了(如创建,拷贝,删除,重命名文件,等等)。MooseFS是一个网络文件系统,因此操作进度可能比本地系统要慢。 MooseFS卷的剩余空间检查可以用和本地文件系统同样的方法,例如df命令: $ df -h | grep mfs mfsmaster:9421 85T 80T 4.9T 95% /mnt/mfs mfsmaster:9321 394G 244G 151G 62% /mnt/mfs-test 重要的是每一个文件可以被储存多个副本,在这种情况下,每一个文件所占用的空间要比其文件本身大多了。此外,被删除且在有效期内(trashtime)的文件都放在一个“垃圾箱”,所以他们也占用的空间,其大小也依赖文件的份数。就像其他Unix的文件系统一样,以防删除一个被其它进程打开文件,数据将被一直存储,至少直到文件被关闭。 二、MooseFS的特定的操作 1、设定的目标 目标(goal),是指文件被拷贝的份数,设定了拷贝的份数后是可以通过可以mfsgetgoal命令来证实的,也可以通过mfssetgoal来改变设定。例如: $ mfsgetgoal /mnt/mfs-test/test1 /mnt/mfs-test/test1: 2 $ mfssetgoal 3 /mnt/mfs-test/test1 /mnt/mfs-test/test1: 3 $ mfsgetgoal /mnt/mfs-test/test1 /mnt/mfs-test/test1: 3 用mfsgetgoal –r和mfssetgoal –r同样的操作可以对整个树形目录递归操作。 $ mfsgetgoal -r /mnt/mfs-test/test2 /mnt/mfs-test/test2: files with goal 2 : 36 directories with goal 2 : 1 $ mfssetgoal -r 3 /mnt/mfs-test/test2 /mnt/mfs-test/test2: inodes with goal changed: 37 inodes with goal not changed: 0 inodes with permission denied: 0 $ mfsgetgoal -r /mnt/mfs-test/test2 /mnt/mfs-test/test2: files with goal 3 : 36 directories with goal 3 : 1 实际的拷贝份数可以通过mfscheckfile 和 mfsfileinfo 命令来证实,例如: $ mfscheckfile /mnt/mfs-test/test1 /mnt/mfs-test/test1: 3 copies: 1 chunks 三、垃圾箱(trash bin)设定隔离的时间(quarantine time) 一个删除文件能够存放在一个“垃圾箱”的时间就是一个隔离时间,这个时间可以用mfsgettrashtime命令来验证,也可以用mfssettrashtime命令来设置,例如: $ mfsgettrashtime /mnt/mfs-test/test1 /mnt/mfs-test/test1: 604800 $ mfssettrashtime 0 /mnt/mfs-test/test1 /mnt/mfs-test/test1: 0 $ mfsgettrashtime /mnt/mfs-test/test1 /mnt/mfs-test/test1: 0 这些工具也有个递归选项-r,可以对整个目录树操作,例如: $ mfsgettrashtime -r /mnt/mfs-test/test2 /mnt/mfs-test/test2: files with trashtime 0 : 36 directories with trashtime 604800 : 1 $ mfssettrashtime -r 1209600 /mnt/mfs-test/test2 /mnt/mfs-test/test2: inodes with trashtime changed: 37 inodes with trashtime not changed: 0 inodes with permission denied: 0 $ mfsgettrashtime -r /mnt/mfs-test/test2 /mnt/mfs-test/test2: files with trashtime 1209600 : 36 directories with trashtime 1209600 : 1 时间的单位是秒(有用的值有:1小时是3600秒,24 - 86400秒,1 - 604800秒)。就像文件被存储的份数一样, 为一个目录 设定存放时间是要被新创建的文件和目录所继承的。数字0意味着一个文件被删除后, 将立即被彻底删除,在想回收是不可能的 删除文件可以通过一个单独安装MFSMETA文件系统。特别是它包含目录 / trash (包含任然可以被还原的被删除文件的信息)和 / trash/undel (用于获取文件)。只有管理员有权限访问MFSMETA(用户的uid 0,通常是root)。 $ mfssettrashtime 3600 /mnt/mfs-test/test1 /mnt/mfs-test/test1: 3600 从“垃圾箱”中删除文件结果是释放之前被它站用的空间(删除有延迟,数据被异步删除)。在这种被从“垃圾箱”删除的情况下,该文件是不可能恢复了。 可以通过mfssetgoal工具来改变文件的拷贝数,也可以通过mfssettrashtime工具来改变存储在“垃圾箱”中的时间。 在 MFSMETA的目录里,除了trash和trash/undel两个目录外,还有第三个目录reserved,该目录内有已经删除的文件,但却有一直打开着。在用户关闭了这些被打开的文件后,reserved目录中的文件将被删除,文件的数据也将被立即删除。在reserved目录中文件的命名方法同trash目录中的一样,但是不能有其他功能的操作。 四、快照 MooseFS系统的另一个特征是利用mfsmakesnapshot工具给文件或者是目录树做快照,例如: $ mfsmakesnapshot source … destination Mfsmakesnapshot是在一次执行中整合了一个或是一组文件的拷贝,而且任何修改这些文件的源文件都不会影响到源文件的快照, 就是说任何对源文件的操作,例如写入源文件,将不会修改副本(或反之亦然)。 文件快照可以用mfsappendchunks,就像MooseFS1.5中的mfssnapshot一样,,作为选择,二者都可以用。例如: $ mfsappendchunks destination-file source-file … 当有多个源文件时,它们的快照被加入到同一个目标文件中(每个chunk的最大量是chunk)。 五、额外的属性 文件或目录的额外的属性(noowner, noattrcache, noentrycache),可以被mfsgeteattr,mfsseteattr,mfsdeleattr工具检查,设置,删除,其行为类似mfsgetgoal/mfssetgoal or或者是mfsgettrashtime/mfssettrashtime,详细可见命令手册。

2010-01-29 · 2 min · 280 words · kevin

moosefs 编译和安装概要

MooseFS部署的首选方法是从源代码安装 源代码包安装支持标准./configure && make && make install的步骤,重要的配置选项有: –disable-mfsmaster –不创建成管理服务器(用于纯节点的安装) –disable-mfschunkserver –不创建成数据存储chunkserver服务器 –disable-mfsmount –不创建mfsmount和mfstools(如果用开发包安装,他们会被默认创建的) –enable-mfsmount –确定安装mfsmount和mfstools(如果 –prefix=DIRECTORY –锁定安装目录(默认是/usr/local) –sysconfdir=DIRECTORY –选择配置文件目录(默认是${prefix}/etc)) –localstatedir=DIRECTORY –选择变量数据目录(默认是${prefix}/var,MFS元数据被存储在mfs的子目录下,默认是${prefix}/var/mfs ) –with-default-user -运行守护进程的用户,如果配置文件中没有设定用户,默认为nobody用户 –with-default-group=GROUP 运行守护进程的用户组,如果配置文件中没有设定用户组,默认为nogroup用户组 例如用FHS(文件系统层次标准)的兼容路径在Linux上的安装: ./configure –prefix=/usr –sysconfdir=/etc –localstatedir=/var/lib 编译安装遵守标准的DESTDIR= variable,允许安装包在临时目录(例如以创造二进制包)。已经存在的配置或这是元数据文件将会被覆盖掉。 一、管理服务器(master) 作为管理服务器(master)是MooseFS部署中重要的一个元素,在硬件方面,应该被安装在一台能够保证高可靠性和能胜任的整个系统存取的要求的机器上。一个明智的做法是用一个配有冗余电源、ECC内存、磁盘阵列,如RAID1/RAID5/RAID10。在操作系统方面,管理服务器的操作系统应该是具有POSIX兼容的系统(到目前支持Linux, FreeBSD, Mac OS X and OpenSolaris)。 安装管理服务器(master server)的过程: 1、安装mfs-master 2、如果是从源码安装的话,在configure时不要加–disable-mfsmaster选项。 3、创建运行master的用户(如果这样的用户不存在的话) 4、确定存放元数据文件的目录存在,而且能够被运行master的用户可写(通过configure的选项来设置运行master server的用户和元数据存储的路径,make install命令的执行要用root用户) 5、配置master server服务器是通过配置文件mfsmaster.cfg来做的,要特别注意的是TCP端口的使用 6、添加或创建(依赖于操作系统和发布版本)一组启动mfsmaster进程的脚本 安装完管理服务器后,便可以用mfsmaster命令来启动master server,如果用root用户执行mfsmaster命令,则在启动后转为mfsmaster.cfg中指定的用户来运行,否则将以执行mfsmaster命令的用户来运行master server。 二、元数据日志服务器 元数据日志守护进程是在安装master server时一同安装的,最小的要求并不比master本身大,可以被运行在任何机器上(例如任一台chunkserver),但是最好是放置在MooseFS master的备份机上,备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs。因为主要的master server一旦失效,可能就会将这台metalogger机器取代而作为master server。 安装管理进程: 1、从源代码安装mfs-master,在执行configure时不要带有–disable-mfsmaste选项 2、创建有运行mfsmetalogger服务权限运行的用户(如果这样的用户不存在的话) 3、确定存放元数据文件的目录存在,而且能够被运行mfsmetalogger服务的用户可写(通过configure的选项来设置运行mfsmetalogger服务的用户和元数据存储的路径,make install命令的执行要用root用户) 4、通过mfsmetalogger.cfg配置mfsmetalogger服务,要特别注意的是TCP端口,这里要使用MASTER_PORT要必须和mfsmaster.cfg文件中的MATOML_LISTEN_PORT一致。 5、添加或创建(依赖于操作系统和发布版本)一组启动mfsmetalogger进程的脚本 安装完管理服务器后,便可以用mfsmetalogger命令来启动mfsmetalogger server,如果用root用户执行mfsmetalogger命令,则在启动后转为mfsmetalogger.cfg中指定的用户来运行,否则将以执行mfsmetalogger命令的用户来运行mfsmetalogger server。 三、数据服务器 安装完管理服务器后,将安装数据服务器(chunkservers),这些机器的磁盘上要有适当的剩余空间,而且操作系统要遵循POSIX标准(验证了的有这些:Linux, FreeBSD, Mac OS X and OpenSolaris)。Chunkserver在一个普通的文件系统上储存数据块/碎片(chunks/fragments)作为文件。 Linux: creating: dd if=/dev/zero of=file bs=100m seek=400 count=0 mkfs -t ext3 file mounting: mount -o loop file mount-point FreeBSD: creating and mounting: dd if=/dev/zero of=file bs=100m count=400 mdconfig -a -t vnode -f file -u X newfs -m0 -O2 /dev/mdX mount /dev/mdX mount-point mounting a previously created file system: mdconfig -a -t vnode -f file -u X mount /dev/mdX mount-point Mac OS X: Start “Disk Utility” from “/Applications/Utilities” Select from menu “Images->New->Blank Image …” 注: 每一个chunkserver的磁盘都要为增长中的chunks保留些磁盘空间,从而达到创建新的chunk。只有磁盘都超过256M并且chunkservers报告自由空间超过1GB总量才可以被新的数据访问。最小的配置,应该从几个G字节的存储。 安装数据服务器 (chunkserver): 1、 把预先隔离的磁盘空间作为一个单独的文件系统,挂接在一个本地的目录下(如:/mnt/hd1, /mnt/hd2等等); 2、安装mfs-chunkserver 在执行configure时要不带–disable-mfschunkserver选项, 3、创建有运行chunkserver服务权限运行的用户(如果这样的用户不存在的话) 4、并给予这个户对整个MooseFS文件系统写的权限 5、利用mfschunkserver.cfg文件配置mfschunkserver服务,特别要注意的是TCP端口(MASTER_PORT变量要和mfsmaster.cfg中MATOCS_LISTEN_PORT的值一样)。 6、在mfshdd.conf文件中列出要用于MooseFS的挂载点 7、添加或创建(依赖于操作系统和发布版本)一组启动mfschunkserver进程的脚本 注: Mfschunkserver的本地ip很重要,Mfschunkserver用此ip和mfsmaster进行连接,mfsmaster通过此ip和MFS客户端连接(mfsmount),而且其它chunkservers之间的通讯也是通过这个ip,因此这个ip必须是远程可访问的。因此mfsmaster的本地ip地址(MASTER_HOST)设置必须和chunkserver一样,以便于正确的连接,通常的做法是mfsmaster,chunkservers和MFS客户端在同一网段。一般的回环地址(localhost, 127.0.0.1)不能用于MASTER_HOST,它将使chunkserver无法被其她主机访问(这样的配置只会是单机器的机器mfsmaster,mfschunkserver和mfsmount运行)。 安装完mfschunkserver后,便可以用mfschunkserver命令来启动mfschunkserver服务器,如果用root用户执行mfschunkserver命令,则在启动后转为mfschunkserver.cfg中指定的用户来运行,否则将以执行mfschunkserver命令的用户来运行mfschunkserver服务。 四、客户端(mfsmount) mfsmount需要FUSE才可以正常工作,FUSE支持多种操作系统:Linux, FreeBSD, OpenSolaris and MacOS X。 Linux一个内核模块的API版本至少必需是7.8的,这个可以用dmesg命令来检测,当载入内核模块后,应该能看到有一行fuse init (API version 7.8)。一些可用的fuse版本是2.6.0以上,Linux kernel 2.6.20(Linux内核从2.6.20后加入了fuse)以上。由于一些小bug,因此比较新模块被荐使用,如fuse 2.7.2 及 Linux 2.6.24(尽管fuse 2.7.x单独没有包含getattr/write race condition fix)。在FreeBSD系统上fusefs-kmod版本要0.3.9以上的才可以,在MacOS X Mac上 FUSE要10.5版本。 安装MooseFS客户端: 1、安装mfs-client,从源代码安装,在进行configure时不要加–disable-mfsmount选项就可以了 2、建立被MooseFS挂接的目录,例如/mnt/mfs。 3、MooseFS用一下的命令挂接: mfsmount [-h master] [-p port] [-l path] [-w mount-point] -H MASTER:是管理服务器(master server)的ip地址 -P PORT: 是管理服务器(master server)的端口号,要按照mfsmaster.cfg 配置文件中的变量MATOCU_LISTEN_POR的之填写。如果master serve使用的是默认端口号则不用指出。 -S PATH:指出被挂接mfs目录的子目录,默认是/目录,就是挂载整个mfs目录。 Mountpoint:是指先前创建的用来挂接mfs的目录。 ...

2010-01-29 · 2 min · 221 words · kevin

MooseFS 维护

一、启动MooseFS集群 最安全的启动MooseFS集群(避免任何读或写的错误数据或类似的问题)的方式是按照以下命令步骤: 1.启动mfsmaster进程 2.启动所有的mfschunkserver进程 3.启动mfsmetalogger进程(如果配置了mfsmetalogger) 当所有的chunkservers连接到MooseFS master后,任何数目的客户端可以利用mfsmount去挂接被export的文件系统。(可以通过检查master的日志或是CGI监视器来查看是否所有的chunkserver被连接)。 二、停止MooseFS集群 安全的停止MooseFS集群: 1.在所有的客户端卸载MooseFS 文件系统(用umount命令或者是其它等效的命令) 2.用mfschunkserver –s命令停止chunkserver进程 3.用mfsmetalogger –s命令停止metalogger进程 4.用mfsmaster –s命令停止master进程 三、MooseFS chunkservers的维护 假如每个文件的goal(目标)都不小于2,并且没有under-goal文件(这些可以用mfsgetgoal –r和mfsdirinfo命令来检查),那么一个单一的chunkserver在任何时刻都可能做停止或者是重新启动。以后每当需要做停止或者是重新启动另一个chunkserver的时候,要确定之前的chunkserver被连接,而且要没有under-goal chunks。 四、MooseFS元数据的备份 通常元数据有两部分的数据 1.主要元数据文件metadata.mfs,当mfsmaster运行的时候会被命名为metadata.mfs.back 2.元数据改变日志changelog.*.mfs,存储了过去的N小时的文件改变(N的数值是由BACK_LOGS参数设置的,参数的设置在mfschunkserver.cfg配置文件中)。 主要的元数据文件需要定期备份,备份的频率取决于取决于多少小时changelogs储存。元数据changelogs应该实时的自动复制。自从MooseFS 1.6.5,这两项任务是由mfsmetalogger守护进程做的。 五、MooseFS master的恢复 一旦mfsmaster崩溃(例如因为主机或电源失败),需要最后一个元数据日志changelog并入主要的metadata中。这个操作时通过mfsmetarestore工具做的,最简单的方法是: mfsmetarestore -a 如果master数据被存储在MooseFS编译指定地点外的路径,则要利用-d参数指定使用,如: mfsmetarestore -a -d /storage/mfsmaster 六、从备份恢复MooseFS master 为了从备份中恢复一个master,需要做: 1、安装一个mfsmaster 2、利用同样的配置来配置这台mfsmaster(利用备份来找回mfsmaster.cfg),可见配置文件也是需要备份的。 3、找回metadata.mfs.back文件,可以从备份中找,也可以中metalogger主机中找(如果启动了metalogger服务),然后把metadata.mfs.back放入data目录,一般为${prefix}/var/mfs。 4、从在master宕掉之前的任何运行metalogger服务的服务器上拷贝最后metadata文件,然后放入mfsmaster的数据目录。 5、利用mfsmetarestore命令合并元数据changelogs,可以用自动恢复模式mfsmetarestore –a,也可以利用非自动化恢复模式,语法如下: mfsmetarestore -m metadata.mfs.back -o metadata.mfs changelog_ml.*.mfs 转载自:http://bbs.chinaunix.net/viewthread.php?tid=1643863&extra=&page=1

2010-01-29 · 1 min · 54 words · kevin

upgrade moosefs from 1.5 to 1.6

1. Upgrade and restart mfsmaster. 2. Upgrade and restart chunkservers. 3. Upgrade mfs clients (mfstools before remounting MooseFS with new mfsmount), remount MooseFS trees. * mfsmaster ./configure --prefix=/usr/local/mfs --enable-mfsmaster --with-default-user=dxy --with-default-group=dxy; make; make install cp mfsexports.cfg.dist mfsexports.cfg edit mfsexports.cfg, add allowed ip range start: /usr/local/mfs/sbin/mfsmaster start stop: /usr/local/mfs/sbin/mfsmaster -s * mfschunkserver ./configure --prefix=/usr/local/mfs --enable-mfschunkserver --with-default-user=dxy --with-default-group=dxy; make; make install cp mfsmetalogger.cfg.dist mfsmetalogger.cfg start: /usr/local/mfs/sbin/mfschunkserver start stop: /usr/local/mfs/sbin/mfschunkserver -s * mfsmount ./configure --prefix=/usr/local/mfs --enable-mfsmount --with-default-user=dxy --with-default-group=dxy; make; make install /usr/local/mfs/bin/mfsmount -H 192.168.200.226 /mfs

2010-01-29 · 1 min · 82 words · kevin