作者 主題: Linux Cluster for NFS安裝及設定分享  (閱讀 16933 次)

0 會員 與 1 訪客 正在閱讀本文。

ua09108

  • 可愛的小學生
  • *
  • 文章數: 9
    • 檢視個人資料
Linux Cluster for NFS安裝及設定分享
« 於: 2007-03-14 17:21 »
Dear 各位大大:

 小弟最近有去恆逸上有關於Linux HA的課程,覺得收獲良多,趁現在還有記

憶力,把相關資料整理後與各位分享,如果各位大大有什麼問題或建議的事項,

請儘管提出來,而具體做法請參考如下:

一.作業環境介紹:

項 目   主機名稱     OS版本     IP          說明

 一   Storage   RHEL4U1   192.168.1.40         作為Shared Disk使用
 二   Node1   RHEL4U1   192.168.1.41         Cluster的節點一
 三   Node1   RHEL4U1   192.168.1.42         Cluster的節點二


二.目地:

 由於實作Cluster環境通常都需要有Share Disk,而Share Disk都須要購買

DiskArray,但如果只是要測試,可以使用iSCSI方式來練習,所以我們將以

iSCSI方式來模擬,但須要注意OS,最好是拿RHEL 3版本或以上來練習,雖然版

本2就有支援,可是相關Cluster軟體在版本3或以上才比較穩定。


三.安裝方式介紹:

《介紹iSCSI Target安裝》

在storage主機上:

# tar zxvf iscsitarget-0.4.5.tar.gz

# cd iscsitarget-0.4.5

# export KERNELSRC=/usr/src/kernels/<kernel version>
  (我使用的是2.6.9-11.EL-i686這一個Kernel)

# make && make install(開始進行編譯及安裝)

※確定沒有出現錯誤,再進行下一步

# grep –v ‘#’ etc/ietd.conf > /etc/ietd.conf

# vi /etc/ietd.conf

※請注意必須先分割一塊空間當作Share Disk使用,並且不可以Mount進行,我

 這邊使用的是/dev/sda3這一個分割區修改內容如以下所示:

    1.Target iqn.2007-03.unix-like.idv.tw:storage.disk1.sys1.xyz
    2.Lun 0 /dev/sda3 fileio
    3.Alias Test

# /etc/init.d/iscsi-target start

# chkconfig iscsi-target on

# dmesg(查看是否有以下訊息)

    iSCSI Enterprise Target Software - version 0.4.5
    iotype_init(91) register fileio
    target_param(109) d 1 8192 262144 65536 2 20 8 0


《Node1 & Node2安裝iSCSI Initiator》

在Node1:

# rpm –Uvh mkinitrd-4.2.1.6-1.i386.rpm
(請使用昇級方式來安裝mkinitrd)

# rpm –ivh kernel-2.6.9-42.EL.i686.rpm
(請重新開機,並選擇這個Kernel登入)

# rpm –ivh sysfsutils-1.2.0-1.i386.rpm

# rpm –ivh iscsi-initiator-utils-4.0.3.0-2.i386.rpm

# vi /etc/iscsi.conf(修改內容如下)

  #DiscoveryAddress=10.4.100.0
  DiscoveryAddress=192.168.1.40(只須增加這一行,IP為Storage的IP)
  #  or
  #DiscoveryAddress=10.4.100.1:3260

# service iscsi start

# chkconfig iscsi on

# fdisk –l 或 cat /proc/scsi/scsi
(檢查是否有多出顆硬碟)

※請先分割一個區塊並且格式化,我們切割一塊500 MB,名稱為/dev/sdb1

# mkdir /nfsdata
(測試使用)

# mount /dev/sdb1 /nfsdata
(確定是否可以產生檔案)

# umount /nfs_data


※請在Node2節點上做相同步驟


《Node1 & Node2安裝Cluster》

在Node1上:

# rpm –ivh magma-1.0.6-0.i686.rpm

# rpm –ivh ccs-1.0.7-0.i686.rpm

# rpm –ivh cman-kernel-2.6.9-45.2.i686.rpm

# rpm –ivh cman-1.0.11-0.i686.rpm

# rpm –ivh dlm-kernel-2.6.9-42.10.i686.rpm

# rpm –ivh dlm-1.0.1-1.i686.rpm

# rpm –ivh gulm-1.0.7-0.i686.rpm

# rpm –ivh perl-Net-Telnet-3.03-3.noarch.rpm

# rpm –ivh fence-1.32.25-1.i686.rpm

# rpm –ivh iddev-2.0.0-3.i686.rpm

# rpm –ivh magma-plugins-1.0.9-0.i386.rpm

# rpm –ivh rgmanager-1.9-53-0.i386.rpm

# rpm –ivh system-config-cluster-1.0.27-1.0.noarch.rpm


※請在Node2節點上做相同步驟


《在Node1上設定NFS Cluster》

# system-config-cluster

※建議當第一次進來,會詢問是否建立新的設定檔,請先按下『Create New  

 Configuration』,並且馬上儲存離開

# vi /etc/cluster/cluster.conf
(修改名稱如:Cluster1)

# system-config-cluster

請依照下面方式輸入相關資料

1.在【Cluster+Cluster Nodes】,選擇“Add a Cluster Node”,將Node1及

 Node2的FQDN完整名稱輸入

2.在【Cluster+Fence Devices】,選擇“Add a Fence Device”,請選

 擇“Manual Fencing”種類,再輸入名稱“NPS”

3.在【Cluster+Cluster Nodes】,選擇“節點1”,請選擇“Fence

 Configuration”,進去後,再選擇“Add a New Fence Level”,會增加一

 個“Fence-Level-1”項目,再點選擇這個項目,選擇“Add a New Fence to

 this Level”,再按下OK,節點2也是相同做法


4.在【Cluster+Managed Resources+Failover Domains】,選擇“Create a

 Failover Domain,輸入”nfsha“名稱”,出現組態畫面,請先選擇節點1,

 再選擇節點2,您可以在這裡將右邊的“Proritized List”打勾,來決定優先順

 序,數字愈小優先權愈高

5.在【Cluster+Managed Resources+Resouces】,請選擇“Create a

 Resource”,請先選擇“File System”,名稱輸入“nfsdata”,格式

 為”ext3“,Mount Point為”/nfsdata”,Device為“/dev/sdb1”

6.在【Cluster+Managed Resources+Resouces】,請選擇“Create a

 Resource”,請先選擇“NFS Client”,名稱輸入“any_host”,Target

 為“*”

7.在【Cluster+Managed Resources+Resouces】,請選擇“Create a

 Resource”,請先選擇“NFS Export”,名稱輸入“nfs_export”

8.在【Cluster+Managed Resources+Resouces】,請選擇“Create a

 Resource”,請先選擇“IP Address”,請輸入“192.168.1.45”

9.【Cluster+Managed Resources+Services】,請選擇“Create a

 Service”,輸入“nfs1”,請先在右上角的的Failover Domain改

 為”nfsha“,按下下面的”Add a Shared Resource to this service“,請

 先選擇”nfsdata“,再按一下剛剛新增的nfsdata,再選擇下方的”Attach a

 Shard Resource to the selection“,選擇”nfs_export“,再按一下

 nfs_export,再選擇下方的”Attach a Shard Resource to the selection“,

 選擇”any_host“,最後選擇”Add a Shared Resource to this service“,

 選擇”192.168.1.45 IP Address“,即大功告成

10.最後記得儲存離開


# scp –r /etc/cluster node2:/etc
(注意,是整個目錄拷貝過去)

※請依序在Node1及Node2啟動服務
(每一個服務都要同時啟動完成,再啟動下一個服務)

# service ccsd start
(檢查Cluster版本有無異動,啟動時間會比較久)

# service cman start
(Cluster manager)

# service fenced start
(啟動電源設備,在測試時會出現Failed,不過不會影響後面的操作)

# service rgmanager start
(管理resource)


※如果啟動有問題的話,請依照相反順序來進行關閉

 
《進行測試NFS Cluster》

您可以利用以下幾種方法來進行測試

# ping 192.168.1.45
(是否有回應狀況)

# showmount –e 192.168.1.45
(查看是否有分享目錄出來)

# mount 192.168.1.45:/nfsdata /nfsdata
(確定是否可以正常Mount進來,如果要寫入檔案,記得權限要開)

# system-config-cluster
(請選擇Cluster Manager,以確定服務否有啟動)

利用其它電腦進行掛載後,再將目前使用的節點關機,以查看是否Failover過去

cmagic

  • 憂鬱的高中生
  • ***
  • 文章數: 120
    • 檢視個人資料
Linux Cluster for NFS安裝及設定分享
« 回覆 #1 於: 2007-04-19 17:12 »
想請教先進為何我輸入system-config-cluster後都會跳出一個訊息視窗
內容是this node is not currently part of a cluster,the management tab for this application is not available.

我是用CentOS4.4

感謝

figaro

  • 憂鬱的高中生
  • ***
  • 文章數: 185
  • 性別: 男
    • 檢視個人資料
    • http://www.neo-info.net
Linux Cluster for NFS安裝及設定分享
« 回覆 #2 於: 2007-04-19 17:42 »
引述: "cmagic"
想請教先進為何我輸入system-config-cluster後都會跳出一個訊息視窗
內容是this node is not currently part of a cluster,the management tab for this application is not available.

我是用CentOS4.4

感謝


如果沒記錯的話,這好像有列在bugzilla裡面,你可以參考一下這一篇:
https://bugzilla.redhat.com/bugzilla/show_bug.cgi?id=233621
這問題應該是/usr/sbin/cman_tool 這支程式路徑所造成的。 :D
Figaro Yang
更多關於Figaro Yang

cmagic

  • 憂鬱的高中生
  • ***
  • 文章數: 120
    • 檢視個人資料
Linux Cluster for NFS安裝及設定分享
« 回覆 #3 於: 2007-04-19 18:30 »
感謝先進回覆,
但cman路徑已是在/sbin/cman_tool

blue0503

  • 可愛的小學生
  • *
  • 文章數: 5
    • 檢視個人資料
Linux Cluster for NFS安裝及設定分享
« 回覆 #4 於: 2007-04-20 00:15 »
想請教一下ua09108大大,您有試過下ifdown 那台正在Service 的那台機器的網卡嗎?您的cluster 在此種情形可以順利切換嗎?

ua09108

  • 可愛的小學生
  • *
  • 文章數: 9
    • 檢視個人資料
回覆blue0503的問題
« 回覆 #5 於: 2007-04-21 22:36 »
 老實說,我並沒有測試利用ifdown閞閉網卡,我是直接將目前使用的節點直接

關機,NFS Client會等待一段時間,會自動進行轉換,但我認為應該是可以才對

,不過老實說,我認為Linux Cluster還有一段很長的路要走,尤其是穩定性這

一塊,當然這是我是自己的想法,儘供參考。

roach978

  • 懷疑的國中生
  • **
  • 文章數: 48
    • 檢視個人資料
    • http://rsb.tale.net
Linux Cluster for NFS安裝及設定分享
« 回覆 #6 於: 2007-05-08 12:28 »
之前我測過用 vmware 好像必須對 vmware 做設定, 將 connet 的選項拿掉
模擬實體斷線, 才會生效, 至於為什麼停掉網卡沒反應, 應該要看回傳值,
cluster 的判斷都是看那個...
color=blue]工程師只是我的表面工作,我真正的身份是一位水上救生教練![/color]

trios

  • 可愛的小學生
  • *
  • 文章數: 1
    • 檢視個人資料
Linux Cluster for NFS安裝及設定分享
« 回覆 #7 於: 2007-05-08 17:22 »
那個fence 是什麼東西
我雖然也設定“Add a Fence Device”“Manual Fencing”“NPS”
但是好像不太行
因為我啟動CMAN服務的時候會一直停在fencing starting...