作者 主題: 關於RAID5增加硬碟的問題  (閱讀 48420 次)

0 會員 與 1 訪客 正在閱讀本文。

chung1206

  • 活潑的大學生
  • ***
  • 文章數: 220
  • 性別: 男
    • 檢視個人資料
關於RAID5增加硬碟的問題
« 於: 2010-03-25 18:07 »
請問各位大大,目前我用三顆硬碟做RAID5,若我之後想再加上去可以嗎?還是要重建RAID5?謝謝。

kenduest

  • 酷!學園 學長們
  • 俺是博士!
  • *****
  • 文章數: 3675
    • 檢視個人資料
    • http://kenduest.sayya.org
回覆: 關於RAID5增加硬碟的問題
« 回覆 #1 於: 2010-03-25 19:37 »
請問各位大大,目前我用三顆硬碟做RAID5,若我之後想再加上去可以嗎?還是要重建RAID5?謝謝。

這個要看你的 raid  card  的功能支援度為何。

傳統的 raid card,建立後就無法新增了,所以重弄要打掉。新的就沒該限制了。
I am kenduest - 小州

my website: http://kenduest.sayya.org/

竹本立里

  • SA 苦力組
  • 鑽研的研究生
  • *****
  • 文章數: 543
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #2 於: 2010-03-25 20:23 »
請問各位大大,目前我用三顆硬碟做RAID5,若我之後想再加上去可以嗎?還是要重建RAID5?謝謝。

沒事多備份,多備份沒事

因為即使廠商文件說可以,但是也不會跟你說失敗的風險有多少


Luke Lin

  • 活潑的大學生
  • ***
  • 文章數: 244
  • 性別: 男
  • 家裡的少爺
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #3 於: 2010-03-26 09:02 »
請問各位大大,目前我用三顆硬碟做RAID5,若我之後想再加上去可以嗎?還是要重建RAID5?謝謝。
沒事多備份,多備份沒事
因為即使廠商文件說可以,但是也不會跟你說失敗的風險有多少
先備份+1
原廠也一定會建議你先備份,再進行增加硬碟的操作
避免真的遇到所謂的意外
當好人叫行善  當壞人叫造孽 當爛好人叫自做孽

cheneyen

  • 可愛的小學生
  • *
  • 文章數: 19
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #4 於: 2010-05-28 10:02 »
你要的東西應該叫作OCE,每家的實作不同,所以不能給一個很通用的答案

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 關於RAID5增加硬碟的問題
« 回覆 #5 於: 2010-05-28 12:24 »
這四年內的Raid card應該都有熱擴容
萬變不離其宗..正確掌握Raid card指令或安裝正確軟體就可以達成


1.安裝正確管理軟體...
品牌Server +原裝raid 卡簡單
HP System Management Homepage (SMH)
Dell openmanage

在ESX 下都可以有web 監控管理頁面.可以用gui做
或是一般raid card驅動+管理程式

2.以市場佔有率最高 lsi Raid card為例megacli 指令模式
RAID Level Migration and Online Capacity Expansion =ldrecon

以 新硬碟在 enclosure(252) slot(2). 為例 Raid Card a0  請再去對照一下參數


MegaCli -pdclear -start -physdrv '[252:2]' -a0 清空 slot 2 硬碟

MegaCli -pdmakegood -physdrv '[252:2]' -a0 標示此硬碟工作正常

megacli -LDRecon -Start -R5 -Add -PhysDrv[252:2]  -L0 -a0


MegaCli -ldrecon -showprog -l0 -a0 顯示進度

顯示  Reconstruction on VD #0 (target id #0) Completed 43% in 501 Minutes.

最後請自行再修改分區..
此指令還可以修改Raid 0,1,5,10 ,6 間熱轉換
本文最終以
http://www.osslab.org.tw/Storage/Enterprise/LSI 為最後修訂
« 上次編輯: 2011-02-24 01:17 由 thx »

cheneyen

  • 可愛的小學生
  • *
  • 文章數: 19
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #6 於: 2010-05-28 12:32 »
幫補一下

至於OCE的部分要切記不要有迷失喔
我也曾經白癡到想說把750GB的硬碟換成1TB沒有作rebuild~
理所當然空間無法擴充出來
所以OCE是針對 "新增硬碟" 來進行raid總容量擴充
而非讓你透過硬碟替換方法,進行容量擴充目的

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 關於RAID5增加硬碟的問題
« 回覆 #7 於: 2010-05-28 12:57 »
幫補一下

至於OCE的部分要切記不要有迷失喔
我也曾經白癡到想說把750GB的硬碟換成1TB沒有作rebuild~
理所當然空間無法擴充出來
所以OCE是針對 "新增硬碟" 來進行raid總容量擴充
而非讓你透過硬碟替換方法,進行容量擴充目的

這種說法有誤

當你把raid 5 某一顆抽出,插入一顆更高容量的HDD 一般預設是Auto Rebuild
所以會慢慢從建  只是會用到某部份容量而已.
把Raid內 每一顆都替換掉成為高容量後..在一般Raid 指令模式下
多的空間 可以 Create second VD

至於能不能合併原來VD 是可以.不過指令我還要回想跟整理一下..
« 上次編輯: 2010-05-28 13:27 由 thx »

cheneyen

  • 可愛的小學生
  • *
  • 文章數: 19
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #8 於: 2010-05-28 13:42 »
幫補一下

至於OCE的部分要切記不要有迷失喔
我也曾經白癡到想說把750GB的硬碟換成1TB沒有作rebuild~
理所當然空間無法擴充出來
所以OCE是針對 "新增硬碟" 來進行raid總容量擴充
而非讓你透過硬碟替換方法,進行容量擴充目的

這種說法有誤

當你把raid 5 某一顆抽出,插入一顆更高容量的HDD 一般預設是Auto Rebuild
所以會慢慢從建  只是會用到某部份容量而已.
把Raid內 每一顆都替換掉成為高容量後..在一般Raid 指令模式下
多的空間 可以 Create second VD

至於能不能合併原來VD 是可以.不過指令我還要回想跟整理一下..


謝謝您的指正^^"期待您的回覆
上次我問美國DELL的工程師有關Perc 5/i, 6/i都不支援經由硬碟規格更換,而達到直接擴充正在使用的VD
該工程師是告知他們的OCE是支援新增硬碟擴充,而非透過更新硬碟容量直接擴充

當時我透過GUI去看,將750GB換成1TB後,整個raid rebuild過後,並無法看到多出來的空間,也無法新增新的VD
所以就採信DELL原廠說法囉^^"

cheneyen

  • 可愛的小學生
  • *
  • 文章數: 19
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #9 於: 2010-06-26 06:56 »
目前經由網路查到的結果,發現要作到硬碟數量不變,只替換HDD容量來達到空間擴充的功能,風險很高
1:如同thx兄所言,把HDD全部換過升級
2:把整各VD砍了(很刺激,等我的系統好了我會測一次,不過production我還是不敢這樣玩)
3:重建一次VD,不過不要把他initialize
4:VD完了以後,就是要deal with Partition table,用partition magic之類的軟體把partition作resize (又是一個risky)

再等thx兄是否有更完善的方法,可以不用這樣子搞,而達到OCE的目標

netman

  • 管理員
  • 俺是博士!
  • *****
  • 文章數: 17465
    • 檢視個人資料
    • http://www.study-area.org
回覆: 關於RAID5增加硬碟的問題
« 回覆 #10 於: 2010-06-26 15:11 »

當時我透過GUI去看,將750GB換成1TB後,整個raid rebuild過後,並無法看到多出來的空間,也無法新增新的VD
所以就採信DELL原廠說法囉^^"

在 RAID 擴充之後,file system 有沒跟著擴充呢?

cheneyen

  • 可愛的小學生
  • *
  • 文章數: 19
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #11 於: 2010-06-26 15:43 »

當時我透過GUI去看,將750GB換成1TB後,整個raid rebuild過後,並無法看到多出來的空間,也無法新增新的VD
所以就採信DELL原廠說法囉^^"

在 RAID 擴充之後,file system 有沒跟著擴充呢?
raid擴充後,是無法看到空出來的可使用的空間
所以VD那段已經無法進行擴充,導致於FS那段想要調整partition table也沒轍

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 關於RAID5增加硬碟的問題
« 回覆 #12 於: 2010-06-29 13:53 »
使用品牌Server 時..(我想現在應該很少人採購x86 server  時不買IBM ,Dell ,HP server)
請確實裝好 IBM Director  ,Dell OpenManage Agents, ,HP System Management Homepage (SMH) 主機監控軟體

http://h20566.www2.hp.com/portal/site/hpsc/template.PAGE/public/psi/mostViewedDisplay/?sp4ts.oid=420496&spf_p.tpst=psiContentDisplay&spf_p.prp_psiContentDisplay=wsrp-navigationalState%3DdocId%253Demr_na-c02080548-1%257CdocLocale%253Dzh_CN&javax.portlet.begCacheTok=com.vignette.cachetoken&javax.portlet.endCacheTok=com.vignette.cachetoken





Web 介面下操作 做硬體raid hot expand 是非常穩定的
不過每家agent 軟體支持 OS 不一,印像中HP 支持OS最多

有的分Agent 跟Server 跟Disk 管理module  ,單機使用的話要同時安裝

因為SI可能會不專業.所以建議各位自己來..

 IBM 主機監控管理軟體請參考這   有空再整理
http://wiki.osslab.org.tw/index.php?title=User:Alang/IT_%E5%B0%88%E6%A1%88%E5%B7%A5%E4%BD%9C/IBM_Director_%E5%AE%89%E8%A3%9D%E5%AF%A6%E9%8C%84

另外一大重要問題是如何對現有Raid 做好 "快速"  "穩定備份"

如果是離線狀況下
建議用Win PE CD +Disk Genius 免費軟體做整塊扇區備份 Win PE 光碟才能驅動多種I/O , 扇區備份是不管所有檔案系統都可備份
Disk I/O至少1394 或SATA

Online 備份則牽扯到作業系統特性  有空再整理

partition 如果不想resize 就把他額外在分割分區... 

zarr12steven

  • SA 苦力組
  • 懷疑的國中生
  • **
  • 文章數: 71
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #13 於: 2010-08-23 08:54 »
幫補一下

至於OCE的部分要切記不要有迷失喔
我也曾經白癡到想說把750GB的硬碟換成1TB沒有作rebuild~
理所當然空間無法擴充出來
所以OCE是針對 "新增硬碟" 來進行raid總容量擴充
而非讓你透過硬碟替換方法,進行容量擴充目的



抱歉~小弟愚昧~想請問一下OCE指的是什麼?
不強就要挨打

tnth

  • 懷疑的國中生
  • **
  • 文章數: 62
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #14 於: 2010-09-07 16:10 »
幫補一下

至於OCE的部分要切記不要有迷失喔
我也曾經白癡到想說把750GB的硬碟換成1TB沒有作rebuild~
理所當然空間無法擴充出來
所以OCE是針對 "新增硬碟" 來進行raid總容量擴充
而非讓你透過硬碟替換方法,進行容量擴充目的



抱歉~小弟愚昧~想請問一下OCE指的是什麼?

online capacity expansion

通常是指把建好的raid中加入新硬碟,或是把raid原有的硬碟中未拿來使用的空間加入建好的VD(LD)中也算

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 關於RAID5增加硬碟的問題
« 回覆 #15 於: 2010-09-09 12:39 »
舊的OCE 非常非常慢..會影響到不小上機系統 Disk I/O

OSSLab 最近正在動手做嚴重性 OCE 時後 Raid Recovery 災難測試..


1.研究OCE 運作原理

2.將OCE 到一半損毀的 Raid 再處理還原.
« 上次編輯: 2010-09-09 16:23 由 thx »

tnth

  • 懷疑的國中生
  • **
  • 文章數: 62
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #16 於: 2010-09-09 16:04 »
舊的OCE 非常非常慢..會影響到不小上機系統 Disk I/O

OSSLab 最近正在動手做嚴重性Raid Recovery 災難測試..


1.研究OCE 運作原理

2.將OCE 到一半損毀的 Raid 再處理還原.

指的是software raid還是連hardware raid都能處理?

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 關於RAID5增加硬碟的問題
« 回覆 #17 於: 2010-09-09 16:29 »
不管是software raid 跟hardware 都是計算 Strip size,Block   順序, 校驗塊位置 . 就可以做Raid recovery .
如果以FAT,NTFS  來講 嚴格來講小大一電概課程度學過就該會...

http://www.osslab.org.tw/Storage/Data_Recovery/Theory/Raid_Recovery
為何要做Raid  有二二大因素

1.速度上全面提升 :從最大傳輸率增加 跟Seek Time,Access time 減少
2.Raid  資料丟失處理比把硬碟送入無塵工作室方便簡單...當然如果Raid 5 一次壞二顆以上就.........

OCE 的狀況會是這樣

1.如果是單純單顆換更大容量硬碟  Expand 沒啥大問題 因為做hot expand 一定一次一顆. 就raid 5 來講少一顆   ok.

2.真正有問題的是 Raid 格式轉換..
   比如說 Raid 0 -->Raid 1
   或調整Strip Size  
  
   此時DISK 上會有二個 Raid 架構
   在多硬碟狀況下準確算出offset 位置  就是一點難度..

所以如果是在OCE狀況下 Raid Crash ...就不是小大一程度算的出來的...

« 上次編輯: 2011-01-25 19:47 由 thx »

tnth

  • 懷疑的國中生
  • **
  • 文章數: 62
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #18 於: 2010-09-09 17:11 »
不管是software raid 跟hardware 都是計算 Strip size,Block   順序, 校驗塊位置 . 就可以做Raid recovery .
如果以FAT,NTFS  來講 嚴格來講小大一電概課程度學過就該會...

http://www.osslab.org.tw/Storage/Data_Recovery/Theory/Raid_Recovery
儲存用Raid 最重要的二大因素

1.速度上全面提升 :從最大傳輸率增加 跟Seek Time,Access time 減少
2.Raid  資料丟失處理比把硬碟送入無塵工作室方便簡單...當然如果Raid 5 一次壞二顆以上就.........

OCE 的狀況會是這樣

1.如果是單純Expand 沒啥大問題 因為做hot expand 一定一次一顆. 就raid 5 來講少一顆   ok.

2.真正有問題的是 Raid 格式轉換..
   比如說 Raid 0 -->Raid 1
   或調整Strip Size  
  
   此時DISK 上會有二個 Raid 架構
   在多硬碟狀況下準確算出offset 位置  就是一點難度..

所以如果是在OCE狀況下 Raid Crash ...就不是小大一程度算的出來的...



反駁一下hot expand是一次一顆
譬如說3顆raid 5要oce成4顆raid5
資料原本是
1 2 3
4 5 6
但是在expand之後會變成
1 2 3 4
5 6 7 8

也就是說你每一個動作都會一次動到兩個硬碟
如果搬到一半有硬碟壞了....我想也是很可怕

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 關於RAID5增加硬碟的問題
« 回覆 #19 於: 2010-09-09 17:31 »
每家說的OCE 不同 忘了增加硬碟方式狀況

三顆 DISK A B C  做 Raid 5
數字代表Block順序, P代表校驗塊

DISK  A   B   C    
         P   1   2  
         3   P   4
         5   6   P
         P   7   8

準備增加一顆做線上擴容  會變成

DISK  A  B  C  D
        P  1   2  3  
        4  P  5   6
        7  8  P   9  
      10  11 12 P


如果失敗      除了第一列   Block 區  外   只用改寫 DISK A  跟新增硬碟DISK D 的block 外  
                後面每個block都要從寫

推算 這樣一顆硬碟會有二種不同raid 架構
假設做到第三列Block  失敗

DISK         A  B  C  D
                P  1   2  3  
                4  P   5  6
本列失敗     5  6   P  9  (都不完整資料)
(以下都正常)P  7   8  無資料
        
    
第三列Block失敗  會不完整 全部不能用. 還好 5 ,6 數據塊前面有 ........

但要算出做到那個Block轉換與改寫 會花點工夫.
是有點理論推算,所以有空要要惡搞一次OCE  才知道理論分析是否正確
再用MFT表去推算 Block 塊失敗位置..

結論
OCE 或raid 轉換失敗話,再做救援風險是比較高的.先行備份是很重要的
« 上次編輯: 2011-01-25 19:48 由 thx »

我要開機啦

  • 可愛的小學生
  • *
  • 文章數: 7
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #20 於: 2011-01-25 18:41 »
那ZFS的RAID-Z可以做熱擴充嗎?

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 關於RAID5增加硬碟的問題
« 回覆 #21 於: 2011-01-25 19:49 »
ZFS 分析請參考這
http://phorum.study-area.org/index.php/topic,59963.msg317190.html#msg317190

原則上ZFS Hot Expand 快多了...

我要開機啦

  • 可愛的小學生
  • *
  • 文章數: 7
    • 檢視個人資料
回覆: 關於RAID5增加硬碟的問題
« 回覆 #22 於: 2011-01-25 22:38 »
其實有點不太分得清楚硬體RAID-5和ZFS跑RAID-Z的差別在哪

(1) ZFS的話是不是就不用RAID卡了,想擴充HDD裝HBA卡就行
(2) ZFS的RAID是不是等於用CPU和系統RAM來取代RAID卡上的運算晶片和RAM,那同樣配置下CPU越強、RAM越多,跑ZFS的RAID效能就會越好囉?
(3) 一般RAID硬碟組似乎沒辦法直接換插到另一張不同系列或是不同廠牌的陣列卡,那ZFS有這個問題嗎?

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 關於RAID5增加硬碟的問題
« 回覆 #23 於: 2011-02-23 23:07 »
ZFS 結構有空來講解..

最新版LSI card
WEBGUI 失靈 我用以上指令  也沒問題  .






做 Raid Hot Expand 其實不如考慮從建..

我這台HP SAN Read and Write 約 700MB /sec . 15TB =15000 GB= 15000000 MB
換算一下 能用10G Lan 拷的話 15TB 5.9x Hours  就可以搞定

15 TB 再拷回去也是6 hours .... 一天就可以打完收工
只是一般公司行號不太可能會有這樣"空出來的RAID"
 
« 上次編輯: 2011-02-24 01:18 由 thx »

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
Re: 關於RAID5增加硬碟的問題
« 回覆 #24 於: 2011-12-06 23:33 »
把一些專有名詞講精確點

1.Online capacity expansion (OCE)

增加實體硬碟 (PD)  加入原有已建好的Raid 組 (Virtual Raid 簡稱VD)
比如說原有 1.5TB * 11  Raid 5   15TB  VD 變成 1.5TB *12  Raid 5 =16.5 TB VD

以我們Lab 為例.上述OCE 做了 48 Hours  (H700 Raid card )

中間有趣的是 總體VD 效能沒有很大折損
還是有95%原有的I/O效能

2.  如果是把原有的12 PCS  1.5TB  ---> 12 PCS 3TB
首先要 把一顆原有硬碟 1.5TB 拉出來, 裝入新2TB 加入此VD
此時VD  會做Rebuild .
然後全部硬碟都做完Rebuild 時(時間其實會耗費很久 一顆1.5TB  耗費約48 Hours)
做完後 此時Raid Pool 會出現Free capacity 
   
再做 OVP Online Volume Expansion
OVP 詳細操作可參考本實驗室文件
http://www.osslab.com.tw/index.php?title=Storage/Enterprise/SAS%E8%88%87RAID/LSI/MegaRAID%E7%9A%84OVE%E6%93%B4%E5%B1%95

OVP 可以瞬間擴充VD ,不過前面Rebuild 時間太耗.
其實有一種比較高度技巧 假設手上有很非常多的SATA ,SAS Port
把12 顆硬碟1.5TB  用DD過去到 2TB .. (約 7 Hours 搞定 )
然後再用Create 新VD .(請照原有VD Stripe Size參數,磁碟位置不可換  )
不要初始化.

就搞完原有1.5 TB * 12 Raid 變成2 TB * 12