作者 主題: 在 RHEL 5.2 x86-46 複製9GB檔案或20萬個100MB檔案很容易失敗的問題...  (閱讀 3930 次)

0 會員 與 1 訪客 正在閱讀本文。

allnewlinux

  • 俺是博士!
  • *****
  • 文章數: 1455
    • 檢視個人資料
站上各位大大

最近我買了一部IBM DS3512的設備接到x3950m2 server上, 在從舊儲存設備EXP系列複製檔案到DS3512的過程中..
很容易發生失敗, 失敗時都會出現目的地磁碟是Read-Only狀態, 就目的地磁碟umount然後再mount就可以繼續複製了..
但一遇到大檔案又會立即出現一樣的問題...

這是否是檔案過大造成的?該檔案約9gb是從oracle db export的dmp檔, 另外我們有個有20萬個檔案的磁區,
每次複製到一半也會出現目的地變成Read-Only狀態...

不過如果我們在單人模式下做的話, 似乎失敗機率就會降低, 但用 cp -rp 去複製好像老是會漏檔...

PS:主機上約有48GB memory和4顆4核的CPU. 原本的ServerRAID10M沒有啟動快取功能...

netman

  • 管理員
  • 俺是博士!
  • *****
  • 文章數: 17466
    • 檢視個人資料
    • http://www.study-area.org
有些東西還真是不好控制。

要不寫個 script,分批來復製如何?
之後再用 rsync

allnewlinux

  • 俺是博士!
  • *****
  • 文章數: 1455
    • 檢視個人資料
感謝netman大大的建議~

正在分析每個磁區和每個資料夾大小~準備找歲修或是產線停線的時間做~

harrier

  • 榮譽博士
  • 俺是博士!
  • *****
  • 文章數: 1856
  • 性別: 男
    • 檢視個人資料
    • 國屬武裝兵
最近我買了一部IBM DS3512的設備接到x3950m2 server上,

怎麼接的?
...90Net(90:1200/1203),GameNET(99:700/707),ALLNet(92:9200/3111),InfoNet(30:100/103)..MaximusCBCS(浮懷),AirNet,TenderNet,StormNet,FidoNet...
<<- www.nas.vg ->>

allnewlinux

  • 俺是博士!
  • *****
  • 文章數: 1455
    • 檢視個人資料
主機上安裝一片6G的SAS Card這片卡接到DS3512其中一個控制器上..(我買雙控2GB Cache)
從主機另一組EXP+SAS Raid Card複製檔案時~很容易發生失敗~失敗時就會出現DS3512變成read-only

allnewlinux

  • 俺是博士!
  • *****
  • 文章數: 1455
    • 檢視個人資料
今天廠商來, 在做 fdisk 和 mkfs -t ext3 時發現, fdisk 這台機器的大HDD是沒有發生error訊息, 但這台大HDD分割成4個小HDD(P)後,
做格式化時, messages裡面會出現很多 I/O error, 這台是廠商全新來的, 包含HDD, SAS HBA Card...

拿一般的隨身碟接到x3950m2上去做format卻沒有任何error, 所以這台已被廠商帶回去做測試了...

netman

  • 管理員
  • 俺是博士!
  • *****
  • 文章數: 17466
    • 檢視個人資料
    • http://www.study-area.org
如過不分partition,用單一 disk 去分 LVM 呢?

allnewlinux

  • 俺是博士!
  • *****
  • 文章數: 1455
    • 檢視個人資料
這個部份沒試過說....今天重新fdisk只切一個250GB的空間...format還是會出現error....

netman

  • 管理員
  • 俺是博士!
  • *****
  • 文章數: 17466
    • 檢視個人資料
    • http://www.study-area.org
可以試試嗎?

照目前的趨勢來說,能用 LVM 應該是比較好的選擇。

harrier

  • 榮譽博士
  • 俺是博士!
  • *****
  • 文章數: 1856
  • 性別: 男
    • 檢視個人資料
    • 國屬武裝兵
??
切 partition??
使用到 storage system 時,通常不都是這樣應用的嗎:

physical HDD 組成 RAID-xx
storage system 上切出邏輯磁碟 LUN
LUN 被 OS 辨識為 PV
PV 加入 VG (LVM)
VG 切出 LV (LVM)
LV format 成某種 FS

很多 I/O error 出現在哪一個步驟?
...90Net(90:1200/1203),GameNET(99:700/707),ALLNet(92:9200/3111),InfoNet(30:100/103)..MaximusCBCS(浮懷),AirNet,TenderNet,StormNet,FidoNet...
<<- www.nas.vg ->>

allnewlinux

  • 俺是博士!
  • *****
  • 文章數: 1455
    • 檢視個人資料
Raid 10=ok
LUN0=ok
Linux上的sdx > 直接 fdisk /dev/sdx=ok
format /sdx1= I/O error 出現 (包含什麼scsi之類的error也出現....)

driver是設備官網提供最新的...
« 上次編輯: 2011-03-08 18:08 由 allnewlinux »

allnewlinux

  • 俺是博士!
  • *****
  • 文章數: 1455
    • 檢視個人資料
上週廠商給我了測試狀況,說他那邊沒問題.也提供一些關於Driver的Bug修正資料.

坦白說, RDAC Driver如果原廠有提供更新的修正Bug Driver, 照理應該用最新的才對, 但廠商當初並沒有這樣做, 可能是看到最新的並沒有特別說明是針對那些軟體/OS版本做修正.
只是單純對I/O會變成ReadOnly的問題做修正. 所以當初只幫我裝了修正在A版本上會出現的I/O變成 ReadOnly的Bug的Driver. 但我OS不是A版本啊~(不知道這有沒有關係)

但廠商在測試過程中, 看來又沒有什麼問題, 所以我還是想, 不只RDAC Driver Bug問題, 可能公司原本DB主機也有問題, DB主機的Linux是採用完整安裝, 應該是沒有漏掉東西.
不過現在都無所謂了, 因為未來新設備將直接使用在新DB主機上, 到時候在將整個OS的部份規劃成較乾淨的模式. 另外放系統的硬碟將另外使用Raid Card採Mirror+1.
整個1TB的空間就不和舊 db server一樣切割很多個了,直接整個空間拿來給DB用.

事後檢討, 整件事事先除了要確認SAS Card Driver外還是得要求廠商把RDAC Driver的相關資訊和下載網址也一併提供才對. 結果這次只做到確認了SAS Card的部份而已.
如果事先知道廠商會用到RDAC Driver的話, 那就可以事先和廠商討論清楚版本修正問題, 或許那一天就能很快搞定.
« 上次編輯: 2011-03-13 09:21 由 allnewlinux »

cmd

  • 可愛的小學生
  • *
  • 文章數: 4
    • 檢視個人資料
我之前有遇到類似的問題
廠商來測半天之後說是排線接錯了…
雖然對這個結果感到非常不可思議也難以置信。
因為接錯洞了不是不給用,而是還能用,但是常常會被重新掛載為read only。
而插到正確的洞之後就一路順到現在…
這看起來像是民間偏方的經驗給您參考