作者 主題: 規劃 設計 SAN Server 軟體比較  (閱讀 41850 次)

0 會員 與 1 訪客 正在閱讀本文。

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
規劃 設計 SAN Server 軟體比較
« 於: 2010-10-27 18:57 »
規劃 設計 SAN Server( Storage Area Network )

本文修訂以這為主
http://www.osslab.com.tw/Storage/Enterprise/Blocklevel/SAN/Storage

隨著現在儲存設備容量越來越大,價格越來約低廉,一般使用者或中小公司對於Network 儲存設備
已從單純NAS 到 混合NAS 與ISCSI Target Server 再加上高速,穩定,易擴充需求.
低成本的高性能穩定Storage 是存在的. 但是必需基於架構的與硬體組合正確.


品牌X86 硬體再加Software與專用SAN ,FC  ,NAS Storage 比較


目前市場上各種中高階SAN,FC Storage 硬體都是  x86  硬體+軟體搭配
自行搭配跟廠商配套好的比較.

   1. 前期測試

      硬體之間相容測試
      軟體與硬體相容測試

      購買現成SAN 硬體 可以比較不用管上述二樣測試

      上線運作測試
      整體效能測試
      災難狀況測試

       
   2. 價格
       
   3. 當原x86硬體故障時,更換不同x86 硬體是否能正常Working.
        SAN Message 跟Raid Message通用否
 

軟體選擇考量

    * 需求
       

   1. 高監控狀態:
      有主機運作狀態,硬碟監控管理 介面 .對Raid  熱抽換,熱擴充(Hot-Expansion) 換更高容量硬碟,熱增加硬碟數等功能
      硬體Raid Card要有其介面可以控制.
      ZFS 則可用軟體介面來替代.
       
   2. 高備份機制:
      Snapshot (對Pool,Volume,Lun做快照備份,並且可以隨變更量更新,不需要每次從新寫入.)
       
   3. 高效能與穩定性.
       
   4. 高省用空間Thin provisioning
      動態分配 Samba 與ISCSI  ,FC Lun 的 Datastore .  Lun thin provisioning
       
   5. 高彈性 擴充性
      Client 端與Storage Server 端
       
   6. 災難恢復特性



Hardware Raid VS ZFS

   1. Raid 5 為標準數據與校驗塊串連起來
      Stripe Size:大小固定

      ZFS 本質為WAFL Write Anywhere File Layout
      Stripe Size:大小不固定
      http://blog.virtual-on.org/2010/04/zfs2-vm.html
       
   2. Rebuild time 花的時間 Raid 5 > Raid Z
       
   3. 失去一塊硬碟  Raid Z 讀寫高於Raid 5
       
   4. ZFS  最多Triple  校驗  最大丟失硬碟量為 3 顆.
      Raid 6 最大丟失硬碟量為 2顆
       
   5. 混用硬體Raid Card +ZFS 會造成 Striple Size 被切更多. 不要做此應用
      1.性能不會提高
      2.管理上不方便
      3.增加數據恢複難度.
   
   新款raid 5 card Rebuild 效能已改善     

NAS+SAN軟體比較

商用軟體

   1 SANmelody
http://www.datacore.com/Software/Products/SANmelody-Software.aspx
ISCSI 4TB US 2000
 
  2.Starwind
http://www.rocketdivision.com/wind.html
免費版功能很強大
 
3. http://www.kernsafe.com/
免費版可做實體硬碟模擬  快照

4 http://www.iscsicake.com/

以上Windows 派系 ,Hardware Raid support 需要自己再安裝該Raid Card 工具軟體.則可做動態擴容

缺點是 Ntfs 不是很好的multitthread file system
並且對大量文件管理很差...

      以上Windows 派系 ,Hardware Raid support 自己再安裝該Raid Card 工具軟體.
       
   1 . Open-e  DSS Software
      功能強大的商用軟體,可監控raid card.內建多產牌硬體Raid 卡(包含Lsi) 工具,RAID,全圖形化管理計介面
      10 TB DSS.價格約 US 1100  .
      open-e dss 說明書下載
      FC target mode 硬體限定為Qlogic  (2Gbps,4Gbps ,8Gbps)
       
   2. Nexenta
      http://www.nexenta.com  4TB US 1100
      基於Opensolaris 改版的儲存專用OS.

  3.Quantastor
   http://www.osnexus.com/
 

免費或開源軟體
 

   1. FreeNAS
      http://freenas.org/
      http://tw.network01.net/modules/newbb/viewtopic.php?topic_id=94&forum=8
      目前效能跟穩定是最大問題.

   2. opensolaris +comstar+webmin+品牌Server 專用管理程式


      Opensolaris
      一.ZFS 檔案系統
      二.Comestar 為SUN open sources iscsi target project

      http://opensolaris.org/os/project/comstar/
      http://developers.sun.com/openstorage/articles/opensolaris_storage_server.html

      支持 Lan 1G 10G  ,FC ,SAS ,Infniband做Target server

      硬體:只支持Qlogic 4G,8G Emulex 2G,4G,8G  不支持Qlogic 2G.
      討論串
      http://bbs.vmsky.com/redirect.php?fid=8&tid=17387&goto=nextoldset
      http://phorum.study-area.org/index.php/topic,55836.0.html
       
      Opensolaris 需要再熟稔ZFS 指令管理 不太方便快速上手
      中文Sun ZFS 管理指南網頁版
      中文Sun ZFS 指令管理指南PDF版

       
   3. Openindiana
      http://openindiana.org/
      由於Oracle 對於Opensolaris 置之不理,因此原有Opensosolaris開發者繼續此專案
       
   4. Nextena Core
      http://www.nexenta.org/
      Nextena 是基於 OpenSolaris kernel +GNU/Debian OS 儲存專用開源OS. 可用apt -get安裝套件.
      沒有GUI

      加上 NAPP-IT 套件就有GUI
      為目前最強大跟方便open sources的Storage 軟體
      http://www.nexenta.org/projects/site/wiki/NexentaCore_+_napp-it

      開發公司另有付費版

     
      ZFS 派系Storage OS 效能的比較可參考
      http://www.zfsbuild.com/category/benchmarks/

       
   5. openfiler (rpath linux+scst)
      Xinit Systems 於2001 開始的開源碼專案,強調效能跟穩定性.本身有SCST 可做為ISCSI or FC Target Sever.
      目前版本2.3 已二年沒有更新 最大缺點在於無法對 Raid Disk 做熱擴充性

      虛擬化環境搭配 可參考本頁附件
      http://bbs.vmware.cn/thread-16567-1-1.html 作者貓貓
      http://bbs.vmware.cn/thread-11787-1-1.html   作者
      NIC bonding http://forums.citrix.com/message.jspa?messageID=1339598 有待測試
      FC 硬體支援 QLogic 22xx/23xx/24xx 
      https://forums.openfiler.com/viewtopic.php?id=1968&p=2


   6. opensuse +webmin+scst

SCST 本身對於Qlogic 光纖網卡做為FC Target 支援不錯,但是有待大量測試與證明

http://scst.sourceforge.net/targets.html  QLogic 22xx/23xx/24xx
http://lifestory.moqin.com/?p=695
 

« 上次編輯: 2012-01-05 02:20 由 thx »

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #1 於: 2010-11-10 11:19 »
已把上面OS 更新

這幾天才把 1.5TB * 10 SAN 給架好..

用的是很久以前買的 DL 180 G5
http://www.osslab.org.tw/Storage/Enterprise/Hardware/HP_DL180_G5


E5420 ,12GB DRAM , HP P800, Xeon E5420 ,  內建 1 1000M + Dual Port 1000M 
160GB *2 Raid 1
1.5TB * 10 Raid 5


OSSLab 運作環境應該跟正常公司不太一樣

最大需求是CIFS ,其次是 ISCSI .

ISCSI 則是用來做DISK Image 互換直接在Server 內分析File system
並且再掛載各種OS 快速與方便. 還有配合OSLab 的專業設備做Disk image

實驗室共有四 台工作站做Data recovery

IBM X3200 M2 Xeon 3110  ,4GB DRAM   , 機身內為  7bay    Dual 1000M 


HP ML150 G6 可接上 16 PCS HDD   Dual 1000M  機身為  12 bay
Xeon 5502 6 GB DRAM  , LSI  8 port + on board 4 port

Dell T105 Dual 100M
 

Dell T3400  單 1000M   6 PCS HDD
 
每台每天都在做Raid and filelevel 運算,Dump disk image,檔案解密..
再把所有檔案再存到SAN

工作站上都是單硬碟運算與讀取
對Stroage Server 就只能到單硬碟頻寬極限 (80MB/sec )


因為CIFS 所以選擇了用windows Server +Starwind  ><
還有個很大考量點是 萬一硬體Raid 掛點,  硬體Raid 模式+ NTFS ,EXT ,UFS 算是最好恢復恢復狀況

實驗室定期會拿各家raid Card ,DAS 櫃 ,SAN櫃.  任取2-3 顆 頭 中 尾   填0  100MB
dd if=/dev/zero of=/dev/sd? bs=100MB seek=4990

再分析恢復.. 恢復度大概都是99%

ZFS 這個實驗還沒做過

DL180 G5 配上P800 後 安裝ZFS 會變模混用模式
因為P800 沒辦法切入HBA 模式 .因此不能用

硬體Raid vs ZFS  有個大問題會出現
現在HP P800 在做
Background parity initialization is currently queued or in progress on Logical Drive 2 13 TB
要跑3-4天 ...我是真的不太能容忍...  初始化中速度只有80 MB/sec

還有壓縮NTFS後 寫入速度很慢.
換硬體raid card也是選擇.只是SAS Expander

目前狀況 如果初始化都這樣慢 還有初始化  我是真的不會想選用Windows Server +starwind 做Storage Server
當所有規畫都做到好時,也才能給客戶最快跟專業的服務

因為是在抱怨 所以寫的還不完整..  有空再補完
« 上次編輯: 2012-01-23 20:09 由 thx »

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #2 於: 2010-11-12 15:01 »
又是抱怨文...

今早終於初始化完畢
P800 with 512MB BBU
1.5 TB *10 Raid 5 用HDtune 跟hdtech 測試
Read 是慘不忍睹的  80MB /sec
Write 是120 MB/ sec

現在可能問題  
1 .HP P800 Raid card 用換P410 or P400 來試試  如果有力氣再硬刷LSI 最新版到6i上 (之前6i 不相容)
2 .SAS Expander 問題  

SAS Expander 軔體升級非常麻煩
http://h20000.www2.hp.com/bizsupport/TechSupport/Document.jsp?lang=en&cc=us&taskId=110&prodSeriesId=3580698&prodTypeId=15351&prodSeriesId=3580698&objectID=c01938877

老實說我真的挺厭倦去做tune Raid HDD 跟HDD 之間效能..
找到合適ZFS 硬體.我真的會改用




« 上次編輯: 2010-11-12 17:47 由 thx »

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #3 於: 2010-11-12 18:42 »
更新SAS Expander firmware  後好一點
不過更新花了四個小時.....
HP 要user 自己惡搞Easy Setup CD .才能更新
進入GUI 介面後 一直按住alt +ctl   依續按 d b x 後才放開alt- ctl   ( 這是打密技嗎?)
如果用ilo 建議lock 好 alt -ctl 再敲. 我花了20 misn 測密技!




效能好一點點 但還是偏慢


晚點準備P410 ,P400 ,Dell 6i 做交替測試吧..
« 上次編輯: 2011-08-02 11:41 由 thx »

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #4 於: 2010-11-15 08:55 »
6i 已刷到lsi 版 最新firmware 後還是 不可用 (錯誤log 跟去年測試不同)
P400 效能一樣
P410 不能裝上HP DL180 G5 :(
好笑的是 LSI 3081-E (純HBA 無RAID )  竟然可以連上


其實這樣可以裝ZFS了. 但是實務上 這次不敢先這樣用


老實說效能爛的可以

但是手上有一堆CASE 只能先上機了



Bottleneck 應該是卡在SAS Expander ,  DL180 G5  12 LFF 機種用的是 3Gbps *4 Wide port * 1  背版  

(惡搞) 換新款的  6 Gbps *4  SAS 12 LFF backplane  for DL180 G6 應該可以解決.要不然就拋棄DL180 G5 框體或是換回8 Bay



其實如果正常預算夠
直接買現在款式 2U 12 Bay DL180 G6 跟Dell  R510 問題就少一些.SAS Expander 也在24 Gbps 效能提升太多
不過費用 簡配 不含HDD 大概就要8萬 而且台灣不知道買的到嗎 ? ><
« 上次編輯: 2010-11-15 09:39 由 thx »

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #5 於: 2010-11-15 14:53 »
嗯  我受不了這 "笑能" 了    >:(

還有我修改一些架構 造成 需要 I/O 非常很高 (可能會有二條FC )
 
所以要砍掉從練  我又訂購一堆料件

反正OSSLAB 品牌 Server 多的很
等到這波CASE 結束後 就重練吧


順便證明一下

當原x86硬體故障時,更換不同x86 硬體是否能正常Working.
以及 Raid Message通用否

 
« 上次編輯: 2010-11-15 18:48 由 thx »

andyj

  • 鑽研的研究生
  • *****
  • 文章數: 957
    • 檢視個人資料
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #6 於: 2010-11-18 15:41 »
不好意思,我有點疑問

HP 的櫃子沒有鎖他們自家的硬碟,可以拿一般的硬碟來用?還是必須用特殊手腳?

我記得以前的機器會鎖他們自家的硬碟分位...

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #7 於: 2010-11-18 16:28 »
我裡面都是 Segatate  7200.11 1.5 TB  一顆 NT 2xxx 光華原價屋購買
HP 框架一個NT 650  =nt 3150買原廠的 可能光一個就...NT 8~10K吧..><
這樣光硬碟就會 12萬 (比全套主機+硬碟還貴了 ...)

沒動手腳啦. 7200.11 ,12 代 目前 都不能對硬碟做惡搞修改型號動作.

能確定速度慢  不會是硬碟跟Raid Card 的相容BUG , 沒透過SAS Expnader 時 速度快很多

鎖HDD 通常是做在Raid Card 內 之前Dell  H700有鎖 今年七月已解禁
至於這些櫃位控制卡 P400, P800 ,P410 是都沒有鎖硬碟的 並且也支持大容量2TB 硬碟 (沒試3TB)

不過  P410 這張 6Gbps SAS card (PMC Sierra  ROC)  不是所有HP 機器都可以裝
像我的DL180 G5 裝不上P410

我會建議Dell H700會是比較好raid card 選擇

本來這台Storage Server 沒有要做  Fibre  .因為想說90%都是跑 SMB .
但是後來應用上發現有時case 還真的會出現 同時 mirror 到SAN Storage  多顆..

目前有三台 Client可做Mirror Image 到Storage Serve
每台Client I /O 有可能會到 70 MB/sec * 4~5 = 2xx MB /sec

ISCSI 不算很需要或小量用

當然這樣 Server 端需要 I/O 就要驚人 到時整個 Server 都要換掉
一樣預定用HP Server 12 hot swap bay ,12 GB DRAM Xeon 5502 Quad Core , H700 ,SAS Expander .
設計上還可以外接DAS.

其實堅持用品牌機有點累.不過價格是比組裝還要便宜...
 

本來是預定  4G FC Card  再裝上FC  NDIS driver   .讓光纖成為乙太網路 FCOE 方式.
後來發現 InfiniBand 比以往成熟很多  已經不是以往只能做 Cluster 節點運算用
現對於儲存裝置support 更佳成熟ˋ提供 10GBps 頻寬 並更優異價格



mellanox 是比教主流晶片 並且勤於更新firmware 與軟體 驅動


Protocol Support
    * Open MPI, OSU MVAPICH, Intel MPI, MS MPI, and Platform MPI
    * TCP/UDP, EoIB, IPoIB, SDP, and RDS
    * SRP, iSER, NFS RDMA, FCoIB, and FCoE
    * uDAPL

要能支持以上Protocol 需要Driver 上設定正確
mellanox  driver 有分三種模式

-  VPI mode (虛擬協議互連)
 
- Ethernet only mode
   這應該跟NDIS driver 一樣
   
- IB only mode
  (InfiniBand  縮寫)



驅動下載
http://www.mellanox.com/content/pages.php?pg=software_overview_ib&menu_section=34
有for ESX

OS 支持
http://www.mellanox.com/content/pages.php?pg=osv_support_ib&menu_section=34#IB_Support

參考link
國家高速電腦中心
http://pccluster.nchc.org.tw/xoops/modules/newbb/

某人在ithelp 提問需要高速SMB  I/O
http://ithelp.ithome.com.tw/question/10034873
« 上次編輯: 2012-01-23 20:10 由 thx »

andyj

  • 鑽研的研究生
  • *****
  • 文章數: 957
    • 檢視個人資料
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #8 於: 2010-11-18 16:54 »
謝謝 Thx的說明...

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #9 於: 2010-12-02 14:38 »
給各位參考一下 OSSLab raid 目前剩下多少空間...
才用幾天 12 TB 被用到掉只剩 1 TB :P




整台DL 180 G5是要換掉  意外的發現 ML150 G6 原來可以輕易的裝上 12 PCS熱抽換硬碟  如果省錢裝台廠的 bay 可以裝到10 pcs
這是三大品牌內唯一可以裝上12 hot swap的tower 並且又賤價的可以


需求

1.SMB/CIFS 儲存Server,部份ISCSI 

2.上面要跑Data recovery軟體 ,Raid 模擬軟體 都是Winodws 版. 所以只能在windows  下運作

3. 因為Raid 數據恢復需求 所以還要能能直接單接硬碟 4 PCS

4. 需要10 Gbps Lan + 2 dual 1000M


ML150 G6 所需介面卡

1.如前篇的 InfiniBand 10G card

2.Dell H700 Raid card  (我猜P410比較慢了 如果時間有空 可以二張都測 )

3.SAS Expander


為了保險 手上有二大家 LSI ,and PMC Sierra  SAS expander chip 都會測
SAS expander Card 可以將 Raid Card 2 port   or 1  port SFF -8087 轉接成 24 ~28 顆硬碟...

4.Dual 1000M
原來Ml150 G6 刷不成iscsi boot 只好再買喔

PCI -E slot 被用的有點不夠 可能到時再看狀況

軟體OS
1. Windows 2008 R2 Web (申請的不用錢)

2.WinHex 正版

3.Rstudio 正版

4.LAB自寫的RAID分析程式 (小弟阿宅時間不值錢)

5.Starwind iscsi target program  4TB授權  (US 800 好貴 Oreo買的)

6.VMware WorkStation 

E5530, 24 GB DRAM , HDD 1.5 TB *12   , 之後可以接 DAS 櫃 再裝到 1.5 TB   * 20  .OS 放 2.5 250GB .
主機版有 6 port SATA: 2 port 用來裝OS ,  4 port 拿來做單接硬碟用 做為Raid Recovery 使用

這台機器順便可以做同時 4 顆 全速 Disk Mirror 光這塊 Disk I/O 就要300 MB/sec
一般DATA Recovery廠商因為本身I/O規劃不夠 不太喜歡做disk mirror 實際上 以現行file system ,硬碟大小 來講
先mirror 到SAN後再對Raid Stroage 上IMAGE 做recovery 效果會比直接on fly mount 還要好

Client 端還有二台ML 150 G6

Machine 1 是跑虛擬化最新實驗
ML150 G6 E5520  * 2 ,4 *12 = 48GB DRAM , Dell 6i raid card , 750gb *6 raid 5  ,10G Lan card ,Dual 1000M *1
固定 OS: VMware ESX 4.1 這台機器跟之前OSSLab內部使用一樣

另外一台則是單純 ML150 G6 E5420  12GB DRAM  HDD 250GB *1  ,10G Lan card * 1 ,PCI-E SCSI
Qlogic 4G FC *1 ,  EMC HSSDC 光纖陣列櫃介面卡 ,  LSI SAS 3081E-R  SAS HBA + sas expander , GPU GTX570

這台為全Protocol Raid 模擬機,可以直接Mount 上FC  30顆,  SCSI  26顆,   SAS  SATA硬碟 32顆
以方便挑戰NetAPP  ,HDS 等各廠牌的 Raid Recovery

也可以用iscsi mount 不同種OS 跟虛擬化 OS 處理跟測試各種應用狀況

根據業務狀況 應該還是有需求再擴充主機..其實有四台ML150 G6 ...
我想全台灣應該沒有人用這樣設備與架構做Logical Raid and File  Data Recovery 跟Digital forensic資料解密吧


全部都有上ilo remote kvm 正式版 ,以方便我們同事oreo,alang, david,vxr等進來處理研究討論
搞這些東西好像又多花不少 $$$$$$$$$$$ 等料件全到再拍照吧  跟公開架構圖吧
« 上次編輯: 2011-07-30 09:33 由 thx »

rainday

  • 鑽研的研究生
  • *****
  • 文章數: 732
  • 性別: 男
  • enhancing and optimizing
    • 檢視個人資料
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #10 於: 2011-01-13 17:36 »
請問一個SAN的問題
當我有二台機器A和B,去同時直接掛載同一台C iscsi target上的空間
A B C三台都是linux
我發現A機器寫入檔案a1 ,B機器要重新掛載才能看的到a1檔案
這是程式軟體設定的問題嗎?
還是在應用上,iscsi是無法做這種multi user存取的方式或是資料同步??
那FC SAN能夠做到?

就我目前看到的,似乎都是以iscsi + cluster file system(GFS , DRBD ...)或是iscsi + NFS的方式將A掛載的空間share給B等等方式來達成
但我想要能做到AA的架構,是不是有什麼方式能達成多台即時讀寫共同的storage?

謝謝
<0  =_=  Don't learn to hack , hack to learn.

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #11 於: 2011-01-17 10:04 »
請問一個SAN的問題
當我有二台機器A和B,去同時直接掛載同一台C iscsi target上的空間
A B C三台都是linux
我發現A機器寫入檔案a1 ,B機器要重新掛載才能看的到a1檔案
這是程式軟體設定的問題嗎?
還是在應用上,iscsi是無法做這種multi user存取的方式或是資料同步??
那FC SAN能夠做到?

就我目前看到的,似乎都是以iscsi + cluster file system(GFS , DRBD ...)或是iscsi + NFS的方式將A掛載的空間share給B等等方式來達成
但我想要能做到AA的架構,是不是有什麼方式能達成多台即時讀寫共同的storage?

謝謝

1.File level storage  下,Storage 不但提供磁盤空間,而且還提供文件系統功能,
因此,對於host server過來的request,Storage system 會通過
自身文件系統去查找相關目錄以及相關Security信息,
並返回給host server。

2. SAN (block level storage)
SAN下,Storage只提供磁盤空間,
對於Host server過來的request command ,storage只是會把scsi command
承載與FC或者IP網絡傳輸給host server,最終由Host server解議這些SCSI command,

fc and iscsi 都是block level 應用.權限上就是這樣.
如果只是存檔案存取你可以用SMB file level  存取應用
Cluster Storage  部份就當然配合如windows cluster , vmware vsphere 等 都有套自己的Storage管理系統


在標準SAN (block level storage )
在SAN網中,一個卷 ( 如卷A, 或者LUN A) 可以讓所有的SAN工作站看到.
當工作站 1 看到LUN A 時, 將其格式並放上NTFS (或 HFS+) 文件系統.
但當工作站 2看到LUN A 時, 並不知道上面已經有了一個NTFS. '
工作站 2可能把自己的文件系統放在LUN A, 而摧毀本來在LUN A上的所有資料.
由此可見, 沒有文件系統管理軟件, SAN 是不可能真正共享的。

San file system因此需求而來.可以讓所有機器共用或只讀某些卷. 並可針對lun做限控制管理

把各家Sanfile system 做介紹

MelioFS
http://www.sanbolic.com/melioFS.htm

IBM:
http://www-306.ibm.com/software/tivoli/products/sanergy/
http://www.ibm.qassociates.co.uk/storage-software-totalstorage-san-filesystem.htm

StorNext:
http://www.quantum.com/StorNext/

SGI:
http://www.sgi.com/products/storage/tech/file_systems.html

PolyServe:
http://www.polyserve.com

DataPlow SFS:
http://www.dataplow.com

Apple Xsan
http://www.apple.com/xsan/

我個人只有跑過 Apple Xsan (因為這好像是最便宜)
Server  端每個Client US 999 ,OS X 內建Client software  ,所以Client 端軟體沒收錢
如果換成給PC用..還要加收....

San File system 還會多台Meta data server 架構
« 上次編輯: 2011-01-17 14:41 由 thx »

rainday

  • 鑽研的研究生
  • *****
  • 文章數: 732
  • 性別: 男
  • enhancing and optimizing
    • 檢視個人資料
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #12 於: 2011-01-19 15:37 »
了解了
謝謝thx的回覆

話說StorNext的這家quantum !? 是以前做硬碟的那家嗎?

目前正在研究Ceph hadoop moosefs gfs 這幾個open source的clustered file system
<0  =_=  Don't learn to hack , hack to learn.

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
回覆: 規劃 設計 SAN Server 軟體比較
« 回覆 #13 於: 2011-01-21 14:46 »
Clustered File system 相關討論
http://phorum.study-area.org/index.php/topic,62466.0.html

有興趣的話 可以把你需求說更清楚點 可以給更多參考
目前來講很適合中大型網站架構.我知道幾個opensources 應用例子

如果用於私有雲 或是高需求Disk I/O...
請搭配10Gbe Lan or Infniband 網卡 要不然效能會很糟糕

hp 那台高價設備效能慢 問題在於把 lan clustered storage 照傳統raid 打散分散處理

實際上我個人該覺得該以 file level block 處理..
 
« 上次編輯: 2011-01-21 22:47 由 thx »

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
Re: 規劃 設計 SAN Server 軟體比較
« 回覆 #14 於: 2011-07-30 10:26 »










前前後後處理這些硬體跟軟體耗近一年時間   ,因為有在上線 因此沒有時間公開詳細資料  簡單把一些重點經驗整理一下

1. 硬體上每個環節都不放過       CPU , DRAM ,匯流排 ,Disk i/o, 控制卡, hdd

2 .Raid Card +SAS Expander 相容性問題很大. 或是I/O 很糟 這部份把FAE call 死也沒用. 找原廠也不會有用 非常規解決
要不然就多花2~3萬買正規 LSI SAS 9201-16i .不過數量會比 H700+ SAS expander 少 4 PCS 

3.電源穩定性很重要 ,建議用用光華訂線.中國轉線很不穩 要同顆Power 否則會有電位差問題

4.台廠熱抽換BAY燈號有問題

5.10G 網卡必備

以上如果要省事 建議跟原廠訂 12  Bay 以上機器 目前狀況會建議dell 或新款 HP  Server..
 
6.差不多測爛所有Storage Software ,最滿意 Starwind
   OSSLab 三大工作內容 都靠它完成 : Data recovery, digital forensic, Cluster Storage Lab
  這方面評估是 : 價格, 易用性 ,效能性,功能性.


7.安全起見如果沒有backup server 請作二組Array .  做重要文件互相備份

市場未來的走向

1. 現行Storage 軟體價格與功能面必需有優勢.否則Starwind 免費版  性能跟功能已非常好用..
    差價又是5萬~1x 萬 又不是差幾千....

2. 硬體Storage Server 官方IBM 與Dell 準備提供官方 SAS Cluster Soultion 會對原有FC Cluster Storage 會有衝擊

3.10G 網卡必備 ,1G  Lan 真的不夠用,非Linux 系 Storage software  如何支持 特殊10G 網卡 並要說清楚HCL

4.由於10G 網卡關係 ,FC Target Server  這功能重要性降低.因為10G 網卡可同時做file level 跟raw level 共存取, FC Storage HBA 無法做file level存取
  並且價格上 10G網卡有競爭力  

5.公司中主力Storage 我想要這樣拼起來 恐怕有些人會怕怕   ,但是如果做為 虛擬化+Storage 實驗性Server .合一是非常方便.
Local DAS 轉化成  ISCIS target Lun, 還有NFS, CIFS 分享,其他 的CPU Resources 跑VM .
EMC VNX5300 也是同樣硬體設計架構但是價格大概是自己搞10倍....

這架構可參考這文章
http://www.napp-it.org/napp-it/all-in-one/index_en.html
« 上次編輯: 2011-08-31 04:46 由 thx »

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
Re: 規劃 設計 SAN Server 軟體比較
« 回覆 #15 於: 2011-08-31 05:18 »

線路圖.

http://support.dell.com/support/edocs/network/P29352/English/teaming.htm

 以Broadcom 來講 NIC Teaming 有三種技術

1.802.3AD

2.Broadcom SLB :Smart Load Balancing™ and Failover

3.Generic Trunking (FEC/GEC)/802.3ad-Draft Static(這少用)


802.3AD  最常用 但是需要特定昂貴 802.3AD Switch... 實在有點.......
Broadcom SLB算是Driver based .缺點是 如果該OS 沒有相關Driver 也無法設定

這邊來講主要是讓一般 1000M應用基本上順暢...
不過我建議是都花了不少錢 買Storage Server  ,現在Local 硬碟隨便拿家用硬碟*8 都有 600 MB/sec
 所以請盡量買10G網卡 不要去浪費那個時間.. 預算夠 想要用FC 8G 也可. 

Storage Server 最近還要修改PXE image  Boot後再啟用 iscsi Lun ...
http://etherboot.org/wiki/pxechaining

繼續實作跟修改  :P
« 上次編輯: 2011-08-31 05:28 由 thx »

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
Re: 規劃 設計 SAN Server 軟體比較
« 回覆 #16 於: 2012-01-23 19:56 »
ML150 G6 Xeon E5504 ,24GB ,H700 NV +SAS Expader   +  12 PCS 1.5TB + 10G infiniband

Storage Server 上線到今也一年多了...在我們維護之下 工作都很正常.數據也沒問題...
(中間有過HDD smart 錯,有更換 rebuild 過,當然很重要data 也有備份)

有感於 16.5 TB 實在不夠使用

因此需要擴增
但擴充前需要保留原資料..我們是怎樣做搬動的?
如果以一顆顆3TB 裝入原有 12 Slot Server內...
rebuild  一顆1.5TB 大概要花上1.5天.... =18 天...這時間上不可能..

因此我們先架好 另外一台 B號機 
(HP ML150 G6 Xeon 5502 ,24GB DRAM + H700  +  6 PCS 3TB raid 5 + Infiniband 10G )
3TB 去買外接USB 拆的


裡面是 ST3000DM001 是最新seagate 單碟1TB 機種..效能很好
http://www.anandtech.com/show/5042/seagates-new-barracuda-3tb-st3000dm001-review

單顆i/o


B號機  H700 NVRAM +3TB * 6 raid 5   
IO plolicy :cache i/o  ,Access policy: read and write, disk plocy :Enable

分別為
Strips size =256KB



Stripe size= 512 KB 資料如下











會跑上SATA 2協定 是令我們最不滿意地方.. 需要再跟LSI FAE  做溝通 ..


弄好後再用10G網路對拷約 12TB 資料...效果如下



大概10小時不到  10TB 資料都幹光光了....

接下來預定再把B機上的 3TB 裝回原Storage Server上...

順便升級
1. 因為 Infiniband 10g網卡在VMware Vsphere 5 下無法使用.
要更換更高性能  CNA 多功能卡
http://www.pczone.com.tw/vbb3/thread/16/152404/

2.更換高性能CPU

3. 原來3TB 高性能硬碟 +6 =12 pcs 3TB raid 5  =33TB
另外留 8 pcs 擴充性可到 51TB 

4.有同事在反應 SGPIO或 I2C 沒做 希望能搞定....(Raid card與 燈號)

5.此硬碟ST3000DM001 跟lsisas2108 有些相容小問題 會開ticket反應

原本Server
從 ML150 G6 24GB DRAM Xeon 5504 ,H700 NV + 1.5TB *12 PCS + Broadcom 2 port 1G + 10G Infniniband +SAS Expander

升級  ML150 G6 24GB DRAM Xeon X5560 ,H700 NV +3TB *12 PCS +
 Broadcom 2 port 1G + 10G CNA  +SAS Expander

共提供1G ,10G  CIFS ,NFS ,ISCSI  Hybrid Strorage Server 服務
 (FCOE or FC Target 服務需要非windows類OS )
« 上次編輯: 2012-01-23 20:01 由 thx »

u8526425

  • 俺是博士!
  • *****
  • 文章數: 1135
  • 性別: 男
    • 檢視個人資料
Re: 規劃 設計 SAN Server 軟體比較
« 回覆 #17 於: 2012-01-23 23:20 »
老大你也太認真了吧
這種時間還在造福鄉民
多見者博,多聞者智,拒諫者塞,專己者孤

summer05145

  • 可愛的小學生
  • *
  • 文章數: 17
    • 檢視個人資料
Re: 規劃 設計 SAN Server 軟體比較
« 回覆 #18 於: 2012-08-17 18:42 »
版大還有繼續測試ZFS部分嗎?

今年小弟公司看好ZFS的發展潛力

不知道版大想來做個ZFS實測嗎

我可以協助
小弟是Sever代理商
來只是純粹討論規格、架構、可用性
如果文章太過商業化請告知小弟