主題: 130K的iSCSI server硬體的建置

[davihuan]

昨天的活動上有人問到130K的iSCSI Server建置的問題，我就我晚上在Dell晃了兩三個小時的結果，做大概的說明。

1. Open-E DSS 早場講師有提到約30K左右的費用，經過實際上我在Dell網站上組合的結果，並沒有辦法空出這30K的預算給Open-E DSS，所以這邊全部都以130K左右的預算進行評估。這邊假設Dell的硬體Open-E DSS全部支援為前提。
2. 2900III這一個組合是以Dell 2900III為基礎的設定。
3. R200/MD1000的組合，以R200跟MD1000為基礎的設定，開始的設定R200就只是一個Host OS，內裝的硬碟如果沒有要裝OS的話是可以拿掉的，這一個設定的著眼點就是Server本身不放硬碟，所有的硬碟都放在MD1000中，從開始就以最大擴充性為考量。
4. 這邊的設定上記憶體都是8GB，我個人認為在一個15個人左右的iSCSI SAN，加上主要的資源都是管理者在控制的話，8GB的記憶體單純在iSCSI SAN的工作上應該是堪用的狀況。
5. 其他Dell Server的選擇，沒有線上價格的我沒有看，另外就是頁面上很多Dell Server的選項不完整，有無法排除的選項組合錯誤訊息，所以我晚上再Dell晃了兩三個小時，結果才生出這三個的PDF。
6. 2900III已經支援iSCSI開機了，相信慢慢的iSCSI BOOT會越來越流行。

歡迎大家提出問題討論，沒有買Open-E DSS的預算，就只能希望Open Solaris Storage支援這些設備了！

[splin]

MD1000 有支援 hw iSCSI？我記得好像是 MD3000 才有支援的不是嗎？

[davihuan]

拿R200做iSCSI Server呀。MD1000只是放硬碟，不然幹嘛要R200。

[oreo]

我的建議是,如果會想自己裝,先不要去考慮MD1000,理由是,用不到
MD1000可以處理SAS串櫃子的功能,但是,要串櫃子,先決要件是,你需要處理那樣多的資料
這與開版主題是有衝突的,如果不需要處理串櫃子的問題
以下的櫃子反而比較適合,也比較不容易有相容性的問題,因為他是無法串接的
http://www.enhance-tech.com/products/desktop/E8_MS.html
而這種櫃子,用R200實在是浪費到爆炸了,買個T100當HOST機起TARGET就可以了
容錯的問題,就買兩組,互相備份,問題可能簡單一點

而I-scsi的部份,小弟建議,USB便宜到爆炸了,架構上還是採用HOST OS放於本機的方法比較簡易,san boot或是iscsi boot都有些限制與門檻,不會跑的人學飛實在有點危險

題外話:我早上說的MD1000是被我歸在50-100萬的方案中,30萬要MD1000+伺服器太困難了,THX可能可以做到

[davihuan]

T100當然夠，不過這邊的考量是以Dell網站上面我兜得出來的東西為主，如果你說的這種外接硬碟櫃當然是更便宜，再說我這邊的考慮並不是自己裝，而是現有的產品加上維護考量之後的組合，還有相容性的問題。我自己做的話就會用一台大概T100等級的設備兜iSCSI Server，加上向你講的外接硬碟櫃，不過如果以MD1000為基礎，當然是配上R200比較好呀。其實現有的問題是就算是原廠的外接硬碟櫃，MD1000對一般入門的人而言，門檻還是太高。不然我DIY iSCSI Server的話，不含軟體的部份10萬塊應該是做的起來，相對的自己要承擔相容性跟維護的問題，所以這樣的組合是可以叫Dell把硬體測到好的作法。

我的建議是,如果會想自己裝,先不要去考慮MD1000,理由是,用不到
MD1000可以處理SAS串櫃子的功能,但是,要串櫃子,先決要件是,你需要處理那樣多的資料
這與開版主題是有衝突的,如果不需要處理串櫃子的問題
以下的櫃子反而比較適合,也比較不容易有相容性的問題,因為他是無法串接的
http://www.enhance-tech.com/products/desktop/E8_MS.html
而這種櫃子,用R200實在是浪費到爆炸了,買個T100當HOST機起TARGET就可以了
容錯的問題,就買兩組,互相備份,問題可能簡單一點

而I-scsi的部份,小弟建議,USB便宜到爆炸了,架構上還是採用HOST OS放於本機的方法比較簡易,san boot或是iscsi boot都有些限制與門檻,不會跑的人學飛實在有點危險

題外話:我早上說的MD1000是被我歸在50-100萬的方案中,30萬要MD1000+伺服器太困難了,THX可能可以做到

[ming2892]

順便插花問一下好了

直接買DELL的MD3000i...15K 146G SAS*12

來當3台DELL 2950(配備E5410*2 ...8~16GB的ESX 3.5)

不知道夠不夠用

上面的VM機器大概會有15~20台左右

(其中6~8台會是office user的xp..信件收發..office和上網only)

(1個SQL,2個WEB SERVER,1個terminal server(5 user)和DC一台)

[eose]

剛在osslab有看到那台switch了,看來thx兄又下重手了

[thx]

順便插花問一下好了

直接買DELL的MD3000i...15K 146G SAS*12

來當3台DELL 2950(配備E5410*2 ...8~16GB的ESX 3.5)

不知道夠不夠用

上面的VM機器大概會有15~20台左右

(其中6~8台會是office user的xp..信件收發..office和上網only)

(1個SQL,2個WEB SERVER,1個terminal server(5 user)和DC一台)

你的頻寬會卡在 1000M 上.用這樣好的15k SAS 反而會有點浪費了
MD3000i 中國大概nt 11萬上下.
1000M 最大的頻寬不夠用點在於 Stroage Server 上單一條 1000M對多台 Cleint

[ming2892]

順便插花問一下好了

直接買DELL的MD3000i...15K 146G SAS*12

來當3台DELL 2950(配備E5410*2 ...8~16GB的ESX 3.5)

不知道夠不夠用

上面的VM機器大概會有15~20台左右

(其中6~8台會是office user的xp..信件收發..office和上網only)

(1個SQL,2個WEB SERVER,1個terminal server(5 user)和DC一台)

你的頻寬會卡在 1000M 上.用這樣好的15k SAS 反而會有點浪費了
MD3000i 中國大概nt 11萬上下.
1000M 最大的頻寬不夠用點在於 Stroage Server 上單一條 1000M對多台 Cleint

所以就是要做DUAL CONTROLER

或是直接改買EqualLogic PS5000
 

看來預算會增加不少......
 

會用SAS是怕故障...不是為了高效能...

SATA的可靠率我還是有點懷疑的

 

[ZMAN]

MD3000i的價差來自兩個主要項目

1. single controller module 或 dual controller module
2. 什麼樣的HDD 多少顆HDD

11萬買不到他要的的規格

[ming2892]

MD3000i的價差來自兩個主要項目

1. single controller module 或 dual controller module
2. 什麼樣的HDD 多少顆HDD

11萬買不到他要的的規格

老大您看錯了啦 ....

MD3000i是我在問的

不是樓主阿

我是有拿到報價了

只是不清楚到底MD3000i適不適合我的環境

所以上來問問

問DELL他們也只會推薦PS5000@@

[davihuan]

基本上不用拿iSCSI跟FC比較，因為花費差很多，效能也差很多，用iSCSI基本上就是要降低建置成本跟利用現有架構。

[thx]

更多的iscsi 跟fc 比較可參考這..
http://forum.open-e.com/showthread.php?t=1309&page=2

我恐怕真的建議 如果那種20台　以上VM環境  要認真考慮FC.
 

[ming2892]

更多的iscsi 跟fc 比較可參考這..
http://forum.open-e.com/showthread.php?t=1309&page=2

我恐怕真的建議 如果那種20台　以上VM環境  要認真考慮FC.
 

請問一下

您是指

20台ESX SERVER

還是

20台VM MACHINE?

[davihuan]

更多的iscsi 跟fc 比較可參考這..
http://forum.open-e.com/showthread.php?t=1309&page=2

我恐怕真的建議 如果那種20台　以上VM環境  要認真考慮FC.
 

第一個做法，如果真的是ESX Server的話，請善用Kernel PCI Switch，插個兩到三張Intel PCIE Quad GbE Server Adapter，然後直接透過Kernel PCI Switch去分享這八到十二個GbE，如果你的VM有要求速度的話，可以給它獨立的一個GbE使用。在VM對Storage存取的資料量每秒低於120MB的時候，這是一個可以選擇的方式。

第二個做法，應該很少人會玩4Gbps以上的通道，雖然我以前上班的時候很平常，不過是老闆出錢，就沒什麼好說嘴的，買兩張Intel PCIE Quad GbE Server Adapter，然後做802.3ad，這個是iSCSI server端，這邊有8Gb/s的頻寬，但是現實上802.3ad的實做目前看到都只有支援到四個GbE，所以這樣就變成了兩個4GbE的通道的頻寬，所以在設定iSCSI Client的時候可以分成兩個群組設定不同的iSCSI target。然後iSCSI Client端用一張Intel PCIE Quad GbE Server Adapter，也做802.3ad，這邊有4Gb/s的頻寬，然後買支援802.3ad支援的Switch，24 ports以上，基本上應該足夠大部分人的需求。而且網路線也比光纖線好搞很多。

===== 以下是敗家教學。 =====

我不是thx，沒有那個心臟玩FC，加上風險評估很重要，而且我沒錢買好幾台。而且FC跟RAID一樣很難照顧，所以還是玩玩iSCSI就好。重點要有802.3ad支援的GbE Switch跟NIC，沒有這個支援就沒有意義。

如果你的Server有PCIX，又需要GbE以上的頻寬，恭喜你，Intel® PRO/1000 MT Dual Server Adapter在什麼都賣[網頁備份]的地方已經1000有找，而且不難買，這個東西已經賣一段時間了，這一張作了802.3ad設定之後就變成一張2Gbps的NIC，你可以想一下這一張卡跟2Gbps的FC HBA的差價，不過FC HBA可以FC開機，這一張沒辦法。不過FC開機大概是要做到HA之後才有意義，不然FC開機要是失敗的話，偵錯的難度相較於Local Disk真的是有經驗的人都會怕。

接下來是區域網路的中心，交換器，Dell 2724不是最好，但是堪用，什麼都賣[網頁備份]的地方已經買的到全新品9300，如果以2Gbps的要求來算的話，這一台頂多12 ports，但是12 ports的FC 2Gbps Switch多少錢？要想一下！而且要是你的單位跟Dell買的東西夠多的話，Dell 2724我相信不是9300這個價格。

1. HP San Switch 2G / 16 Port FC A7340A 保固30天。40000!!!GBIC沒看到。[網頁備分]
2. LSI LSI449290 Fibre Channel FC 2G 雙通道光纖控制卡少用如新，3600元，沒有說明保固。[網頁備分]
3. Cewolf 光纖網路線 【全新 LC 光纖 Fibre Fiber 2G 2.5M FC 多模 50/125UM 網路線】300元，如果常常插拔的話，其實光纖線跟GBIC都是耗材，也是會壞。[網頁備份]
4. 【LSI 光纖控制卡】LSI40919O LSI409190 Fibre Channel FC 2GB (免 3%手續費) 3000元，全新。但是全新跟有保固是兩件事情，就算有保固，GBIC跟FC HBA的備品還是要自己準備。[網頁備份]
5. Brocade 3200 san switch 2GB 8 port FC使用一年到兩年22000。[網頁備份]
6. 全新盒裝【 Intel PRO/1000 VT(PT) Quad Port 四通道伺服器 網路卡 】EXPI 9404VT 全新保固一年8500元[網頁備份] <<曙光出現了

===== 敗家教學先到這邊 =====

我寫了這麼多屁話，我想要講的事情，如果你是個人想搞SAN，或者小單位想要引進SAN的架構，在交換架構上面，要用光纖還是乙太網路，我會強烈建議用乙太網路，因為支援802.3ad 24 port switch加上六張支援802.3ad的Quad GbE大約是七萬元起跳，真的要用FC SAN的話，請先評估自己可不可以有預算輕鬆入手一台全新有保固的FC 8 ports 2Gbps Switch，如果沒有的話，FC SAN意義不大。

FC SAN最重要的地方就是距離，如果你有兩棟大樓之間要架SAN，大樓之間你架設線路沒有地權、路權、管道權的問題的話，就是用FC SAN，因為iSCSI SAN在距離上，因為乙太網路架構的限制，使用上不是很方便，如果要用光纖乙太網路的話，又有點脫褲子放屁的狀況存在。

真的要當線上用的設備，要先考慮的事情就是在狀況發生的時候，怎樣有辦法最快找到備品做替換，公司的營運系統不是開玩笑的，如果要用半調子的FC SAN，還是花錢在iSCSI SAN跟好的配線系統架構上，SAN我可以幫你想，配線系統就是要找zman了。

[oreo]

這串真是接力接的太好了,拍拍手中
david啥時再幫我們開課啊
其實這個問題最麻煩的在於,新的伺服器幾乎很難找到PCI-X了,risercard預設都是pci-e *3
買的時候請各位多留意,可以先請業務把卡片換成你要的,施工起來會比較簡單一些
另外,根據相當數量的回報 4 port的網卡有點挑版子,如果不是直接找原廠買的,很多時候會有相容問題
(BIOS有抓到,ESX一個port 都看不到),不想麻煩的話,建議買 2port的,反正串出了頻寬
HD也要夠力才能輸出那樣多的資料啊 :'(

[davihuan]

這串真是接力接的太好了,拍拍手中
david啥時再幫我們開課啊
其實這個問題最麻煩的在於,新的伺服器幾乎很難找到PCI-X了,risercard預設都是pci-e *3
買的時候請各位多留意,可以先請業務把卡片換成你要的,施工起來會比較簡單一些
另外,根據相當數量的回報 4 port的網卡有點挑版子,如果不是直接找原廠買的,很多時候會有相容問題
(BIOS有抓到,ESX一個port 都看不到),不想麻煩的話,建議買 2port的,反正串出了頻寬
HD也要夠力才能輸出那樣多的資料啊 :'(

我那一篇整理了兩三個小時，想了三四天以上。

其實Quad GbE強烈建議開802.3ad餵資料給ESX，如果開802.3ad之後ESX可以用的話，因為這樣處裡比較簡單，而且每個VM充資料都很快，ESX的Kernel PCI Switch真的是挑卡，不過遇到一些VM需要獨佔硬體的，也就是不得已要用了。

要過一段時間吧，休養生息，上次那一趟講太快差點掛掉，而且我覺得NAS的備份的策略也還有很多可以講，因為我有遇到網路上有人在問，所以應該要來拆講題了，弄個比較個人/SOHO的NAS講題，SAN的部分單獨講比較好，如果還要去台北講的話。

我很想跟市面上的NAS廠商借設備來測，不過我相信很多廠商沒有辦法聽的下去實話，只能希望在台中可以再找到比較好的工作讓我有餘裕的預算跟時間，讓我多寫一些想法給大家分享。

[eose]

期待davihuan兄的再次分享

個人是對家用NAS比較有興趣啦

[竹本立里]

期待davihuan兄的再次分享
個人是對家用NAS比較有興趣啦

小弟拙見( 一開始總覺得 卓 怪怪的, 原來應該用拙才對, 為什麼這兩個字,發音一模一樣勒)
家用NAS用準系統或舊電腦搞就可以了

[eose]

期待davihuan兄的再次分享
個人是對家用NAS比較有興趣啦

小弟卓見
家用NAS用準系統或舊電腦搞就可以了

小弟家東西比較多啦!目前超過2T,正在思考比較彈性的方式,之前是有在研究zfs.
不過上次聽完davihuan兄的演講,有再思考別的想法,總之目前還在研究摟

[davihuan]

期待davihuan兄的再次分享
個人是對家用NAS比較有興趣啦

小弟卓見
家用NAS用準系統或舊電腦搞就可以了

小弟家東西比較多啦!目前超過2T,正在思考比較彈性的方式,之前是有在研究zfs.
不過上次聽完davihuan兄的演講,有再思考別的想法,總之目前還在研究摟

1. 其實家用NAS比商用NAS跟SAN都難講，因為目標不明確，應該是一項相當的挑戰，因為對不懂NAS的人要講到懂，而且懂NAS的人要講到規劃的方式，這個沒有先確定講演的對象的狀況，我覺得大概是最難開成的講演課程。
2. 家用NAS如果要用準系統或者舊電腦做，主要是耗電問題，這個是省購買專用型的NAS的預算換準系統跟舊電腦消耗的電費，如果要全天開機的NAS，已現在單硬碟NAS的價位上來說，除非真的沒預算，或者電費不用錢，不然有機會算一算夏天的尖峰電費的計價方式你就知道，差那一點點真的差很大。
3. 2T不大，我同學1T用不到30天，zfs要用的話，我個人主觀認為是跟Open Solaris Storage配套產生的NAS跟SAN的服務，除非zfs可以跨出Solaris的授權限制。

[eose]

期待davihuan兄的再次分享
個人是對家用NAS比較有興趣啦

小弟卓見
家用NAS用準系統或舊電腦搞就可以了

小弟家東西比較多啦!目前超過2T,正在思考比較彈性的方式,之前是有在研究zfs.
不過上次聽完davihuan兄的演講,有再思考別的想法,總之目前還在研究摟

1. 其實家用NAS比商用NAS跟SAN都難講，因為目標不明確，應該是一項相當的挑戰，因為對不懂NAS的人要講到懂，而且懂NAS的人要講到規劃的方式，這個沒有先確定講演的對象的狀況，我覺得大概是最難開成的講演課程。
2. 家用NAS如果要用準系統或者舊電腦做，主要是耗電問題，這個是省購買專用型的NAS的預算換準系統跟舊電腦消耗的電費，如果要全天開機的NAS，已現在單硬碟NAS的價位上來說，除非真的沒預算，或者電費不用錢，不然有機會算一算夏天的尖峰電費的計價方式你就知道，差那一點點真的差很大。
3. 2T不大，我同學1T用不到30天，zfs要用的話，我個人主觀認為是跟Open Solaris Storage配套產生的NAS跟SAN的服務，除非zfs可以跨出Solaris的授權限制。

1.你說的也是啦!不過家用大概有興趣的人就少了吧!大家應該還是對企業用的部份比較有興趣
2.耗電這問題我之前是沒想太多說,不過上次聽到您的演講後,自己算了一下,發覺耗電的問題真的很重要,一年就差幾千塊了.
3.小弟目前還是比較想用OpenSolaris的zfs,透過smb來分享檔案.不過主要問題是...P2P怎麼處理啦XD
  因為zfs是想放我所有的檔案,但P2P軟體又不想用在openSolaris上,一來不熟,二來怕有問題不好處理,所以還是想在windows上下載.
  不過檔案又想要從zfs上分享,很怕P2P頻繁的讀取家用switch會撐不住.

[thx]

奇怪了...
DL160 G5 好像不能iscsi boot好麻煩..
那位大大有iscsi boot  經驗的話請跟我說一下
買的switch 總共有 120kg ...所以運回來還花了點功夫...><

家用nas 我偏向eeebox or 我們自家的ossbox 喔 
http://wiki.osslab.org.tw/%e5%af%a6%e9%a9%97%e5%b0%88%e6%a1%88/OSSBox2

[davihuan]

家用NAS跟P2P BOX目前還是以eeebox為最佳選擇。

[reson_lai]

不知道有沒有人試過Nexenta他底層是Open Solaris 它配ZFS 檔案系統,目前除了FC SAN沒Support外,也Support iScsi,可以參考http://www.nexenta.com

[thx]

nexenta 會比open-e 貴喔... 大約會是1.5倍價格.
特色大概是 他有一些vmware plugin 可以在VC裡整合操作吧.

[davihuan]

我建議關於FC的相關訊息可以另外開一篇討論，這一篇還是單純以iSCSI建置的Q&A比較好。

[thx]

這邊有中國dilidolo 大 step by step iscsi target server 教學...非常精彩

http://bbs.vmsky.com/thread-20775-1-1.html

我個人偷懶 所以會再用OpenSolarias ZFS GUI 再加上 大廠Server的監控軟體 如Dell Open Manage(Web 下對機器的整體監控
風扇 溫度等,還有Web 介面管理raid card)

整合性的規劃 晚點再補充一下好了

不過ISCSI 會慢點就是了 dilidolo 大有做 fc target server 測試...配上SSD 做slog 效能真是驚人..
http://bbs.vmsky.com/thread-20886-1-1.html

[davihuan]

請版主或者thx把FC的討論另外集中在一篇.....
你認真研究一下企業FC建置的入門成本......
企業FC建置跟你個人買設備研究的立場是有相當大的差別的。