技術討論區 > Computer 討論版

10G 網卡與高速光纖替代網卡 筆記

(1/4) > >>

thx:


MHGA28-XTC 20M

好像市面上沒有啥 Infiniband 相關中文筆記 一般來講infiniband 用於Cluster 運算環境比較多
但是用於虛擬化或一般相關應用少, 因此市場有賤賣這類介面卡.實際上此為價格性能比超高的物理性連結設備
不過 Infiniband hub 還是很貴的價格

以下以mellanox 的 MHEL-CF128-T ( pci-e 規格 InfiniBand InfiniHost III Ex 晶片 dual port 10G 網卡 ) 為例


Mellanox原廠說明書有下面幾本.
Windows :驅動與subnet manger 啟動方法
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_Windows_user_manual.pdf

Linux  主要為ofed組織 opensources driver
http://www.mellanox.com/related-docs/prod_software/Mellanox_OFED%20_Linux_user_manual_1_5_2-2_1_0.pdf

Esx 驅動主要也為OFED Driver
http://www.mellanox.com/related-docs/prod_software/IB_OFED_for_VI_3_5_and%20vSphere_4_installation_guide_1_30.pdf

infiniband gpxe boot
http://www.mellanox.com/related-docs/prod_software/FlexBoot_user_manual.pdf

正確啟動Inifniband 網卡
1.抓驅動與安裝  2.抓燒錄程式與安裝 3 .抓firmware 4.修改Driver 5.啟動Subnet Manger








下載Firmware
http://www.mellanox.com/content/pages.php?pg=custom_firmware_table



FW有分穩定版跟Beta版
燒錄firmware 有不同程式
可參考

舊版用 flint 就可C:\Program Files\Mellanox\WinMFT>>flint -d -s - t - mt25208_pci_cr0 -i CF128.bin -nofs burn



要額外燒boot rom
mlxburn -dev mt25208_pci_cr0 -fw fw-25208-rel.mlx -conf MHEL-CF128-T.ini -exp_rom IHOST3EX_PORT2_ROM-1.0.0.rom -skip_is --t- -c

(port1 跟port2 有何不同..還不知道)

安裝好 重新開機會出現  多二張網路卡 線已裝好 燈號也亮 但是顯示斷線

 


一般"正常狀況下"
infniband 應用狀況 都會有硬體 infniband switch ,但一台 8 port nt 4萬以上
二臺直接對接用一般CX4 Cable 燈號有亮
但是都是顯示offline

IB 架構要有Subnet Manger 才能正常工作
而硬體switch 會內建此功能 因此需要再啟動

thx:
一般FC HBA 只有Stor miniport  driver 時則在windows 下只能做 FC Storage HBA
如果想要以 Storage HBA CARD (2G ,4G )替代 NIS Card 就要有NDIS Driver

但是不少廠牌會有限制
像 Qlogic QLA 23xx (2Gbps ,PCI-X) 在windows XP, 2003 32bit  才下有NDIS Driver ,其他OS 就不可


linux 可直視FC HBA 為Networking Card
http://filedownloads.qlogic.com/files/driver/35491/README_qla2xxx2-6.htm

將FC Card 做NDIS 好處是.Latency time 更低, 線路好維護. 速度更快..

昂貴的CNA converged network adapter)
則是 Enthernet + Fiber Channel(FCoE) 同時做在一張卡



thx:




10G 網卡好處是..NAS OR SAN (Server端)+ Client 端本身I/O 有多高, 速度就都跟的上.

A 機為 12 PCS 1.5TB , B 機為有11個 空Bay (方便做Data recovery跟拷出客戶資料用)

A機與B機用 10G Lan對連`同時二顆HDD 用CIFS 都可全速...(應該可以同時5顆 全速...)





未完
1.infiniband 在 vsphere 下安裝驅動 並且Mount Datacore
2.與Starwind ,Data core ,software ISCSI target software搭配 ,boot

我要開機啦:
40G的Infiniband卡可以如法泡製來跑40G的LAN嗎
又FC做NDIS和Infiniband來比較的話,兩者效能是否有差別

thx:

--- 引述: 我要開機啦 於 2011-03-10 01:39 ---40G的Infiniband卡可以如法泡製來跑40G的LAN嗎
又FC做NDIS和Infiniband來比較的話,兩者效能是否有差別

--- 引用結尾 ---
只要是Mellanox infiniband 卡 照我說明都可以做 不過40Gbps * 2 port 除了RAM DISK 外 最大問題會是...Loacl Storage  很少有本事這樣高Disk I/O...

Mellanox 有下面說明 可以參考

# LAN and SAN functionality is available over unified server I/O using high bandwidth InfiniBand connectivity. This reduces cabling complexity and reduces I/O cost (50 – 60%)   and power (25-30%) significantly
# LAN performance (from VMs) of close to 8X Gigabit Ethernet has been achieved
# SAN performance (from VMs) of close to 10X 2Gb/s Fibre Channel has been achieved
# LAN and SAN performance scales linearly across multiple VMs
# Ability to expose multiple network and storage adapters over a single physical InfiniBand port allowing the same 'look and feel' of traditional storage and network devices

其實以我們實驗室這樣做法(IP over IB ) 是無法全功能性發揮 infiniband 效能

因為能以SCSI RDMA Protocol 的話 才是能將IB 發揮到最大性能
商業軟體上只知open-e 可以.
http://forum.open-e.com/showthread.php?t=1341

 IP over IB 模式下 是  2K MTU, IPoIB MTU  2048 - 4 = 2044 bytes.

在 SCSI RDMA 模式下
MTU 可到 64K  一次可吐更大量 UDP ,TCP /IP 封包 傳輸量更大.

在此模式下會把FC 8Gbps 都甩開...

跟FC 相比
1.FC Driver 彈性比較低 .
2. 4 Gbps FC Dual Port  Card  (NT 20000) 是我的 10 Gbps Dual port infiniband  1.3倍
所以我把4Gbps FC card都清光了...官方標準IB card cost 是US 900 20Gbps * 2 port

如果照正常價的話 FC 8G 大概會是Infiniband 20Gbps 價格 1.3倍

當然也要說實話, infiniband 距離短 ,能參考文件 經驗少. 維護出包沒人問  所以一般廠商不方便以此建構..

但是10 G Inifniband 不像於傳統1 Gbps lan 要team , 而4g ,8g FC 不見得有NIC 模式.
其實常看廣播級剪接朋友 使用SAN +SAN Filesystem 是很大而無當設計
單純的10G NIC+CIFS ,NFS 就可


OSSLab 實驗室還是有留
Emulex 2 Gbps FC (for solaris comstar fc target測試 ) ,
Qlogic 2 Gbps 玩efi ,mac san boot

到時研究 FCIP ,infiniband gateway 用

參考
http://communities.vmware.com/thread/213573


以下為IB SAN 照片 ,HP ML150 G6 Server


導覽

[0] 文章列表

[#] 下頁

前往完整版本