作者 主題: Vsphere 5 上線經驗與一些測試...(已更新到5.1)  (閱讀 15682 次)

0 會員 與 1 訪客 正在閱讀本文。

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
最近終於把Lab 對外服務機做好轉移( from dell 2950 III to HP ML150 G6)
ML150 G6 配備 Xeon 5520 * 2 (8 core ) , 48GB DRAM ,2TB * 4 Raid 5 ,Dell H700 Raid card
關了Dell 2950 III 清爽多了.(吵又熱)



非常不準的VM內 I/O測試
但是由此可知Vsphere 5 對Storage有做一些cache類加速

自己有些特殊需求 因此做了一些測試

一.VT-D 測試
http://benjr.tw/node/600
VT-D  可讓虛擬機 對 PCI-E I/O 等裝置做直接做存取 Directed I/O
比如說  VM 直接呼叫Storage HBA 或Raid card .
(這樣方便 Raid Disk 控制 並方便分配Storage Pool ,在ESX 下控制大disk arrary 很浪費)
或是方便下底層 ATA Command給硬碟.



        總共試了下面卡

LSI 6Gbps HBA OK!
Mellanox Inifniband Card ok!

Dell H700 Raid 卡  失敗! (Win7 顯示的到 但會報錯)

二.vmware view
這是朋友的需求 3D軟體Licenese很貴
因此希望把3D 軟體裝在某台帶GPU Card Server 上
然後當有Render 需求時,用戶再用Vmware view 再去連

測試時只有用一般版不行

可能該裝
VMware View Manager 5.0 Binaries
VMware View Agent (32-bit)

未來使用Vmware view 省各種軟體授權一定是個趨勢


三. Storage 相關
Vsphere 5 沒有2TB限制指
Host OS 的VMFS 分區可以超過2TB
但是單VM  檔案限制還是在2TB  ,這樣很難去做個大Storage Pool
.
把H700 Disk Array 割了二個Virtual Drive
再以RDM模式讓Vsphere 5 掛載 也是不行

真的要最好的Vsphere + Storage Pool 單機解決方式 看起來就只有這方法.
http://www.napp-it.org/napp-it/all-in-one/index_en.html

至於VMware VSA Licenese  就不要買了...去買其他家VM產品還比較好..
VSA 只有NFS Share 沒有Block Level Target. 又貴 千萬不要買


有用H700 控制卡的 如果要裝 ESX 5 cli 程式
http://www.stephenyeong.idv.hk/wp/2011/09/megacli-on-esxi-5-0/

為何要用megacli 請參考
http://www.osslab.com.tw/index.php?title=Storage/Enterprise/SAS%E8%88%87RAID/LSI


四.. APC UPS 不知怎設定解決..
需求APC UPS 通報Host OS 主機 一一把VM 關了.

以上為簡單初測 
« 上次編輯: 2012-11-11 02:34 由 thx »

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
Re: Vsphere 5 上線經驗與一些測試...
« 回覆 #1 於: 2011-11-22 16:49 »
補充怎樣裝上raid 卡監控. 可在vi client 下看硬碟跟BBU狀況
http://www.youtube.com/watch?v=mEBwt6Q_diU
http://tinkertry.com/lsi92658iesxi5/

1.開esx shell
2.開ssh
3.ssh time out 為1440
下載 LSI 驅動 H700= Megaraid 9260 8i
http://www.lsi.com/products/storagecomponents/Pages/MegaRAIDSAS9260CV-8i.aspx


下載驅動
VMware ESXi 5.0 Driver for LSI MegaRAID SAS Controller
http://downloads.vmware.com/d/details/dt_esxi50_lsi_2108_v534/dHRAYnRqZWRiZHAlZA==

解開 會得到
\LSI_5_34-455140.zip\scsi-megaraid-sas-5.34-1vmw.500.0.0.406165.x86_64.vib

用Winscp 把vib丟進去 esxi tmp目錄內
scsi-megaraid-sas-5.34-1vmw.500.0.0.406165.x86_64.vib   i

SSH 登入 在ESXI下
cd /usr/bin
esxcli software vib install -v /tmp/scsi-megaraid-sas-5.34-1vmw.500.0.0.406165.x86_64.vib


下載這
http://www.lsi.com/downloads/Public/MegaRAID%20Common%20Files/VMW-ESX-5.0.0-LSIProvider-500.04.V0.24-261033-456178.zip

MegaRAID SAS VMWare SMIS Provider VIB

同上解開

\VMW-ESX-5.0.0-LSIProvider-500.04.V0.24-261033-456178.zip\vmware-esx-provider-LSIProvider.vib

WINSCP傳入ESXi內

安裝
cd /usr/bin
esxcli software vib install -v /tmp/vmware-esx-provider-LSIProvider.vib

reboot


裝好後

« 上次編輯: 2011-11-22 19:12 由 thx »

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
Re: Vsphere 5 上線經驗與一些測試...
« 回覆 #2 於: 2012-11-10 15:52 »
現在Server 便宜的要命 順便升級
原來 E5530 (8M Cache, 2.40 GHz, 5.86 GT/s Intel® QPI)

升級 X5570 (8M Cache, 2.93 GHz, 6.40 GT/s Intel® QPI)

DDR3 ECC REG 4GB 升到單條 8GB



+升Vsphere 5.1

結果


這次順便測試 dvswitch

相關 http://www.weithenn.org/cgi-bin/wiki.pl?VMware_Networking


設定:
Port Binding 模式
•Static Binding: 表示對應一個 VM 就佔用一個 Port

NIC Teaming

Teaming 共有下列三種負載平衡方式:
•Port ID: VMkernel 使用 vSwitch Port 進行 Hash 運算達成負載平衡機制 (此項目為預設值)。
•Source MAC Hash: VMkernel 使用 vNIC MAC Address 進行 Hash 運算達成負載平衡機制。
這次測試以 以上二項測試

•IP Hash: VMkernel 使用 VM IP Address 及 Client 端 IP Address 二者進行 Hash 運算達成負載平衡機制,此方式可使 VM 同時 走很多條不同的路徑 (vmnic) 去回應 Client 端的要求,但使用此負載平衡方式的前提為實體交換器要啟動 IEEE 802.3ad (Link Aggregation Control Protocol,LACP) 功能進行配合才行。


在目前沒有 LACP (802.3AD)  Switch 下做  Vsphere ---> Wind 2008 Boardcom Driver NIC Teaming 無效.

說真的..我還真的沒啥心情再搞LACP

我還是掏出這個賤價處理方式
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=36&menu_section=34
« 上次編輯: 2012-11-10 15:55 由 thx »

fireflybug

  • 憂鬱的高中生
  • ***
  • 文章數: 145
    • 檢視個人資料
THX 大大,

請問您說的這個:
======================
我還是掏出這個賤價處理方式
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=36&menu_section=34
======================

有什麼作用? 需要軟硬體配合?

另外我也有台HP ML150 G6 ,目前插三支 DDR3 reg 4G 記憶體,很怪的是每次開機有可能只抓到一支線4g)、兩支(8g)、三支(12g),若只抓到4g~8g,BIOS會秀錯誤然後倒數最後還是可以進ESXi 5.1,若抓到12G則不會有錯誤訊息,測試過抓到12G時開機執行VM,都沒有出錯異常的情況發生。

剛報修HP,客服要我先用SMART CD去跑測試看看,有空再來測。