作者 主題: ESX 效能不彰~~探討Resource Pools到底該怎麼用?  (閱讀 8927 次)

0 會員 與 1 訪客 正在閱讀本文。

maxwkimo

  • 懷疑的國中生
  • **
  • 文章數: 39
  • 性別: 男
    • 檢視個人資料
各位網路上的高手大家好:

不知道各位有沒有大規模的虛擬化環境,小弟虛擬了30台VM機器,用12台ESX跑
經常發現,GUEST VM的效能不是很好,實際上ESX仍有98%的資源可用
也沒有寫SWAP,不知道是不是因為沒有切Resource Pools的關係,
還是因為VM互相競爭資源導致GUEST機器慢,常常在更新時要等待至少4小時才能把windows更新完
是否可請教各位有無相關的經驗或是設定方法!

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
95%機率Disk I/O 效能不彰

把你的硬體設備規格  Raid card, raid 設定
esx 版本寫出來..會比較清楚...
windows 更新是跑程式還是下載

湯包

  • 榮譽博士
  • 鑽研的研究生
  • *****
  • 文章數: 923
  • 性別: 男
    • 檢視個人資料
    • 湯包的部落格
我自己的 VM 環境比較單純,規模也比較小。
不過在剛開始運行 VM Environment時,也碰到 Guest OS 反應很慢的問題,連 Infrastructure Client 去管理都有點慢,
所以我自己後來在 Configuration→System Resource Allocation 裡面設定 Reservation 一些 CPU & Memory,確保 ESXi 能順暢運作。
另外Resource Allocation裡面設定每個 Guest CPU & Memory 的 Reservation & Limit 確保各伺服器有基本的資源可用。

因為我沒有其他funding & Budget 可以改善硬體,此外我對 VMWARE 也僅止於使用,瞭解也不深,所以就只有做這些設定改變,
目前看來運作還算順暢,除了 RD 偶爾將圖檔放到 Backup Server時會比較喘一點,其他狀況還好。

您的環境應該會有比較多的資源可以運用,thx大應該會有更好的建議!
人必先置於死地而後生
科技來自人性
想像是科技之母

maxwkimo

  • 懷疑的國中生
  • **
  • 文章數: 39
  • 性別: 男
    • 檢視個人資料
95%機率Disk I/O 效能不彰

把你的硬體設備規格  Raid card, raid 設定
esx 版本寫出來..會比較清楚...
windows 更新是跑程式還是下載


致thx
你好:
12台都是HP DL360 G3 每台CPU兩顆3.2 3G的RAM
Raid card 是5i 內建的主機硬碟做0+1 ,標準萬轉72G HDD
OS :ESX 3.5 U5
ESX網卡接 iSCSI Storge裝置,
Storge 4顆1TB萬轉SATA2 做RAID5,4Port Giga 連Giga Switch
30個VM都是從這個LUN 來存取(當然我只切1.8T來用"因為VMFS不能超過2TB")

更新問題是包含下載及安裝很慢~~~對外頻寬對稱10M
實體機器跑一樣的更新約30分鐘完成
虛擬機器卻需要近4個小時
--------------------------------------------------------
目前預計週五停機重新做7+1的RAID5 來試試會不會好一點!
Resource pools 目前設定後看起來沒太大作用,Reservation & Limit 這兩個設定我想只會讓資源彈性變更差,
其實說到底我這樣的設備跑30個VM還蠻吃緊的

網友湯包 說到一個重點,除了 RD 偶爾將圖檔放到 Backup Server時會比較喘一點,其他狀況還好。
幾乎VM只要遇上傳檔就非常的緩慢........甚至還影響其他同一HOST上的其他VM!! 這點大概是無法改善的!

其實另外還有一個iSCSI的問題也很頭痛,每次開機都會偵測很久的,iSCSI裝置......挺笨的ESX

湯包

  • 榮譽博士
  • 鑽研的研究生
  • *****
  • 文章數: 923
  • 性別: 男
    • 檢視個人資料
    • 湯包的部落格
Resource pools 目前設定後看起來沒太大作用,Reservation & Limit 這兩個設定我想只會讓資源彈性變更差,
其實說到底我這樣的設備跑30個VM還蠻吃緊的

http://download3.vmware.com/vmworld/2006/tac9726.pdf
人必先置於死地而後生
科技來自人性
想像是科技之母

maxwkimo

  • 懷疑的國中生
  • **
  • 文章數: 39
  • 性別: 男
    • 檢視個人資料
Resource pools 目前設定後看起來沒太大作用,Reservation & Limit 這兩個設定我想只會讓資源彈性變更差,
其實說到底我這樣的設備跑30個VM還蠻吃緊的

http://download3.vmware.com/vmworld/2006/tac9726.pdf

感謝湯包博士
我已拜讀過這篇PPT,說真的我有照著去把VM的資源重新設定過,但真的效果有限,所以我才認真的問這些設定到底該怎嚜用!
做了3種試驗
1.利用Reservation & Limit 固定住每台機器的資源, EX: 每台1G CPU 1G RAM  結果是....有時VM資源很緊的時候無法取其他VM的資源來用
2.將大部分機器的資源按比例分配, EX: 50% for VM1 ,50% for VM2 結果是.....比上一種好一點,但仍然有效能不好的狀況
3.全部都不設定,讓ESX自己決定,但我覺得ESX也是按比例分配,所以結果同2

所以我才會覺得應該是IO的問題,又或是我的設定法有錯!

湯包

  • 榮譽博士
  • 鑽研的研究生
  • *****
  • 文章數: 923
  • 性別: 男
    • 檢視個人資料
    • 湯包的部落格
我自己的做法是實驗觀察,依 VM Guest OS 性質不同來調整 Reservation ,
確保每一個 VM Guest OS 的最低需求,
至於 Limit,也是依 VM Guest OS 性質來分配,但是不會全分配掉,為了確保 ESX 本身有足夠的資源,
以免 ESX 傻傻的把資源都分配光,結果自己資源不足以運作。

我的想法是所有的 Guest OS 都建構在 ESX 上,如果 ESX 資源不足,一定會造成 Guest OS 效能低落。

不過基本上,不管怎麼做,I/O問題一定會最嚴重。
我公司環境雖然有建 iSCSI Server
但是我公司的配備很低:
Dell PowerEdge T100 1TB SATA2 * 2 (RAID 1), 4GB RAM, Xeon X3220 2.4GHz
網卡也只是一般 Gigabit Ethernet,沒有TOE or iSOE
Switch 也只是D-Link無網管 8 Port Gigabit Ethernet,不用說當然也不支援 Huge Frame
所以 Guest OS 都不敢放到 iSCSI Server 上,只有Backup Server & File Share Server 去 mount iSCSI

Dell T100 本身有支援 iSCSI Boot,我也沒試過....
也許等過一陣子,老闆想開了時,有經費再來改善效能。

另外,好奇的問一下,貴公司有多少人呀?
我公司規模小,40人不到,這台Server目前跑兩台
Server/Memory/Memory Overhead
AD1/256MB/85.42MB
AD2+DHCP/512MB/91.32MB
DFS1/512MB/95.22MB
DFS2/128MB/83.18MB
Windows DNS Server/256MB/85.07MB
Exchange 2003/1024MB/149.18MB
SQL 2000 Server/512MB/95.42MB
Windows XP Professional/256MB/83.28MB
« 上次編輯: 2010-04-30 18:17 由 湯包 »
人必先置於死地而後生
科技來自人性
想像是科技之母

maxwkimo

  • 懷疑的國中生
  • **
  • 文章數: 39
  • 性別: 男
    • 檢視個人資料
hi 各位高手大家好

忘了說我的iscsi storge並不支援Huge Frame(其實不是完全不支援,原因是因為機器的規格限制,只有使用單一連線可支援MTU9000)
我有太多ESX要連,所以MTU都只能設定1500
12台ESX切成3個網段,串上switch,然後storge再分別以3個iscsi port 串switch

A 群組4台ESX 192.168.1.x 連接switch 存取storge 192.168.1.1
B 群組4台ESX 192.168.2.x 連接switch 存取storge 192.168.2.1
C 群組4台ESX 192.168.3.x 連接switch 存取storge 192.168.3.1

透過兩張網卡把儲域網路VmKernel 和VM網路完全切割開,VM走100M /storge走1000M
早先設定好環境後有測試過IO 綜合讀寫平均約70-100kbps

我們公司約150人,使用該環境約20人

你的機器有的有點扯...只給128M,不會慢嗎?
尤其是SQL server,只給512M?? 資料庫有多少吃多少,只給512M也不會慢嗎??

我的環境中可能會有20個使用者進行下列行為
遠端桌面
瀏覽網頁
部署版本
上傳檔案
各機器又會互相呼叫 Web service 或是API
同時還有search 會建INDEX
嚴格來說使用的非常頻繁和複雜行為的存取(因為是開發環境咩!)
本週五我也尚未將環境重新設定,因為有版本要趕著出,看來得到下週五才有機會重新分配了!

湯包

  • 榮譽博士
  • 鑽研的研究生
  • *****
  • 文章數: 923
  • 性別: 男
    • 檢視個人資料
    • 湯包的部落格
還好耶,因為我公司規模跟使用量真的很小,
1.公司40人不到,平常早上三三兩兩進公司開機 Login Domain,不會一次一堆人。
2.至於ERP 的系統,全公司使用的人數不到20人,所以資料庫也不會太忙,我的 Database Side 才 5GB 多一點點。

當然你說慢要看跟什麼比較囉 ^_^
如果使用者習慣很快的環境,當然會覺得慢,
因為我公司之前中毒/木馬的狀況很嚴重,
每台電腦都超慢的,所以當我把系統全部重整之後,速度反而比以前快一點 ^_^||
人必先置於死地而後生
科技來自人性
想像是科技之母

tnth

  • 懷疑的國中生
  • **
  • 文章數: 62
    • 檢視個人資料
95%機率Disk I/O 效能不彰

把你的硬體設備規格  Raid card, raid 設定
esx 版本寫出來..會比較清楚...
windows 更新是跑程式還是下載


致thx
你好:
12台都是HP DL360 G3 每台CPU兩顆3.2 3G的RAM
Raid card 是5i 內建的主機硬碟做0+1 ,標準萬轉72G HDD
OS :ESX 3.5 U5
ESX網卡接 iSCSI Storge裝置,
Storge 4顆1TB萬轉SATA2 做RAID5,4Port Giga 連Giga Switch
30個VM都是從這個LUN 來存取(當然我只切1.8T來用"因為VMFS不能超過2TB")

更新問題是包含下載及安裝很慢~~~對外頻寬對稱10M
實體機器跑一樣的更新約30分鐘完成
虛擬機器卻需要近4個小時
--------------------------------------------------------
目前預計週五停機重新做7+1的RAID5 來試試會不會好一點!
Resource pools 目前設定後看起來沒太大作用,Reservation & Limit 這兩個設定我想只會讓資源彈性變更差,
其實說到底我這樣的設備跑30個VM還蠻吃緊的

網友湯包 說到一個重點,除了 RD 偶爾將圖檔放到 Backup Server時會比較喘一點,其他狀況還好。
幾乎VM只要遇上傳檔就非常的緩慢........甚至還影響其他同一HOST上的其他VM!! 這點大概是無法改善的!

其實另外還有一個iSCSI的問題也很頭痛,每次開機都會偵測很久的,iSCSI裝置......挺笨的ESX


我想一個瓶頸是在iSCSI上面,4條滿載也只有500mb/s的速度(而且不太可能達到,有400就不錯了),更何況30個VM都在上面的話,同時使用時的資料零碎程度只會讓IO速度降低,另一個瓶頸是你只有四個硬碟做RAID5,只要是不連續區段的I/O就足以拖垮硬碟速度了,建議是先改善硬碟的部分應該可以增加一點效能

虚拟人:猫猫

  • 憂鬱的高中生
  • ***
  • 文章數: 126
  • 性別: 男
    • 檢視個人資料
    • 虚拟人
资源调配还会受到IOPS的影响,同时一些高级参数也会影响到效能
Most Professional VMware Train Center
http://bbs.vmanager.cn

thx

  • 鑽研的研究生
  • *****
  • 文章數: 510
    • 檢視個人資料
    • http://www.osslab.com.tw
 :P

我個人習慣把DDR 1 Server 都當做可接近填海機器說.. 請參考下面價就知..




基本上 1 要素為disk i/o (iscsi i/o)明顯不好

jumbo frame跟multipath i/o為必要 你的設法沒辦法跑出超過1000 M/sec
請參考 http://phorum.study-area.org/index.php/topic,60405.0.html

2.這類老Server 機跑esx 是很吃力的..還不如現在家用機4 core 跑的好..

基本上建議砍掉從練比較快...買1~2台就夠..

yufeng

  • 懷疑的國中生
  • **
  • 文章數: 86
    • 檢視個人資料
4顆1TB萬轉SATA2 做RAID5, 上面要跑 30 個 Guest OS

要是這樣跑的快我才真正的佩服您!!

在這個上面多花點吧~

湯包

  • 榮譽博士
  • 鑽研的研究生
  • *****
  • 文章數: 923
  • 性別: 男
    • 檢視個人資料
    • 湯包的部落格
要填海不如送我吧... ;D
人必先置於死地而後生
科技來自人性
想像是科技之母