主題: ESX 效能不彰~~探討Resource Pools到底該怎麼用?

[maxwkimo]

各位網路上的高手大家好：

不知道各位有沒有大規模的虛擬化環境，小弟虛擬了30台VM機器，用12台ESX跑
經常發現，GUEST VM的效能不是很好，實際上ESX仍有98%的資源可用
也沒有寫SWAP,不知道是不是因為沒有切Resource Pools的關係，
還是因為VM互相競爭資源導致GUEST機器慢，常常在更新時要等待至少4小時才能把windows更新完
是否可請教各位有無相關的經驗或是設定方法!

[thx]

95%機率Disk I/O 效能不彰

把你的硬體設備規格  Raid card, raid 設定
esx 版本寫出來..會比較清楚...
windows 更新是跑程式還是下載

[湯包]

我自己的 VM 環境比較單純，規模也比較小。
不過在剛開始運行 VM Environment時，也碰到 Guest OS 反應很慢的問題，連 Infrastructure Client 去管理都有點慢，
所以我自己後來在 Configuration→System Resource Allocation 裡面設定 Reservation 一些 CPU & Memory，確保 ESXi 能順暢運作。
另外Resource Allocation裡面設定每個 Guest CPU & Memory 的 Reservation & Limit 確保各伺服器有基本的資源可用。

因為我沒有其他funding & Budget 可以改善硬體，此外我對 VMWARE 也僅止於使用，瞭解也不深，所以就只有做這些設定改變，
目前看來運作還算順暢，除了 RD 偶爾將圖檔放到 Backup Server時會比較喘一點，其他狀況還好。

您的環境應該會有比較多的資源可以運用，thx大應該會有更好的建議！

[maxwkimo]

95%機率Disk I/O 效能不彰

把你的硬體設備規格  Raid card, raid 設定
esx 版本寫出來..會比較清楚...
windows 更新是跑程式還是下載

致thx
你好:
12台都是HP DL360 G3 每台CPU兩顆3.2 3G的RAM
Raid card 是5i 內建的主機硬碟做0+1 ，標準萬轉72G HDD
OS :ESX 3.5 U5
ESX網卡接 iSCSI Storge裝置，
Storge 4顆1TB萬轉SATA2 做RAID5，4Port Giga 連Giga Switch
30個VM都是從這個LUN 來存取(當然我只切1.8T來用"因為VMFS不能超過2TB")

更新問題是包含下載及安裝很慢~~~對外頻寬對稱10M
實體機器跑一樣的更新約30分鐘完成
虛擬機器卻需要近4個小時
--------------------------------------------------------
目前預計週五停機重新做7+1的RAID5 來試試會不會好一點!
Resource pools 目前設定後看起來沒太大作用，Reservation & Limit 這兩個設定我想只會讓資源彈性變更差，
其實說到底我這樣的設備跑30個VM還蠻吃緊的

網友湯包 說到一個重點，除了 RD 偶爾將圖檔放到 Backup Server時會比較喘一點，其他狀況還好。
幾乎VM只要遇上傳檔就非常的緩慢........甚至還影響其他同一HOST上的其他VM!! 這點大概是無法改善的!

其實另外還有一個iSCSI的問題也很頭痛，每次開機都會偵測很久的，iSCSI裝置......挺笨的ESX

[湯包]

Resource pools 目前設定後看起來沒太大作用，Reservation & Limit 這兩個設定我想只會讓資源彈性變更差，
其實說到底我這樣的設備跑30個VM還蠻吃緊的

http://download3.vmware.com/vmworld/2006/tac9726.pdf

[maxwkimo]

Resource pools 目前設定後看起來沒太大作用，Reservation & Limit 這兩個設定我想只會讓資源彈性變更差，
其實說到底我這樣的設備跑30個VM還蠻吃緊的

http://download3.vmware.com/vmworld/2006/tac9726.pdf

感謝湯包博士
我已拜讀過這篇PPT，說真的我有照著去把VM的資源重新設定過，但真的效果有限，所以我才認真的問這些設定到底該怎嚜用!
做了3種試驗
1.利用Reservation & Limit 固定住每台機器的資源， EX: 每台1G CPU 1G RAM  結果是....有時VM資源很緊的時候無法取其他VM的資源來用
2.將大部分機器的資源按比例分配， EX: 50% for VM1 ，50% for VM2 結果是.....比上一種好一點，但仍然有效能不好的狀況
3.全部都不設定，讓ESX自己決定，但我覺得ESX也是按比例分配，所以結果同2

所以我才會覺得應該是IO的問題，又或是我的設定法有錯!

[湯包]

我自己的做法是實驗觀察，依 VM Guest OS 性質不同來調整 Reservation ，
確保每一個 VM Guest OS 的最低需求，
至於 Limit，也是依 VM Guest OS 性質來分配，但是不會全分配掉，為了確保 ESX 本身有足夠的資源，
以免 ESX 傻傻的把資源都分配光，結果自己資源不足以運作。

我的想法是所有的 Guest OS 都建構在 ESX 上，如果 ESX 資源不足，一定會造成 Guest OS 效能低落。

不過基本上，不管怎麼做，I/O問題一定會最嚴重。
我公司環境雖然有建 iSCSI Server
但是我公司的配備很低：
Dell PowerEdge T100 1TB SATA2 * 2 (RAID 1), 4GB RAM, Xeon X3220 2.4GHz
網卡也只是一般 Gigabit Ethernet，沒有TOE or iSOE
Switch 也只是D-Link無網管 8 Port Gigabit Ethernet，不用說當然也不支援 Huge Frame
所以 Guest OS 都不敢放到 iSCSI Server 上，只有Backup Server & File Share Server 去 mount iSCSI

Dell T100 本身有支援 iSCSI Boot，我也沒試過....
也許等過一陣子，老闆想開了時，有經費再來改善效能。

另外，好奇的問一下，貴公司有多少人呀？
我公司規模小，40人不到，這台Server目前跑兩台
Server/Memory/Memory Overhead
AD1/256MB/85.42MB
AD2+DHCP/512MB/91.32MB
DFS1/512MB/95.22MB
DFS2/128MB/83.18MB
Windows DNS Server/256MB/85.07MB
Exchange 2003/1024MB/149.18MB
SQL 2000 Server/512MB/95.42MB
Windows XP Professional/256MB/83.28MB

[maxwkimo]

hi 各位高手大家好

忘了說我的iscsi storge並不支援Huge Frame(其實不是完全不支援，原因是因為機器的規格限制，只有使用單一連線可支援MTU9000)
我有太多ESX要連，所以MTU都只能設定1500
12台ESX切成3個網段，串上switch，然後storge再分別以3個iscsi port 串switch
如
A 群組4台ESX 192.168.1.x 連接switch 存取storge 192.168.1.1
B 群組4台ESX 192.168.2.x 連接switch 存取storge 192.168.2.1
C 群組4台ESX 192.168.3.x 連接switch 存取storge 192.168.3.1

透過兩張網卡把儲域網路VmKernel 和VM網路完全切割開，VM走100M /storge走1000M
早先設定好環境後有測試過IO 綜合讀寫平均約70-100kbps

我們公司約150人，使用該環境約20人

你的機器有的有點扯...只給128M，不會慢嗎?
尤其是SQL server，只給512M?? 資料庫有多少吃多少，只給512M也不會慢嗎??

我的環境中可能會有20個使用者進行下列行為
遠端桌面
瀏覽網頁
部署版本
上傳檔案
各機器又會互相呼叫 Web service 或是API
同時還有search 會建INDEX
嚴格來說使用的非常頻繁和複雜行為的存取(因為是開發環境咩!)
本週五我也尚未將環境重新設定，因為有版本要趕著出，看來得到下週五才有機會重新分配了!

[湯包]

還好耶，因為我公司規模跟使用量真的很小，
1.公司40人不到，平常早上三三兩兩進公司開機 Login Domain，不會一次一堆人。
2.至於ERP 的系統，全公司使用的人數不到20人，所以資料庫也不會太忙，我的 Database Side 才 5GB 多一點點。

當然你說慢要看跟什麼比較囉 ^_^
如果使用者習慣很快的環境，當然會覺得慢，
因為我公司之前中毒/木馬的狀況很嚴重，
每台電腦都超慢的，所以當我把系統全部重整之後，速度反而比以前快一點 ^_^||

[tnth]

95%機率Disk I/O 效能不彰

把你的硬體設備規格  Raid card, raid 設定
esx 版本寫出來..會比較清楚...
windows 更新是跑程式還是下載

致thx
你好:
12台都是HP DL360 G3 每台CPU兩顆3.2 3G的RAM
Raid card 是5i 內建的主機硬碟做0+1 ，標準萬轉72G HDD
OS :ESX 3.5 U5
ESX網卡接 iSCSI Storge裝置，
Storge 4顆1TB萬轉SATA2 做RAID5，4Port Giga 連Giga Switch
30個VM都是從這個LUN 來存取(當然我只切1.8T來用"因為VMFS不能超過2TB")

更新問題是包含下載及安裝很慢~~~對外頻寬對稱10M
實體機器跑一樣的更新約30分鐘完成
虛擬機器卻需要近4個小時
--------------------------------------------------------
目前預計週五停機重新做7+1的RAID5 來試試會不會好一點!
Resource pools 目前設定後看起來沒太大作用，Reservation & Limit 這兩個設定我想只會讓資源彈性變更差，
其實說到底我這樣的設備跑30個VM還蠻吃緊的

網友湯包 說到一個重點，除了 RD 偶爾將圖檔放到 Backup Server時會比較喘一點，其他狀況還好。
幾乎VM只要遇上傳檔就非常的緩慢........甚至還影響其他同一HOST上的其他VM!! 這點大概是無法改善的!

其實另外還有一個iSCSI的問題也很頭痛，每次開機都會偵測很久的，iSCSI裝置......挺笨的ESX

我想一個瓶頸是在iSCSI上面，4條滿載也只有500mb/s的速度(而且不太可能達到，有400就不錯了)，更何況30個VM都在上面的話，同時使用時的資料零碎程度只會讓IO速度降低，另一個瓶頸是你只有四個硬碟做RAID5，只要是不連續區段的I/O就足以拖垮硬碟速度了，建議是先改善硬碟的部分應該可以增加一點效能

[虚拟人：猫猫]

资源调配还会受到IOPS的影响，同时一些高级参数也会影响到效能

[thx]

 

我個人習慣把DDR 1 Server 都當做可接近填海機器說.. 請參考下面價就知..




基本上 1 要素為disk i/o (iscsi i/o)明顯不好

jumbo frame跟multipath i/o為必要 你的設法沒辦法跑出超過1000 M/sec
請參考 http://phorum.study-area.org/index.php/topic,60405.0.html

2.這類老Server 機跑esx 是很吃力的..還不如現在家用機4 core 跑的好..

基本上建議砍掉從練比較快...買1~2台就夠..

[yufeng]

4顆1TB萬轉SATA2 做RAID5, 上面要跑 30 個 Guest OS

要是這樣跑的快我才真正的佩服您!!

在這個上面多花點吧~

[湯包]

要填海不如送我吧...