主題: CPU負載不平衡

[廉價勞工]

發生好幾次 , 跑個程式讓外面電腦進來做資料交換 , 跑的時候整個速度變很慢
用top看一下發現loading都在 cpu 0 上 (環境是4核心*2 , cpu有0~7)
然後查了一下原因 cat /proc/interrupts 後如下

代碼: [選擇]

           CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7       
  0:   11545582   36998535   37138639   37138472   37138613   37137324   37128604   37128505    IO-APIC-edge  timer
  8:         16        267        273        182        125        301        205        363    IO-APIC-edge  rtc
  9:          0          0          0          0          0          0          0          0   IO-APIC-level  acpi
 14:         19       3414    1089547       1101     659416       3520         24     660679    IO-APIC-edge  ide0
 74:          0          0          0          0          0          0          0          0   IO-APIC-level  uhci_hcd:usb1, uhci_hcd:usb3, ehci_hcd:usb4
 82:          0          0          0          0          0          0          0          0   IO-APIC-level  uhci_hcd:usb2
106:    4518023          0          0          0          0          0          0          0         PCI-MSI  eth0
114:  184896191          0          0          0          0          0          0          0         PCI-MSI  eth1
169:       2883      83712     583107     960988     598394    1377973       8029     137693   IO-APIC-level  aacraid
NMI:          0          0          0          0          0          0          0          0
LOC:  271323598  271323598  271349232  271349231  271349469  271349468  271353042  271353040
ERR:          0
MIS:          0

發現是因為eth0跟eth1都是cpu0在處理,而不像其他是共同負載
請問此種問題有何種解決方式?   

kernel為2.6.18-8.el5
irqbalance 有啟動

[日京三子]

主機板 與 處理器 分別是?

[廉價勞工]

主機板為  IBM 8853C2U
處理器為  Intel(R) Xeon(R) CPU  X5355  @ 2.66GHz

此機器為 BladeCenter HS21

[日京三子]

這程式會不會是單線程的程式？  程式在編譯時有針對多核心做設定與處理嘛？

[廉價勞工]

沒有,不只跑程式的時候
只要是跟網路傳輸有關的動作(例如傳送檔案)
都是只有cpu0在做處理動作
所以在eth0跟eth1的欄位,cpu1~7都是掛0

[twu2]

ethx 那樣子算正常的吧, 我碰過的機器都是這個樣子.
不過並非都是同一個 cpu 處理, 不同的介面有可能是不同的 cpu 處理, 不過就 /proc/interrupts 的內容來看, 同一個介面是永遠使用同一個 cpu 在處理.

如果要更改這個, 請看一下 kernel 的 Documentation/IRQ-affinity.txt 的內容, 有說明要怎麼改.

網路慢? 查一下網路或 IO 相關的問題可能性比較大一些.

[廉價勞工]

之前已改過smp_affinity作測試
只是不管改成f0或者0f , 還是都只有CPU0在動作

平時還好,連線數一多,cpu0 loading甚至跑上100%
網路流量是正常,就是機器處理不過來,嚴重一點甚至crash必須重開

用其他幾台也做了測試,好像只有HS21的會有這種情形
用另一台HS20的看就還蠻正常

193:  167393904         103814896   IO-APIC-level  eth0
201:  132481412         100143242   IO-APIC-level  eth1

是否跟 PCI-MSI 與 IO-APIC-level 不同有關呢?

[twu2]

MSI 的機制與傳統的方式不同, 如果你認為是 MSI 的問題, 可以在開機的參數中加上 pci=nomsi 試看看, 不要使用 MSI 看看你的問題是否仍會存在吧.

[cmwang]

不知道IRQ affinity和Enable kernel irq balancing間有啥關連或差別啊 ....

[廉價勞工]

感謝各位的回覆 , 目前已測試成功 , 跟大家分享完整修改過程

的確是因為MSI的影響關係
加上pci=nomsi開機後
eth0跟eth1由PCI-MSI改變為IO-APIC-level
此時smp_affinity參數還是只有指向其中一顆CPU
#cat smp_affinity  結果為 00000002  <=由CPU1工作
這時改smp_affinity參數已可有作用 (PCI-MSI時怎麼改都沒反應)
#echo ff > smp_affinity       
此處CPU分配為HEX , 1=cpu0 , 2=cpu1 , 4=cpu2 , 8=cpu3 後四顆則再進一位
例如我要cpu0跟cpu2兩顆作業,就是#echo 5 > smp_affinity
因我要8顆同時作業故改為 ff
以下為改完後測試結果

代碼: [選擇]

           CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7       
  0:     102261      91525     111568     107161     101577     101559     101558     101568    IO-APIC-edge  timer
  8:          0          0          0          0          0          0          0          1    IO-APIC-edge  rtc
  9:          1          0          0          0          0          0          0          0   IO-APIC-level  acpi
 14:          0          0          0          0          0          0          0          0    IO-APIC-edge  libata
 15:          0          0          0          0          0          0          0          0    IO-APIC-edge  libata
169:       2308        382        535        344        499        368        370        423   IO-APIC-level  ioc0
177:          7          5          6          8          3         10          3          0   IO-APIC-level  uhci_hcd:usb1
185:          0          0          0          0          0          0          0          0   IO-APIC-level  uhci_hcd:usb2
193:        473          7          3          6          4          6          3          6   IO-APIC-level  uhci_hcd:usb3, eth1
201:        560        145      13251        137       6652        175        178       7125   IO-APIC-level  ehci_hcd:usb4
209:     209132     215021     203399     205638     223642     227333     232260     232366   IO-APIC-level  eth0
NMI:          0          0          0          0          0          0          0          0
LOC:     810637     810656     808624     808629     810475     810474     808474     808473
ERR:          0
MIS:          0

[liteC]

換顆主機板 試試

直覺是主機板的問題