作者 主題: 測試802.3ad 頻寬聚合失敗 :(  (閱讀 16923 次)

0 會員 與 1 訪客 正在閱讀本文。

anson lin

  • 憂鬱的高中生
  • ***
  • 文章數: 121
    • 檢視個人資料
測試802.3ad 頻寬聚合失敗 :(
« 於: 2009-08-19 14:58 »
測試目的:
ServerA,ServerB利用802.3ad技術分別將網卡做Bonding, 達到兩台互相連結為2G頻寬

測試環境:
ServerA: HP DL380G4 / HP NC7782*2 / HP Network Driver + HP Network Configuration Utility
ServerB: HP DL380G4 / HP NC7782*2 / HP Network Driver + HP Network Configuration Utility
Switch: Cisco C3560
ServerA兩張網卡接到Switch, ServerB兩張網卡接到Switch

設定方式:
(1) Switch 建立兩個ether channel, 再將Port1/2指定給channel group1, Port3/4指定給channel group2, 並啟用LACP
(2) ServerA,ServerB 安裝目前最新版的網路卡驅動程式,並安裝最新版的HP Network Configuration Utility
設定模式選(Automatic)自動偵測設定
在Information欄位中顯示Current Mode: 802.3ad Dynamic with Fault Tolerance

測試方式/結果:
利用iperf在ServerA,ServerB啟動測試頻寬流量, 並開啟HP Network Configuration Utility以GUI介面監控網卡流量
發現不管怎麼測試流量都不會突破1G, 也就是說一張網卡已經跑到98%(980mb)另一張流量還是掛0

疑問:
有人做完802.3ad後實際測試過速度嗎? 因為照理說應該可以跑到接近2G才對,但是怎麼測試都是只到1G
實在是和802.3ad頻寬聚合有所差距 :(

anderson1127

  • 訪客
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #1 於: 2009-08-19 18:06 »
Win2003沒測過,可能要透過driver來開啟802.3ad才可能成功吧....

win2003似乎沒有support 802.3ad ,所以透過OS來運作似乎可能性不高....

如果失敗,請往兩個方向試

1. NIC driver有無support 802.3ad ,記得是Intel高階網卡都有支援,所以請購買Intel網卡,推薦Intel光纖網路卡
便宜又穩定(中古品)

2. cisco 支援的802.3ad是叫做Port Channel , 記得要設定LACP功能,別選到PAgP ...

兩邊才能夠talk, Port Channel才起得來!!

dark

  • 俺是博士!
  • *****
  • 文章數: 1392
    • 檢視個人資料
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #2 於: 2009-08-19 18:08 »
Cisco 的 ether channel 是備援不是合併

不然妳換跳線對接試看看

dark

  • 俺是博士!
  • *****
  • 文章數: 1392
    • 檢視個人資料
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #3 於: 2009-08-19 18:12 »
2. cisco 支援的802.3ad是叫做Port Channel , 記得要設定LACP功能,別選到PAgP ...

兩邊才能夠talk, Port Channel才起得來!!
其實小弟對 cisco 也不熟啦
安大說的這個 port channel 小弟沒聽過 ...
跟 ether channel 是不一樣的東西吧 ??
還是小弟認知有錯 ??

anson lin

  • 憂鬱的高中生
  • ***
  • 文章數: 121
    • 檢視個人資料
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #4 於: 2009-08-19 18:30 »
謝謝anderson和dark兄的幫忙,
1) CISCO的設定是OK的, 我確定是使用PORT CHANNEL, ether channel 是我寫錯了
2) Windows方面硬體是沒問題有Support, 軟體看似也是OK, 因為HP Network Configuration Utility 顯示
引用
設定模式選(Automatic)自動偵測Switch設定
在Information欄位中顯示Current Mode: 802.3ad Dynamic with Fault Tolerance
5) 我當初是為了測試Openfiler頻寬合併才做的,但是也是不行所以才換成Windows平台,因為有GUI畫面測試比較easy
4) Cross over我試過了也是不行

最後, 會不會是會錯意了802.3ad 頻寬聚合不是我想要的1G+1G=2G
« 上次編輯: 2009-08-19 18:34 由 anson lin »

anderson1127

  • 訪客
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #5 於: 2009-08-19 18:30 »
其實小弟對 cisco 也不熟啦
安大說的這個 port channel 小弟沒聽過 ...
跟 ether channel 是不一樣的東西吧 ??
還是小弟認知有錯 ??

應該是EtherChannel 才對,抱歉,我記錯了....
(被那些CLI command給弄混了...)

不過,測過之後看起來,HP提供的tool 似乎運作上有點問題...
先從hardware driver裡的選項看看是否有options可選
如果沒有, 那還是試看看Intel的網卡吧....

anderson1127

  • 訪客
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #6 於: 2009-08-19 18:34 »
引用
設定模式選(Automatic)自動偵測Switch設定
在Information欄位中顯示Current Mode: 802.3ad Dynamic with Fault Tolerance

除了這個option 外,還有沒有別的選項 ??

照這個字面上來瞭解,可能可以解釋為何只有一個interface work , 因為Fault Tolerance 嘛...
要容錯,可能就是一個interface active ,一個standby

所以試看看有無其它的option 可選... 可以的話,順便post上來其內容...

anson lin

  • 憂鬱的高中生
  • ***
  • 文章數: 121
    • 檢視個人資料
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #7 於: 2009-08-19 18:38 »
其實小弟對 cisco 也不熟啦
安大說的這個 port channel 小弟沒聽過 ...
跟 ether channel 是不一樣的東西吧 ??
還是小弟認知有錯 ??

應該是EtherChannel 才對,抱歉,我記錯了....
(被那些CLI command給弄混了...)

不過,測過之後看起來,HP提供的tool 似乎運作上有點問題...
先從hardware driver裡的選項看看是否有options可選
如果沒有, 那還是試看看Intel的網卡吧....


呵呵.....sh run出來的也是 Port Channel啦, 所以你沒錯 :)
反正就是一堆阿里不搭的名詞,讓人都混淆了.........

我測試過Linux也是一樣,
所以才想問問有沒有人實做過,並且給他實際操一下

anson lin

  • 憂鬱的高中生
  • ***
  • 文章數: 121
    • 檢視個人資料
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #8 於: 2009-08-19 18:46 »
我是有找到這篇文章, 所以我才轉向測試Widnows平台
並且利用iperf來測試是否真的跑到1G+1G=2G
http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/vssdc_integrate.pdf

PS 請從第43頁開始, OS版本/網卡型號都和我的一樣/設定軟體也一樣HP Network Configuration Utility
     重點是Show出來的畫面都一模一樣 :-[

HP Network Configuration Utility選項:
代碼: [選擇]
Automatic
802.3ad Dynamic with Fault Tolerance
Switch-assisted Load Balancing with Fault Tolerance (SLB)
Transmit Load Balancing with Fault Tolerance (TLB)
Transmit Load Balancing with Fault Tolerance and Preference Order
Network Fault Tolerance Only (NFT)
Network Fault Tolerance Only with Preference Order
** 802.3ad是Active/Active
« 上次編輯: 2009-08-19 19:13 由 anson lin »

ZMAN

  • 酷!學園 學長們
  • 俺是博士!
  • *****
  • 文章數: 6245
  • 性別: 男
    • 檢視個人資料
    • 魔力門部落格
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #9 於: 2009-08-19 19:53 »
1.ETHERCHANNEL是CISCO獨規
IEEE802.3ad是標準
這是兩回事 不要搞混

2. 除非你的網卡支援CISCO獨規
不然應該兩端都設802.3ad
當然網卡和交換器也都要支援802.3ad

3.兩本手冊拿起來翻
就該知道怎麼設

4. 你設定成Fault Tolerance
本來就是一張ACTIVE
一張STANDBY
有何問題呢


佈線深似海!
網路高如天!

anderson1127

  • 訪客
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #10 於: 2009-08-19 23:31 »
我只知道...

Cisco 有LCAP 與PAgP 兩種EtherChannel , LCAP就是802.3ad , PAgP是Cisco獨家規格
Google一下 Cisco 802.3ad LCAP 會有很多說明...

To anson lin :
你試著將Automatic mode,這應該是在HP tools裡改,我不是很清楚,不過還是請你改成其它的option ,
我印像中記得Cisco switch有三個option可以設定, auto應該是其中之一,試著改為active or master
(抱歉,我考完Cisco BCMSN就忘得差不多了,keyword已經記不大住了)
desirable option也試看看好了,因為它是屬於被動模式(試不出來的話可以考慮看看)

anson lin

  • 憂鬱的高中生
  • ***
  • 文章數: 121
    • 檢視個人資料
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #11 於: 2009-08-20 09:21 »
1.ETHERCHANNEL是CISCO獨規
IEEE802.3ad是標準
這是兩回事 不要搞混

2. 除非你的網卡支援CISCO獨規
不然應該兩端都設802.3ad
當然網卡和交換器也都要支援802.3ad

3.兩本手冊拿起來翻
就該知道怎麼設
4. 你設定成Fault Tolerance
本來就是一張ACTIVE
一張STANDBY
有何問題呢



謝謝ZMAN兄的幫忙 ,
1. CISCO 的Channel Group mode設成Active就是啟用LACP
IEEE802.3ad = Link Aggregation Control Protocol = LACP

2. CISCO Switch設定成LACP(802.3ad), 在Server端先設成自動偵測所抓到的值為802.3ad Dynamic with Fault Tolerance
我非常確定我的Switch and NIC都有支援802.3ad
3. 是有翻過了,看起來設定也都沒錯,  所以在想會不會是我的觀念錯誤最後不會是2G ???

4. Server端有關802.3ad出現的選項只有802.3ad Dynamic with Fault Tolerance所以應該不會錯
記得沒錯的話802.3ad是不能選Active/Backup, 一定為Active/Acitve
« 上次編輯: 2009-08-20 09:23 由 anson lin »

anson lin

  • 憂鬱的高中生
  • ***
  • 文章數: 121
    • 檢視個人資料
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #12 於: 2009-08-20 09:31 »
我只知道...

Cisco 有LCAP 與PAgP 兩種EtherChannel , LCAP就是802.3ad , PAgP是Cisco獨家規格
Google一下 Cisco 802.3ad LCAP 會有很多說明...

To anson lin :
你試著將Automatic mode,這應該是在HP tools裡改,我不是很清楚,不過還是請你改成其它的option ,
我印像中記得Cisco switch有三個option可以設定, auto應該是其中之一,試著改為active or master
(抱歉,我考完Cisco BCMSN就忘得差不多了,keyword已經記不大住了)
desirable option也試看看好了,因為它是屬於被動模式(試不出來的話可以考慮看看)


謝謝Anderson,
1.設成ON或是PAgP可以啟用SLA (Static Link Aggreration)這就不是我要的802.3ad
CIsco中Support 802.3ad要設成Active

2.雖然我有試過TLB但是我要的是坪寬合併所以最後還是得設成802.3ad Dynamic with Fault Tolerance
因為802.3ad本身是有備援和平衡負載機制所以才會出現 with Fault Tolerance

3. Google已經找了一個禮拜瞜, 一般都是教人加設定設定完也都沒有驗證是否真的有坪寬加倍
有找到2-3個和我一樣的案例,就是測試完之後發現只能跑到一張網卡的頻寬, 但是也沒有解決方法 :-\
« 上次編輯: 2009-08-20 09:35 由 anson lin »

ZMAN

  • 酷!學園 學長們
  • 俺是博士!
  • *****
  • 文章數: 6245
  • 性別: 男
    • 檢視個人資料
    • 魔力門部落格
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #13 於: 2009-08-21 02:01 »
4. 你設定成Fault Tolerance
本來就是一張ACTIVE
一張STANDBY
有何問題呢

ZMAN你累了
我知道你回太快
誤想到AFT ALB ALA去了

802.3ad就是802.3ad
不該是FT
佈線深似海!
網路高如天!

lawrence.pan

  • 可愛的小學生
  • *
  • 文章數: 5
    • 檢視個人資料
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #14 於: 2009-08-22 16:18 »
我也是跟樓主相同的狀況, 想做頻寬合聚,但只會跑在一張介面卡上:

我是用 Bandwidth Monitor 的軟體去監視網卡的流量。

lab os: centos 5.3

interface Port-channel1
 switchport mode access

interface FastEthernet0/3
 switchport mode access
 load-interval 30
 channel-group 1 mode active
 spanning-tree portfast
 spanning-tree bpdufilter enable

interface FastEthernet0/5
 switchport mode access
 load-interval 30
 channel-group 1 mode active
 spanning-tree portfast
 spanning-tree bpdufilter enable


lo249#sh lacp neighbor
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode   

Channel group 1 neighbors

Partner's information:

                  LACP port                        Admin  Oper   Port    Port
Port      Flags   Priority  Dev ID          Age    key    Key    Number  State
Fa0/3     FA      255       00e0.815d.7eeb   8s    0x0    0x9    0x1     0x3F
Fa0/5     FA      255       00e0.815d.7eeb   8s    0x0    0x9    0x2     0x3F

lo249#sh lacp internal
Flags:  S - Device is requesting Slow LACPDUs
        F - Device is requesting Fast LACPDUs
        A - Device is in Active mode       P - Device is in Passive mode   

Channel group 1
                            LACP port     Admin     Oper    Port        Port
Port      Flags   State     Priority      Key       Key     Number      State
Fa0/3     SA      bndl      32768         0x1       0x1     0x3         0x3D
Fa0/5     SA      bndl      32768         0x1       0x1     0x5         0x3D


lo249#sh lacp counters
             LACPDUs         Marker      Marker Response    LACPDUs
Port       Sent   Recv     Sent   Recv     Sent   Recv      Pkts Err
---------------------------------------------------------------------
Channel group: 1
Fa0/3       24799  934      0      0        0      0         0   
Fa0/5       24790  1046     0      0        0      0         0   




## Linux set ##

# cat /etc/modprobe.conf
alias bond0 bonding
options bond0 mode=4 miimon=50 lacp_rate=1 xmit_hash_policy=layer3+4

# cat /etc/sysconfig/network-scripts/ifcfg-{eth0,eth1,bond0}

DEVICE=eth0
USERCTL=no
ONBOOT=yes
MASTER=bond0
SLAVE=yes
BOOTPROTO=none
HWADDR=00:E0:81:5D:7E:EB

DEVICE=eth1
USERCTL=no
ONBOOT=yes
MASTER=bond0
SLAVE=yes
BOOTPROTO=none
HWADDR=00:E0:81:5D:7E:EC

DEVICE=bond0
IPADDR=192.168.1.70
NETMASK=255.255.255.0
ONBOOT=yes
BOOTPROTO=none
USERCTL=no

# cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.2.4 (January 28, 2008)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer3+4 (1)
MII Status: up
MII Polling Interval (ms): 50
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: fast
Active Aggregator Info:
        Aggregator ID: 3
        Number of ports: 2
        Actor Key: 9
        Partner Key: 1
        Partner Mac Address: 00:0a:b8:24:ef:00

Slave Interface: eth0
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:e0:81:5d:7e:eb
Aggregator ID: 3

Slave Interface: eth1
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:e0:81:5d:7e:ec
Aggregator ID: 3

anson lin

  • 憂鬱的高中生
  • ***
  • 文章數: 121
    • 檢視個人資料
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #15 於: 2009-08-24 18:05 »
我也是跟樓主相同的狀況, 想做頻寬合聚,但只會跑在一張介面卡上:

我是用 Bandwidth Monitor 的軟體去監視網卡的流量。

lab os: centos 5.3

interface Port-channel1
 switchport mode access
.
.
.
.
.
小弟我也做過Linux Base的作業系統(Openfiler), 自覺設定也沒錯但答案也和您一樣
休息了幾天明天再來重頭試看看, 也希望有興趣或是有做過的人一起來討問討論
« 上次編輯: 2009-08-24 18:06 由 anson lin »

anson lin

  • 憂鬱的高中生
  • ***
  • 文章數: 121
    • 檢視個人資料
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #16 於: 2009-08-25 16:59 »
今天重新看了一下文章http://www.intel.com/support/network/sb/cs-009747.htm
發現這麼一段
引用
Link Aggregation
The combining of multiple adapters into a single channel to provide greater bandwidth. Bandwidth increase is only available when connecting to multiple destination addresses. ALB mode provides aggregation for transmission only while RLB, SLA, and IEEE 802.3ad dynamic link aggregation modes provide aggregation in both directions. Link aggregation modes requires switch support, while ALB and RLB modes can be used with any switch.
所以看樣子和我當初所想的讓Server對Server兩點的傳輸流量加倍應該是不一樣的
到底要如何做到Server對Server兩點的傳輸流量加倍呢!!??

rdacyd

  • 可愛的小學生
  • *
  • 文章數: 1
    • 檢視個人資料
回覆: 測試802.3ad 頻寬聚合失敗 :(
« 回覆 #17 於: 2010-03-12 16:43 »
LACP 運作方式如下
如果是L3 switch 可以用兩邊的IP 方式運算決定是那一條線路(hash),同一組IP運算N次結果都是一樣的,所以如果只是兩台機器相連,永遠只走同條
還有來回可以走不同線,因為一邊由作業系統運算, 一邊由switch 運算如果
如果是L2 switch 就用mac 運算,結果都是一樣只會走一條