主題: HELP: same ISP with 2 ADSL for loading balance

[zxcvbn101]

請問一下
我的Linux Box(RedHat 8.0)上有3張網卡
一張對外-eth0
一張DMZ-eth1
一張對內-eth2
使用版主的ipt_config來設定nat
運作正常
日前用了equalize pach
將兩條Hinet ADSL(各T1/384k)
ip各為 211.23.73.130 和 211.23.73.131
gateway都是211.23.73.254
然後一起接在一台小Hub上
然後再連到eth0上
請問我eth0的ip和gateway該設成什麼？
目前我將eth0設成內部IP:10.10.10.1 gateway:用hinet的211.23.73.254
接下來
底下的設定該怎麼改？
gateway都一樣，直接套用網路都連不出去？

# 對外網卡
EXT_IF="eth0"
     
# HiNet IP
EXT_IP1="211.23.73.130"
EXT_MASK1="24"
GW1="211.23.73.254"

# SeedNet IP
EXT_IP2="211.23.73.131"
EXT_MASK2="24"
GW2="211.23.73.254"

# 設定 ip
ip addr add $EXT_IP1/$EXT_MASK1 dev $EXT_IF
ip addr add $EXT_IP2/$EXT_MASK2 dev $EXT_IF

請問這個地方
ip addr add 211.23.73.130/24 dev eth0
是不是應該改成
ip addr add 211.23.73.0/24 dev eth0 才對？

# 設定 HiNet routing
ip rule add to $EXT_IP1/$EXT_MASK1 lookup 201
ip route add default via $GW1 dev $EXT_IF table 201

# 設定 SeedNet routing
ip rule add to $EXT_IP2/$EXT_MASK2 lookup 202
ip route add default via $GW2 dev $EXT_IF table 202

# 設定 Default route
ip route replace default equalize \
   nexthop via $GW1 dev $EXT_IF \
   nexthop via $GW2 dev $EXT_IF

這地方不知該怎麼改，我的兩個gateway都一樣
謝謝幫忙
   
# 清除 route cache
ip route flush cache


目前連線很慢，最後都time out
本來我想加一片網卡
變成
eth0=>hinet1
eth1=>hinet2
eth2=>DMZ
eth3=>intranet
不過這樣的話
就沒辦法用netman的ipt_config了
因為ipt_config只能設定一個對外的網卡

敬請大家幫忙
謝謝

[netman]

ipt_config 只是一個很簡單的設定工具，且有大的局限性，
我在其中的 caveat 就有提到：

5, Do NOT run this script if you are doing one of the following:
                * Advanced Routing
                * Traffic Shaping
                * IP Virtual Server
                * Masqueraded VPN
                * Other advanced packet management

我寧願建議大家用之來輔助學習，而非真的拿來應用。
也就是用它產生 rules 之後，嘗試自己來改。

而您當前的問題，或許用這裡的 "搜尋" 以 load balance 相關字串找找吧。

[zxcvbn101]

謝謝版主回應
我在問問題前已經搜尋過相關的文章
但是
在ip route的設定上
沒看到有同一個isp和同一個gateway的設定方法
國外的相關網站
我也去翻閱過了
還沒找到較完整的script可以參考
因此才貼文請教

謝謝

ipt_config 只是一個很簡單的設定工具，且有大的局限性，
我在其中的 caveat 就有提到：

5, Do NOT run this script if you are doing one of the following:
                * Advanced Routing
                * Traffic Shaping
                * IP Virtual Server
                * Masqueraded VPN
                * Other advanced packet management

我寧願建議大家用之來輔助學習，而非真的拿來應用。
也就是用它產生 rules 之後，嘗試自己來改。

而您當前的問題，或許用這裡的 "搜尋" 以 load balance 相關字串找找吧。

[twu2]

日前用了equalize pach
將兩條Hinet ADSL(各T1/384k)
ip各為 211.23.73.130 和 211.23.73.131
gateway都是211.23.73.254

一般在使用 equalize 參數時, route 指令會指定不同的 gateway, 所以在做 routing 的時候, 會將封包往不同的 gateway 丟過去.

如果兩條線路的 gateway 是一樣, 就不知道是否會有效果. (我記得有人問過我, 所以可能是沒什麼作用...)

看看能否和 hinet 商量, 換一個 ip (使用不同的 subnet), 不然就申請另一家的 isp 吧.

[zxcvbn101]

謝謝您的幫忙
我在國外的mailing list上
有看到一個例子
對方是用撥接的ADSL
同一個ISP，gateway也是一樣
有人回他底下的方法
ip route add default scope global equalize nexthop dev ppp0 via 12.34.56.78= \
nexthop dev ppp1 via 12.34.56.78
他們說可行
可是我不知道配合您的script該怎麼改
再者
請問對外的 eth0
ip和gateway
如果設成內部IP和Hinet的Gateway對不對
謝謝您

日前用了equalize pach
將兩條Hinet ADSL(各T1/384k)
ip各為 211.23.73.130 和 211.23.73.131
gateway都是211.23.73.254

一般在使用 equalize 參數時, route 指令會指定不同的 gateway, 所以在做 routing 的時候, 會將封包往不同的 gateway 丟過去.

如果兩條線路的 gateway 是一樣, 就不知道是否會有效果. (我記得有人問過我, 所以可能是沒什麼作用...)

看看能否和 hinet 商量, 換一個 ip (使用不同的 subnet), 不然就申請另一家的 isp 吧.

[twu2]

ip route add default scope global equalize nexthop dev ppp0 via 12.34.56.78= \
nexthop dev ppp1 via 12.34.56.78
他們說可行

如果你是撥接的... 上面的做法就可以.
如果你的固定 ip... 加一片網卡到主機上, 接不同的 atu-r, 這樣子就會有不同的 eth? device, 把上面的 ppp? 改成 eth? 就應該可以了.

[twu2]

另外... 有一些網站的 ftp 無法利用 equalize 來連線...
如果有發生 ftp 連不上, 或速度很差, 就用 ip rule 指定只走那一條線路就可以.

[zxcvbn101]

謝謝您
我試試看

ip route add default scope global equalize nexthop dev ppp0 via 12.34.56.78= \
nexthop dev ppp1 via 12.34.56.78
他們說可行

如果你是撥接的... 上面的做法就可以.
如果你的固定 ip... 加一片網卡到主機上, 接不同的 atu-r, 這樣子就會有不同的 eth? device, 把上面的 ppp? 改成 eth? 就應該可以了.

[zxcvbn101]

我照著這樣做以後
老是得到
answers: Network is unreachable
所有的連線都只從單一ATU-R出去
另一台ATU-R則動都不動
這是否代表同一gateway就沒辦法了
謝謝
Hinet說改IP要去櫃台辦IP異動
要四百元
既然要錢還不如換ISP算了
不知大家還有其他方法嗎
謝謝

ip route add default scope global equalize nexthop dev ppp0 via 12.34.56.78= \
nexthop dev ppp1 via 12.34.56.78
他們說可行

如果你是撥接的... 上面的做法就可以.
如果你的固定 ip... 加一片網卡到主機上, 接不同的 atu-r, 這樣子就會有不同的 eth? device, 把上面的 ppp? 改成 eth? 就應該可以了.

[twu2]

我照著這樣做以後
老是得到
answers: Network is unreachable

你的 ip addr, ip route 的結果是什麼 ?

ip addr 應該會類似
tommywu@fw2:~$ ip addr
1: lo: <LOOPBACK,UP> mtu 16436 qdisc noqueue
   link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   inet 127.0.0.1/8 scope host lo
2: eth0: mtu 1500 qdisc pfifo_fast qlen 100
   link/ether xx:xx:xx:xx:xx:xx brd ff:ff:ff:ff:ff:ff
   inet 211.23.73.130/24 scope global eth0
3: eth1: mtu 1500 qdisc pfifo_fast qlen 100
   link/ether xx:xx:xx:xx:xx:xx brd ff:ff:ff:ff:ff:ff
   inet 211.23.73.131/24 scope global eth0

ip route 類似
tommywu@fw2:~$ ip route
211.23.73.0/24 dev eth0  proto kernel  scope link  src 211.23.73.130
211.23.73.0/24 dev eth1  proto kernel  scope link  src 211.23.73.131
default equalize
       nexthop via 211.23.73.254  dev eth0 weight 1
       nexthop via 211.23.73.254  dev eth1 weight 1

[zxcvbn101]

再次謝謝您的幫忙
我把不動的eth0強制重新啟動
後來兩個都動了
不過變成
一台ADSL的TX不亮RX有亮
另一台ADSL TX有亮RX不亮
j
我的
 root]# ip route show
192.168.1.0/24 dev eth1  scope link
10.10.1.0/24 dev eth2  scope link
211.23.73.0/24 dev eth0  scope link
211.23.73.0/24 dev eth3  proto kernel  scope link  src 211.23.73.131
211.23.73.0/24 dev eth0  proto kernel  scope link  src 211.23.73.130
127.0.0.0/8 dev lo  scope link
default via 211.23.73.254 dev eth0

 root]# ip addr
1: lo: <LOOPBACK,UP> mtu 16436 qdisc noqueue
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 brd 127.255.255.255 scope host lo
2: eth0: mtu 1500 qdisc pfifo_fast qlen 100
    link/ether 00:e0:18:81:25:26 brd ff:ff:ff:ff:ff:ff
    inet 211.23.73.130/24 brd 211.23.73.255 scope global eth0
3: eth1: mtu 1500 qdisc pfifo_fast qlen 100
    link/ether 00:48:54:57:77:2d brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.254/24 brd 192.168.1.255 scope global eth1
4: eth2: mtu 1500 qdisc pfifo_fast qlen 100
    link/ether 00:50:fc:75:48:14 brd ff:ff:ff:ff:ff:ff
    inet 10.10.1.254/24 brd 10.10.1.255 scope global eth2
5: eth3: mtu 1500 qdisc pfifo_fast qlen 100
    link/ether 00:50:fc:96:fd:2f brd ff:ff:ff:ff:ff:ff
    inet 211.23.73.131/24 brd 211.23.73.255 scope global eth3

原本下ip route的script會出現
default equalize
     nexthop via 211.23.73.254  dev eth0 weight 256 dead...................
       nexthop via 211.23.73.254  dev eth1 weight 1
後來script改成

#!/bin/bash
#
# 對外網卡
IF1="eth0"
IF2="eth3"
IP1="211.23.73.130"
IP2="211.23.73.131"
P1="211.23.73.254"
P2="211.23.73.254"
P1_NET="211.23.73.0/24"
P2_NET="211.23.73.0/24"
T1="130"
T2="131"
ip route add $P1_NET dev $IF1 src $IP1 table $T1
ip route add default via $P1 table $T1
ip route add $P2_NET dev $IF2 src $IP2 table $T2
ip route add default via $P2 table $T2
ip route add $P1_NET dev $IF1 src $IP1
ip route add $P2_NET dev $IF2 src $IP2
ip route add default via $P1
ip rule add from $IP1 table $T1
ip rule add from $IP2 table $T2
ip route add default scope global equalize nexthop via $P1 dev $IF1 weight 1 \
        nexthop via $P2 dev $IF2 weight 1
#ip route add default scope global equalize nexthop dev $IF1 via $P1 \
#nexthop dev $IF2 via $P2
ip route flush cache

重開機後
強制重新啟動不會動的那個網卡
如eth0 or eth3
接下來
>ip route show
就得到上面的結果
不過equalize的訊息不見了

再次謝謝您的幫忙

我照著這樣做以後
老是得到
answers: Network is unreachable

你的 ip addr, ip route 的結果是什麼 ?

ip addr 應該會類似
tommywu@fw2:~$ ip addr
1: lo: <LOOPBACK,UP> mtu 16436 qdisc noqueue
   link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   inet 127.0.0.1/8 scope host lo
2: eth0: mtu 1500 qdisc pfifo_fast qlen 100
   link/ether xx:xx:xx:xx:xx:xx brd ff:ff:ff:ff:ff:ff
   inet 211.23.73.130/24 scope global eth0
3: eth1: mtu 1500 qdisc pfifo_fast qlen 100
   link/ether xx:xx:xx:xx:xx:xx brd ff:ff:ff:ff:ff:ff
   inet 211.23.73.131/24 scope global eth0

ip route 類似
tommywu@fw2:~$ ip route
211.23.73.0/24 dev eth0  proto kernel  scope link  src 211.23.73.130
211.23.73.0/24 dev eth1  proto kernel  scope link  src 211.23.73.131
       nexthop via 211.23.73.254  dev eth0 weight 1
       nexthop via 211.23.73.254  dev eth1 weight 1

[twu2]

只有一個 hop 當然不會由兩條線路出去...
不用使用 script, 自己下指令一步一步試, 看看是那個指令有問題.

[zxcvbn101]

主要的錯誤還是在執行ip route時會出現
eth0 unreachable
我想，可能是因為我的eth0和eth3的gateway都是一樣的
給了eth3以後，eth0就拿不到了
還有
這兩天我終於找出為什麼我在下ip route show以後
default equalize
nexthop ....
nexthop ....
會不見了
原來是因為我用：
ip route add default scope global equalize \
        nexthop dev eth0 weight 1 via 211.23.73.254 \
        nexthop dev eth3 weight 1 via 211.23.73.254

後來改成

ip route replace default scope global equalize \
        nexthop dev eth0 weight 1 via 211.23.73.254 \
        nexthop dev eth3 weight 1 via 211.23.73.254

接著查詢 ip route show
就可以得到（要先重新啟動eth0）
 root]# ip route show
192.168.1.0/24 dev eth1 scope link
10.10.1.0/24 dev eth2 scope link
211.23.73.0/24 dev eth0 scope link
211.23.73.0/24 dev eth3 proto kernel scope link src 211.23.73.131
211.23.73.0/24 dev eth0 proto kernel scope link src 211.23.73.130
127.0.0.0/8 dev lo scope link
default equalize
        nexthop via 211.23.73.254  dev eth0 weight 1 dead onlink pervasive        
        nexthop via 211.23.73.254  dev eth3 weight 1

到這裡為止
跟您不一樣的地方就是在nexthop出現了dead onlink pervasive ，我搜尋過國外的資料，有人說這是因為iproute2沒有更新到最新版的原因，我之前曾經去抓最新的ftp://ftp.inr.ac.ru/ip-routing/iproute2-2.4.7-now-ss020116-try.tar.gz檔回來make，不過和用最新的iproute-2.4.7-7.i386.rpm，結果好像都一樣，不過我會再找時間拿最版的ftp://ftp.inr.ac.ru/ip-routing/iproute2-2.4.7-now-ss020116-try.tar.gz再來編譯看看，因為我現在又改成iproute-2.4.7-7.i386.rpm了，如果再不行，就只好去改ip了（因為不是我私人的，手續很麻煩，可能還要自己出改ip的錢，唉）。
真的很謝謝您的幫忙，雖然還沒成功，那是因為我的case很不正常，我找過國外很多資料，有跑ppp的ADSL，也有用cable modem的，他們的情形跟我一樣，兩個gateway都是相同的，而且他們都有成功，這證明同一個gateway確實也是可以做，只是個人學藝不精，還不知道問題出在哪裡，謝謝您的時間。

只有一個 hop 當然不會由兩條線路出去...
不用使用 script, 自己下指令一步一步試, 看看是那個指令有問題.

[kuolung]

主要的錯誤還是在執行ip route時會出現
eth0 unreachable
我想，可能是因為我的eth0和eth3的gateway都是一樣的
給了eth3以後，eth0就拿不到了
還有
這兩天我終於找出為什麼我在下ip route show以後
default equalize
nexthop ....
nexthop ....
會不見了
原來是因為我用：
ip route add default scope global equalize \
        nexthop dev eth0 weight 1 via 211.23.73.254 \
        nexthop dev eth3 weight 1 via 211.23.73.254

後來改成

ip route replace default scope global equalize \
        nexthop dev eth0 weight 1 via 211.23.73.254 \
        nexthop dev eth3 weight 1 via 211.23.73.254

接著查詢 ip route show
就可以得到（要先重新啟動eth0）
 root]# ip route show
192.168.1.0/24 dev eth1 scope link
10.10.1.0/24 dev eth2 scope link
211.23.73.0/24 dev eth0 scope link
211.23.73.0/24 dev eth3 proto kernel scope link src 211.23.73.131
211.23.73.0/24 dev eth0 proto kernel scope link src 211.23.73.130
127.0.0.0/8 dev lo scope link
default equalize
        nexthop via 211.23.73.254  dev eth0 weight 1 dead onlink pervasive        
        nexthop via 211.23.73.254  dev eth3 weight 1

到這裡為止
跟您不一樣的地方就是在nexthop出現了dead onlink pervasive ，我搜尋過國外的資料，有人說這是因為iproute2沒有更新到最新版的原因，我之前曾經去抓最新的ftp://ftp.inr.ac.ru/ip-routing/iproute2-2.4.7-now-ss020116-try.tar.gz檔回來make，不過和用最新的iproute-2.4.7-7.i386.rpm，結果好像都一樣，不過我會再找時間拿最版的ftp://ftp.inr.ac.ru/ip-routing/iproute2-2.4.7-now-ss020116-try.tar.gz再來編譯看看，因為我現在又改成iproute-2.4.7-7.i386.rpm了，如果再不行，就只好去改ip了（因為不是我私人的，手續很麻煩，可能還要自己出改ip的錢，唉）。
真的很謝謝您的幫忙，雖然還沒成功，那是因為我的case很不正常，我找過國外很多資料，有跑ppp的ADSL，也有用cable modem的，他們的情形跟我一樣，兩個gateway都是相同的，而且他們都有成功，這證明同一個gateway確實也是可以做，只是個人學藝不精，還不知道問題出在哪裡，謝謝您的時間。

只有一個 hop 當然不會由兩條線路出去...
不用使用 script, 自己下指令一步一步試, 看看是那個指令有問題.

看到這裡，我有一點小小的心得給大家分享:

default equalize
        nexthop via 211.23.73.254  dev eth0 weight 1 dead onlink pervasive        
        nexthop via 211.23.73.254  dev eth3 weight 1

1. 有這一行出現，我想您可能是用 RH 8.0 才 run multi-path 那我告訴您一個壞消息，目前這是 RH 8.0 的 bug ，我所知是無解，請您改用 rh 7.3  吧

2. 您已經要用兩條 adsl 來做 load balancing ，建議您改用兩家 isp ，我就碰到過 isp 的機房故障，您再多條  adsl 都全死，那就失去了用兩條 adsl 的另一個義意了-> "備援"

3. 我記得要做 "equalize" -> load balancing by pocket ，好像 kernel 要做 patch 才能作用，不過這一部份，我是放棄了，我目前只做  load balancing by session

如果有錯，請不吝指正謝謝

[zxcvbn101]

>1. 有這一行出現，我想您可能是用 RH 8.0 才 run multi-path 那我告訴您一個壞消>息，目前這是 RH 8.0 的 bug ，我所知是無解，請您改用 rh 7.3  吧

謝謝您，我是用RedHat8.0沒錯，目前有iproute-2.4.7-7.i386.rpm可以更新，也可以去下載原始檔回來自己編譯，如上篇所提供的網址，我目前已經成功了，不會再出現 dead......的訊息，依國外討論區的資料，只要自己重新編譯就可以，我就是這樣做的，不過，因為我的兩個gatreway相同，作法和大家的有些不同，我相我可以成功，那如果您的是不同ISP、Gateway的話，應該更能成功。

>2. 您已經要用兩條 adsl 來做 load balancing ，建議您改用兩家 isp ，我就碰到過 >isp 的機房故障，您再多條  adsl 都全死，那就失去了用兩條 adsl 的另一個義意了-> >"備援"

謝謝您的忠告，因為這是公家的東西，變更有些麻煩，而且當初申請兩條的時候，自己沒有想到後來要做equalize用，所以，真要換的話，還得要去說服主管，而且這又是我自己的疏忽，這一來一往多出的設定費，公司可能會付的很心不甘情不願的。不然，真要玩，就只好自己付錢了。

3. 我記得要做 "equalize" -> load balancing by pocket ，好像 kernel 要做 patch 才能作用，不過這一部份，我是放棄了，我目前只做  load balancing by session

當初我也是卡在重新編譯kernel，曾經放棄過，不過後來我看到一篇文章介紹，直接下載kernel-source...rpm來patch，而且用make oldconfig就好，這讓我又重新燃起希望，平均重編個兩三次就成功了，why？我不知道，常常會編譯失敗，不過，這個方法已經是非常簡單和輕鬆的了，編好後，您就可以很輕鬆的跑了。

不過我有個問題
當我去hinet.net抓檔時，最高只能到150k左右，不是1.5mb+1.5mb=3mb左右嗎？怎麼跟用一台ADSL的效果是一樣的？可是我同時再用另一台機器抓檔，結果兩台同時都有150k左右，我的疑問是，為什麼單一機器下載時沒有1+1=2呢？請指教。

還有twu2有提到有些ftp不支援，要另外指定路由，請問，不知是否有類似的script可供參考，謝謝。

[kuolung]

>1. 我是用RedHat8.0沒錯，目前有iproute-2.4.7-7.i386.rpm可以更新，
 
   謝謝您，這真是個好消息，不然我還不敢用 RH 8.0 ，可是我找了好幾個地方
都沒有 iproute-2.4.7-7.i386.rpm 可以下載，可以請您指導一 下，在那兒

>2.自己沒有想到後來要做equalize用
就我所知，equalize 和 isp 無關的

3. 直接下載kernel-source...rpm來patch，而且用make oldconfig就好，這讓我又重新燃起希望，平均重編個兩三次就成功了，why？我不知道，常常會編譯失敗，不過，這個方法已經是非常簡單和輕鬆的了，編好後，您就可以很輕鬆的跑了。

這一點，還是您比較有耐心，我也要努力一點了

> 不過我有個問題
> 當我去hinet.net抓檔時，最高只能到150k左右，不是1.5mb+1.5mb=3mb左> 右嗎？怎麼跟用一台ADSL的效果是一樣的？可是我同時再用另一台機器抓檔，> 結果兩台同時都有150k左右，我的疑問是，為什麼單一機器下載時沒有1+1=2呢？請指教。

這一點要從 tcpip 的封包和路由講起，不過我知道我講的對不對，這是我觀察到的 :

1. 因為 對方的 ftp 或路由器跟本不會跟您做 multi-path 的動作，只會記得您第一次和他建立連線的 ip 而已，所以當您一建立一個 session 後，對方就會記住您是那一個  realip 來的，之後他所有要給您的封包就往那邊送，所以您看到的當然只有一個  session 的最大 download 的速度了
，另外，像 Linux 做的 load balancing 都只是做到由本地發出去的封包而已

最後 "twu2所提到有些ftp不支援，要另外指定路由，請問，不知是否有類似的script可供參考，謝謝。"應是對方機器，或要 isp 支援才行，所以就算您有 script 也沒有用

[zxcvbn101]

>謝謝您，這真是個好消息，不然我還不敢用 RH 8.0 ，可是我找了好幾個地方
>都沒有 iproute-2.4.7-7.i386.rpm 可以下載，可以請您指導一 下，在那兒
>這一點要從 tcpip 的封包和路由講起，不過我知道我講的對不對，這是我觀察到>的 :

在http://rpmfind.net/有
ftp://rpmfind.net/linux/rawhide/1.0/i386/RedHat/RPMS/iproute-2.4.7-7.i386.rpm

>1. 因為 對方的 ftp 或路由器跟本不會跟您做 multi-path 的動作，只會記得您第>一次和他建立連線的 ip 而已，所以當您一建立一個 session 後，對方就會記住>您是那一個  realip 來的，之後他所有要給您的封包就往那邊送，所以您看到的>當然只有一個  session 的最大 download 的速度了
>，另外，像 Linux 做的 load balancing 都只是做到由本地發出去的封包而已

>最後 "twu2所提到有些ftp不支援，要另外指定路由，請問，不知是否有類似的>script可供參考，謝謝。"應是對方機器，或要 isp 支援才行，所以就算您有 >script 也沒有用

謝謝您的解說
也祝您成功

[ZMAN]

2. 您已經要用兩條 adsl 來做 load balancing ，建議您改用兩家 isp ，我就碰到過 isp 的機房故障，您再多條  adsl 都全死，那就失去了用兩條 adsl 的另一個義意了-> "備援"

在我的實務經驗中
我會建議我的客戶使用不同線路來源的業者而不是不同的ISP
因為在台灣絕大多數的ISP LAST MILE都是用中華電信的線路
而中華電信的機房是會掛的
最好是HINET加上其他的固網業者(自有線路)