主題: 關於砍站

[duncanlo]

這個桌面跟垃圾場一樣,
整個丟了吧...

[paulso]

已經整理好沒用的已刪= .=

[mimeory]

我以為我的桌面已經夠亂的了...
沒想到有人比我還亂....

[dark]

小弟也想知道 , 為何上了 internet 還有 192.168 開頭的出現
而且還能路由回來

(paulso 學長桌面還不算亂呀... ^^  解析度能調這麼高真好 , 能放的多)

[twu2]

你在香港, 但是學園在 TANET 中.
TANET 的對國外線路是有流量管制的, 這個也不是學園本身可以解決的, 除非換到別 ISP 中.

我也常年在國外, 剛開始也是慢的受不了, 後來就把自已家中的 squid 開放出來使用, 經由國外到 hinet 再到 tanet 就很快了.

看看你能不能找到台灣這邊有 proxy server 可以提供給你使用的.
如果找不到.... 再發個 pm 給我 (留下你的 email), 我給你一組 id/password 使用我這兒的 squid 連到學園.

[paulso]

龜速可是時間性的，由 6pm 開始到 12am，龜~~~~~
在早上和更晚還算可以，那只好委屈一下

traceroute www.yahoo.com 結果如下

代碼: [選擇]

# traceroute www.yahoo.com
traceroute: Warning: www.yahoo.com has multiple addresses; using 66.218.70.49
traceroute to www.yahoo.akadns.net (66.218.70.49), 30 hops max, 38 byte packets
 1  192.168.0.1 (192.168.0.1)  0.657 ms  0.501 ms  0.524 ms
 2  061238116001.ctinets.com (61.238.116.1)  2.195 ms  2.131 ms  1.397 ms
 3  203185019110.ctinets.com (203.185.19.110)  2.036 ms  1.831 ms  1.472 ms
 4  061238030230.ctinets.com (61.238.30.230)  4.497 ms  3.431 ms  3.227 ms
 5  192.168.3.3 (192.168.3.3)  2.837 ms  2.373 ms  2.101 ms
 6  134.159.127.5 (134.159.127.5)  5.680 ms  5.938 ms  4.591 ms
 7  i-7-0.wwh-core01.net.reach.com (202.84.221.161)  6.163 ms  4.886 ms  5.575 ms
 8  i-12-3.sjc-core01.net.reach.com (202.84.143.49)  170.480 ms  171.374 ms  170.516 ms
 9  i-13-0.paix-core01.net.reach.com (202.84.143.249)  171.494 ms  170.122 ms  170.792 ms
10  * i-3-2.paix05.net.reach.com (202.84.251.70)  171.265 ms  174.805 ms
11  yahoo.paix05.net.reach.com (134.159.63.22)  236.937 ms  235.280 ms  235.269 ms
12  vl28.bas1.scd.yahoo.com (216.115.101.42)  236.382 ms  235.950 ms  236.108 ms
13  w18.www.scd.yahoo.com (66.218.70.49)  235.739 ms  237.242 ms  236.809 ms

在第 6 還是有個 192.168.x.x 的路由器，跟著我一試本地網

代碼: [選擇]

# traceroute hk.yahoo.com
traceroute to hk.yahoo.com (202.1.233.111), 30 hops max, 38 byte packets
 1  192.168.0.1 (192.168.0.1)  0.492 ms  0.388 ms  0.447 ms
 2  061238116001.ctinets.com (61.238.116.1)  1.321 ms  1.067 ms  1.091 ms
 3  203185019110.ctinets.com (203.185.19.110)  2.833 ms  1.951 ms  2.082 ms
 4  061238030230.ctinets.com (61.238.30.230)  2.799 ms  2.540 ms  3.150 ms
 5  192.168.3.3 (192.168.3.3)  3.033 ms  2.341 ms  2.150 ms
 6  192.168.3.4 (192.168.3.4)  2.411 ms  2.962 ms  2.096 ms
 7  yahoo1-RGE.hkix.net (202.40.161.185)  5.470 ms  5.774 ms  3.972 ms
 8  alteon1.hkg.yahoo.com (202.1.233.118)  4.732 ms  5.329 ms  5.957 ms

還是有個 192.168 的路由器 :\

[huckly]

應該是 isp 內部 routing

[ozakipw]

對不起~~問一下~~裡面的script中有一段 /usr/sbin/sar

我沒這檔案請問是少裝啥套件??我用redhat 9.0

[netman]

哦？還是在 /usr/bin/sar 呢？
若都沒有，將 sysstat 套件裝一裝？

[VBird]

哦？還是在 /usr/bin/sar 呢？
若都沒有，將 sysstat 套件裝一裝？

這一套似乎是在 Red Hat 上面才預設會安裝的咚咚！
在 Mandrake 與 OpenLinux 似乎都不是預設的安裝套件吶！
http://linux.vbird.org/download/index.php#sysstat

[ozakipw]

哦？還是在 /usr/bin/sar 呢？
若都沒有，將 sysstat 套件裝一裝？

這一套似乎是在 Red Hat 上面才預設會安裝的咚咚！
在 Mandrake 與 OpenLinux 似乎都不是預設的安裝套件吶！
http://linux.vbird.org/download/index.php#sysstat

瞭解~~收到....3q..
另外要感謝這篇文章,因小弟的Apache最近被DDoS攻擊到照三餐"趴"...這東西剛好可以拿來檔該攻擊.....剛溫啊... :lol:

[wilson]

我們的學員 wilson 兄也提供了一個不錯的方法，不知大家能幫忙測試看看嗎：

您好：

在逛外面的網站時　發現某個站無法以砍站軟體（我teleport pro測試）
模仿該站的作法後　在我機器上測試一下　發現teleport pro也無法砍我的資料了
如果學長覺得有需要的話　不妨試試．
在https下新增一個檔案　　檔案名為robots.txt（只有兩行）
內容：User-agent: *
　　　Disallow: /
 

http://www.robotstxt.org/wc/exclusion-admin.html

[netman]

block.http.sh is updated:

# Date: 2003/08/25
# Version: 1.08

# Version 1.08
#       1) BugFix: using lock file to determine running process.

[netman]

# Date: 2003/08/26
# Version: 1.09

# Version 1.09
#       1) BugFix: keep permanent list from flushing out.

[netman]

# Date: 2003/08/27
# Version: 1.10

# Version 1.10
#       1) BugFix: fixed pid path.

[netman]

# Date: 2003/08/28
# Version: 1.11

# Version 1.11
#       1) imporve pid dedection method.

download：
http://study-area.ks.edu.tw/linux/src/block.http.sh.tgz

記得要用 crontab 來跑 script 哦~~

[lfsjg]

初探 Embedded System 为什么打不开呀？？？

[bensonwu]

我們的學員 wilson 兄也提供了一個不錯的方法，不知大家能幫忙測試看看嗎：

您好：

在逛外面的網站時　發現某個站無法以砍站軟體（我teleport pro測試）
模仿該站的作法後　在我機器上測試一下　發現teleport pro也無法砍我的資料了
如果學長覺得有需要的話　不妨試試．
在https下新增一個檔案　　檔案名為robots.txt（只有兩行）
內容：User-agent: *
　　　Disallow: /
 

http://www.robotstxt.org/wc/exclusion-admin.html

看了這一系列的文章 真是過癮

既然Teleport及spambot這一類的user-agent 是屬於不友善的robots
是以靠robots.txt或htaccess或rewrite等手法仍無法有效避免砍站
所以我相信netman大大的這支script對有需要的人幫助很大!

[wiz]

感謝netman大大,所提供的script。
目前使用上發現一些問題 (v1.11)

1. http.list.perm 不會自動產生,必須增加
   第94行:
   touch $EXCP_LIST $PERM_LIST

2. 第137行
    touch $HTTP_LIST_TMP
    這個動作應該不必要,因為下面接下來的動作就是
     ...........  > $HTTP_LIST_TMP

3. 另外LIMIT到底有沒有需要??
    在我這邊因為連線會瞬間暴增(有人用"多點傳輸"的方式抓東西),
   因此先Limit某個來源,似乎沒什麼用,因為連線已被佔滿。
   因此我自己把script修改一下,不使用Limit,只要連線超過10個(同一個來源)
   就直接drop。

[netman]

嗯﹗那不錯...

能否回報一下你的版本？看來我們直接引用就行了...  ^_^

[wiz]

針對 v1.11 所修改的地方:
1. http.list.perm 不會自動產生..
2. 第137行 touch $HTTP_LIST_TMP 這個動作應該不必要
3. 不使用Limit這個phrase,當連線數超過10個,直接drop
http://august.cs.tku.edu.tw/~wiz/block.patch

[netman]

thank you!

等我 patch 完，再包給大家...  ^_^ 謝謝 wiz 兄﹗

[wiz]

thank you!

等我 patch 完，再包給大家...  ^_^ 謝謝 wiz 兄﹗

我剛剛發現到一個問題,因為我碰到的狀況是會瞬間連線暴增,
但netman大大所寫的script中,裡面所用iptable規則一開始好像是
只擋port 80,若被抓太多次就是完全不給進。
雖然有擋起來,可是那些已佔滿的連線必須等一段時間過後才會釋放,
因為我對iptables是現學現賣.. ^^",所以想問一下,有無方法可以立即釋放
那些連線??  謝謝

[netman]

哦、、、、這個我也不確定，
重新 restart httpd 看看囉...
因為那是 tcp/ip 的連線特徵，若不是主動 close 的話，則交到 time_out 來 close 。
而且，httpd 還用到 keep alive 機制，連線或許要等更長...

[netman]

okay，path 完畢...  ^_^

http://study-area.ks.edu.tw/linux/src/block.http.sh.tgz

2003/10/04

# Version 1.12
#       1) set up HTTP_SCRIPT & HTTP_CMD variables
#       2) create PERM_LIST by using touch command
#       3) remove touch command for HTTP_LIST_TMP
#       4) remove all LIMIT rules, dump to DROP directly.

注意：
1) 要是用 wiz 兄的 patch ，要留意其中的 httpd 程式的 script 及 process name
2) 帶 limit 規則的 v1.11 版仍可從如下地方下載：
http://study-area.ks.edu.tw/linux/src/block.http-1.11.sh.tgz

補充說明一個一直沒提到的注意地方：
建議將 127.0.0.1 加入 $EXCP_LIST 中，以免將本機給誤擋住了...
若有多個 IP 要豁免，請用 '|' 將各 ip 串於同一行內，如：
127.0.0.1|1.2.3.4|4.3.2.1

[wiz]

這一兩天的心得:
我這邊的情況比較特別,因為會有好幾個人(有時候會達到2,30個),用多點傳輸
的方式抓東西,因此連線會瞬間暴增,用偵測的方法有點緩不濟急,因此我想何不
直接限制??
(這是急就章研究出來的 ^^")
iptables -A FORWARD -p tcp --syn -m limit --limit 1/s -j ACCEPT
若先這樣限制,然後再搭配script去偵測,不知道會不會比較有效??
(因為是剛剛想出來的,還不知道效果,因為"激戰"要晚上才會發生)。

另外,netman 大大,在你的script中有設置 EXT_IF=eth0 這個變數,
但在iptable 的參數中,並沒有加上 -i $EXT_IF, 是否加上去會使得
程式比較週延??

[wiz]

我剛剛又做了一點修正:
http://august.cs.tku.edu.tw/~wiz/block.http.sh
1. 之前是若抓到"n次"才會被抓入drop名單(netman大大原本的script是limit),
   我發現這個似乎沒什麼效果,因為砍站的人一定是開著軟體抓,所以等到
   "抓到n次"後在檔,似乎有點慢。因此我把這個移掉,若連線超過n個,直接
   drop掉(反正若是錯抓,兩分鐘後還是會解禁)
2. 我忽略掉 EXCP_LIST 的功能，我把它程式補上去

3. 我把 -i $EXT_IF 加進去iptables 的參數列中,這樣應該會比較週延。

另外有關直接限制,原本是用
iptables -A FORWARD -p tcp --dport 80 --syn -m limit --limit 1/s -j ACCEPT
可是似乎用這個比較正確
iptables -A INPUT -p tcp --syn --dport 80 -m limit --limit 1/s -j ACCEPT
這還要再研究一下.. ^^"

[netman]

1)看你的 crontab 設定囉，基本上，只要能"撐"一段時間就行。
2)加上為妙
3)嗯... 可能你的環境與我不一樣：
我只是在"單機"上作業，不是用在  gateway firewall 上。
因此設 -i 跟不設  -i 沒差多少。
請跟據實際情況來調整吧。

因為是單機，因此我沒用到 FORWARD 。
且，若設 --sync 的話，那只限制每一條 tcp 連線的"第一個"個封包，其餘不限。
請自行斟酌。

[wiz]

因為我覺得原本的Limit概念滿好的(可惜我這需要更強硬的作法 ^^"),
只是原本程式中,是被抓到"n次"後,才加入limit名單...
這樣可能有點喪失Limit的原意 (我覺得Limit應該是懷疑有可能進行
砍站行為,於是先限制他)。

另外原本的程式有些動作是多餘的
ex: http_un=$(cat $HTTP_LIST_TMP | uniq | wc -l | awk '{print $1}')
==> http_un=$(uniq $HTTP_LIST_TMP | wc -l)

我稍微整理一下
http://august.cs.tku.edu.tw/~wiz/block.http_op.sh

[netman]

嗯... 我的 script 本來就不想太"硬"啦，所以才會思考那麼多，
要不然，回到最初期的版本：只要被抓，馬上 block ﹗那麼寫起來應該很簡單的，也不用改目前這支 script 了。

再，我是發現從 wc -l 輸出的結果，不用 awk 來處理，會抓不到啦...
至於 uniq ，的確可以免 cat 。

不過，我發現之前的 limit 有重大疏失：若下面沒有 DROP 規則，無效﹗
我再改一下 v1.11 好了...