作者 主題: 關於 robots.txt 問題  (閱讀 18323 次)

0 會員 與 1 訪客 正在閱讀本文。

edwardleung

  • 俺是博士!
  • *****
  • 文章數: 1135
    • 檢視個人資料
關於 robots.txt 問題
« 於: 2008-07-20 23:53 »
您們好,

近日留意 Web Server 的 access log 有大量的 robots.txt 讀取問題..
請問各位大大有何見解(意見)?
是否需要對該IP 進行 blocking ?

謝謝協助!

Edward.

hoyo

  • 榮譽博士
  • 俺是博士!
  • *****
  • 文章數: 4050
  • 性別: 男
  • 有需要的時候,學習就不會分階段。
    • 檢視個人資料
    • 樂咖黑電腦學習網
回覆: 關於 robots.txt 問題
« 回覆 #1 於: 2008-07-20 23:59 »
建立一個空的 robots.txt 讓他讀

會讀的大部分都是搜尋引擎,如果你是一個不懂網站經營的管理者,那就把 IP 擋掉吧
受人與魚,不如授人與漁
上海自來水來自海上;倫敦好奇人奇好敦倫

edwardleung

  • 俺是博士!
  • *****
  • 文章數: 1135
    • 檢視個人資料
回覆: 關於 robots.txt 問題
« 回覆 #2 於: 2008-07-21 09:48 »
為何搜尋引擎會去別人的站台讀取那些不知名檔案呢 ?
很莫名(明)奇妙,不明白...

yoww

  • 活潑的大學生
  • ***
  • 文章數: 431
    • 檢視個人資料
    • 唉呦~MIS先生
回覆: 關於 robots.txt 問題
« 回覆 #3 於: 2008-07-21 10:47 »
為何搜尋引擎會去別人的站台讀取那些不知名檔案呢 ?
很莫名(明)奇妙,不明白...
robots.txt本來就是給搜尋引擎讀取的呀~
例如,您可以:

    * 攔截網頁檢索器,使其無法存取您網站上的檔案或目錄
    * 攔截網頁檢索器,使其無法存取您的整個網站
    * 攔截特定的檢索器,使其無法存取您的網站

請參閱:
http://www.google.com/support/webmasters/bin/answer.py?answer=83097&ctx=sibling
唉呦~MIS先生 http://i-yow.blogspot.com/
寶貝的天空      http://3-baby.blogspot.com/

pippeng

  • 活潑的大學生
  • ***
  • 文章數: 329
  • 性別: 男
    • 檢視個人資料
    • IT Ranger
回覆: 關於 robots.txt 問題
« 回覆 #4 於: 2008-07-21 12:47 »
到你的網頁根目錄
新增一robots.txt
新增一行
Disallow: /data
以上的例子是不讓機器人去你的/var/www/html/data
(如果你的網頁是在預設位置/var/www/html/)
用心用心再用心

hoyo

  • 榮譽博士
  • 俺是博士!
  • *****
  • 文章數: 4050
  • 性別: 男
  • 有需要的時候,學習就不會分階段。
    • 檢視個人資料
    • 樂咖黑電腦學習網
回覆: 關於 robots.txt 問題
« 回覆 #5 於: 2008-07-21 13:34 »
我又有不同的見解,

robots.txt 裡不要有任何內容,
尤其是「你不想被搜尋」的內容,
因為那對有心人士是「此地無銀三百兩」的指引,
當然對於「黑心」的搜尋引擎也是很好的指引。

特別是當你該目錄沒有超連結指引,可是你卻在 robots.txt 明確寫出,那就真的很爆笑了。
受人與魚,不如授人與漁
上海自來水來自海上;倫敦好奇人奇好敦倫

日京三子

  • 全區板主
  • 俺是博士!
  • *****
  • 文章數: 8830
    • 檢視個人資料
    • http://www.24online.cjb.net
回覆: 關於 robots.txt 問題
« 回覆 #6 於: 2008-07-21 14:01 »
當然對於「黑心」的搜尋引擎也是很好的指引。

中國的盜版谷歌,就是利用這種方式........



呃,我什麼都不知道,什麼也沒說唷!
哈克不愛的多合一輸入平台----->新香草口味
過去的時間不斷流逝,抹去的眼淚已成追憶;
乾枯的雙手無力阻止,再會了我遠去的曾經。

edwardleung

  • 俺是博士!
  • *****
  • 文章數: 1135
    • 檢視個人資料
回覆: 關於 robots.txt 問題
« 回覆 #7 於: 2008-07-21 14:38 »
您好, 直接把該IP 檔掉是否更好的作法 ?

hoyo

  • 榮譽博士
  • 俺是博士!
  • *****
  • 文章數: 4050
  • 性別: 男
  • 有需要的時候,學習就不會分階段。
    • 檢視個人資料
    • 樂咖黑電腦學習網
回覆: 關於 robots.txt 問題
« 回覆 #8 於: 2008-07-21 15:17 »
您好, 直接把該IP 檔掉是否更好的作法 ?

根據你「鬼打牆」的再次發問法,
我只好也使用「鬼打牆」回答法:

那就爆笑了...

受人與魚,不如授人與漁
上海自來水來自海上;倫敦好奇人奇好敦倫

yoww

  • 活潑的大學生
  • ***
  • 文章數: 431
    • 檢視個人資料
    • 唉呦~MIS先生
回覆: 關於 robots.txt 問題
« 回覆 #9 於: 2008-07-21 17:03 »
您好, 直接把該IP 檔掉是否更好的作法 ?
根據你「鬼打牆」的再次發問法,
我只好也使用「鬼打牆」回答法:
那就爆笑了...
「鬼打牆」....
真的很爆笑 ;D ;D ;D ;D ;D
唉呦~MIS先生 http://i-yow.blogspot.com/
寶貝的天空      http://3-baby.blogspot.com/

edwardleung

  • 俺是博士!
  • *****
  • 文章數: 1135
    • 檢視個人資料
回覆: 關於 robots.txt 問題
« 回覆 #10 於: 2008-07-21 19:03 »
有什麼好笑呢 ?
額外建立一個檔案壓力很大呢....

slime

  • 俺是博士!
  • *****
  • 文章數: 1692
    • 檢視個人資料
回覆: 關於 robots.txt 問題
« 回覆 #11 於: 2008-07-21 20:12 »
中國的盜版谷歌,就是利用這種方式........
呃,我什麼都不知道,什麼也沒說唷!

百搜無度?
冷笑話: 我的 IP 是 127.0.0.1

日京三子

  • 全區板主
  • 俺是博士!
  • *****
  • 文章數: 8830
    • 檢視個人資料
    • http://www.24online.cjb.net
回覆: 關於 robots.txt 問題
« 回覆 #12 於: 2008-07-21 22:42 »
有什麼好笑呢 ?
額外建立一個檔案壓力很大呢....

如果是建立沒用的檔案,你當然壓力大......... 如果是被駭客建立檔案,你應該要切腹自殺.....
如果那檔案是有用,建立一百個你也要建立..........

中國的盜版谷歌,就是利用這種方式........
呃,我什麼都不知道,什麼也沒說唷!
百搜無度?
不要害我,我還不想被阿共獨大的系統封殺掉 Q_Q


反正,怎麼想都會猜到是誰 XD
哈克不愛的多合一輸入平台----->新香草口味
過去的時間不斷流逝,抹去的眼淚已成追憶;
乾枯的雙手無力阻止,再會了我遠去的曾經。

yoww

  • 活潑的大學生
  • ***
  • 文章數: 431
    • 檢視個人資料
    • 唉呦~MIS先生
回覆: 關於 robots.txt 問題
« 回覆 #13 於: 2008-07-22 09:36 »
有什麼好笑呢 ?
額外建立一個檔案壓力很大呢....
因為你已經問過
學長也回答過了呀~

封鎖IP跟建立 robots.txt
兩個方法二選一
唉呦~MIS先生 http://i-yow.blogspot.com/
寶貝的天空      http://3-baby.blogspot.com/