作者 主題: 上傳資料至Hadoop HDFS的網路行為  (閱讀 2648 次)

0 會員 與 1 訪客 正在閱讀本文。

nicebb

  • 可愛的小學生
  • *
  • 文章數: 11
    • 檢視個人資料
上傳資料至Hadoop HDFS的網路行為
« 於: 2012-10-24 14:37 »
在Hadoop環境下,使用一台Cisco 2960STS連接所有實體主機
大量檔案上傳到HDFS的當下,show interface時,常發現Total output drops有很大的值 ???
緊接著會fail,懷疑是網路硬體的問題,但又不了解Hadoop在執行上傳時實際上會有那些網路行為
目前只能將大資料分散變小一點,該狀況就會減緩~~但仍不會消失,至少不會fail
癥結點會在哪?

紀錄如下

  Input queue: 0/75/0/0 (size/max/drops/flushes);  Total output drops:71372
  Queueing strategy: fifo
  Output queue: 0/40 (size/max)
  30 second input rate 18559000 bits/sec, 3660 packets/sec
  30 second output rate 88535000 bits/sec, 7860 packets/sec
     3111964 packets input, 721476891 bytes, 0 no buffer
     Received 0 broadcasts (0 multicasts)
     0 runts, 0 giants, 0 throttles
     0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
     0 watchdog, 0 multicast, 0 pause input
     0 input packets with dribble condition detected
     8939609 packets output, 13072561164 bytes, 0 underruns
     0 output errors, 0 collisions, 0 interface resets
« 上次編輯: 2012-10-24 15:35 由 nicebb »

treble

  • 活潑的大學生
  • ***
  • 文章數: 215
    • 檢視個人資料
    • 牛的大腦
Re: 上傳資料至Hadoop HDFS的網路行為
« 回覆 #1 於: 2012-10-24 20:57 »
可以換一台機器試試看?
[牛的大腦  http://systw.net ] 用來放一些筆記資料
[單字我朋友  http://systw.net/word ] 練英文用的
2分鐘檢測你的單字能力 http://systw.net/word/q.php

nicebb

  • 可愛的小學生
  • *
  • 文章數: 11
    • 檢視個人資料
Re: 上傳資料至Hadoop HDFS的網路行為
« 回覆 #2 於: 2012-10-25 00:12 »
網路設備已升級兩次至都是Giga介面的C2960S
接在這台Switch上的主機都有這個情形,當然主機的網卡也都是Giga介面

treble

  • 活潑的大學生
  • ***
  • 文章數: 215
    • 檢視個人資料
    • 牛的大腦
Re: 上傳資料至Hadoop HDFS的網路行為
« 回覆 #3 於: 2012-10-25 19:27 »
已升級兩次是指已換過別台交換器做測試嗎?
[牛的大腦  http://systw.net ] 用來放一些筆記資料
[單字我朋友  http://systw.net/word ] 練英文用的
2分鐘檢測你的單字能力 http://systw.net/word/q.php

nicebb

  • 可愛的小學生
  • *
  • 文章數: 11
    • 檢視個人資料
Re: 上傳資料至Hadoop HDFS的網路行為
« 回覆 #4 於: 2012-10-26 09:44 »
沒錯,從FastEthernet換成Giga

treble

  • 活潑的大學生
  • ***
  • 文章數: 215
    • 檢視個人資料
    • 牛的大腦
Re: 上傳資料至Hadoop HDFS的網路行為
« 回覆 #5 於: 2012-10-26 22:05 »
交換器都換了,那應該就不會是交換器的問題了

還有其他可疑的設備嗎
[牛的大腦  http://systw.net ] 用來放一些筆記資料
[單字我朋友  http://systw.net/word ] 練英文用的
2分鐘檢測你的單字能力 http://systw.net/word/q.php