主題: ftp連線效能問題

[cisco3662]

我用proftpd
目前由外點每一個鐘頭約有1000台主機同時需要連線至ftp抓檔案
我的proftp主機同時只允許20個連線進來，因為發現有些外點的主機無法連線，故我增加proftp的連線數
但只要連線數一增加，proftp主機就會產生system loading的問題
想請教該如何有效解決

[kenduest]

我用proftpd
目前由外點每一個鐘頭約有1000台主機同時需要連線至ftp抓檔案
我的proftp主機同時只允許20個連線進來，因為發現有些外點的主機無法連線，故我增加proftp的連線數
但只要連線數一增加，proftp主機就會產生system loading的問題
想請教該如何有效解決

先使用 hdparm -tT 去測試一下硬碟讀取速度，看實際上能夠到多少。然後使用 iostat 程式看一下 disk 的目前大致上使用的存取速度為何，也許你的問題是卡在 disk io 已經到瓶頸了。

[cisco3662]

我用proftpd
目前由外點每一個鐘頭約有1000台主機同時需要連線至ftp抓檔案
我的proftp主機同時只允許20個連線進來，因為發現有些外點的主機無法連線，故我增加proftp的連線數
但只要連線數一增加，proftp主機就會產生system loading的問題
想請教該如何有效解決

先使用 hdparm -tT 去測試一下硬碟讀取速度，看實際上能夠到多少。然後使用 iostat 程式看一下 disk 的目前大致上使用的存取速度為何，也許你的問題是卡在 disk io 已經到瓶頸了。

代碼: [選擇]

[root@ftp /]# df -h
檔案系統              容量  已用 可用 已用% 掛載點
/dev/hda5             5.8G  165M  5.4G   3% /
/dev/hda1             373M   13M  341M   4% /boot
/dev/hda8              50G  394M   47G   1% /home
none                  752M     0  752M   0% /dev/shm
/dev/hda7             251M  8.1M  230M   4% /tmp
/dev/hda2             9.7G  4.5G  4.8G  49% /usr
/dev/hdb1              74G  1.4G   69G   2% /var
/dev/hda3             5.8G  1.4G  4.2G  25% /backup
[root@ftp /]# hdparm -tT /dev/hda

/dev/hda:
 Timing buffer-cache reads:   128 MB in  0.13 seconds =984.62 MB/sec
 Timing buffered disk reads:  64 MB in 18.98 seconds =  3.37 MB/sec
[root@ftp /]# iostat -k
Linux 2.4.20-8 (ftp.king.com.tw)     西元2010年10月25日

avg-cpu:  %user   %nice    %sys   %idle
           6.09    0.00   29.57   64.35

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
dev3-0            3.65       119.18        12.86     359503      38784
dev3-1          140.16         1.15       937.20       3477    2827000這樣的瓶頸是出在io上嗎??
還有，hda Timing buffer-cache reads測到984.62 MB/sec，一般ATA133不是只有133MB/s嗎??

[廉價勞工]

Timing buffered disk reads:  64 MB in 18.98 seconds =  3.37 MB/sec

看起來慢得蠻誇張的 , 可能要檢查一下硬碟囉

[cisco3662]

Timing buffered disk reads:  64 MB in 18.98 seconds =  3.37 MB/sec

看起來慢得蠻誇張的 , 可能要檢查一下硬碟囉

我另外找了兩台PC，一 台是IDE，一台是SATA，結果如下，差異並不大

代碼: [選擇]

[root@mail /]# hdparm -tT /dev/sdb

/dev/sdb:
 Timing cached reads:   4552 MB in  2.00 seconds = 2277.03 MB/sec
 Timing buffered disk reads:   22 MB in  3.18 seconds =   6.91 MB/sec

[root@localhost root]# hdparm -tT /dev/hda

/dev/hda:
 Timing buffer-cache reads:   128 MB in  0.11 seconds =1163.64 MB/sec
 Timing buffered disk reads:  64 MB in 17.58 seconds =  3.64 MB/sec

[kenduest]

檢查你主機板是否有設定錯誤吧。還有測試時候要先確定沒一堆人在用服務讓硬碟變慢。

代碼: [選擇]

[root@service ~]# hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   4020 MB in  2.00 seconds = 2011.54 MB/sec
 Timing buffered disk reads:  174 MB in  3.02 seconds =  57.69 MB/sec

[root@service ~]# hdparm -i /dev/sda

/dev/sda:

 Model=WDC WD800JD-75MSA1                      , FwRev=10.01E01, SerialNo=     WD-WMAM9P116447
 Config={ HardSect NotMFM HdSw>15uSec SpinMotCtl Fixed DTR>5Mbs FmtGapReq }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=65
 BuffType=unknown, BuffSize=8192kB, MaxMultSect=16, MultSect=?8?
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=156250000
 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2
 AdvancedPM=no WriteCache=enabled
 Drive conforms to: Unspecified:  ATA/ATAPI-1 ATA/ATAPI-2 ATA/ATAPI-3 ATA/ATAPI-4 ATA/ATAPI-5 ATA/ATAPI-6 ATA/ATAPI-7

 * signifies the current active mode



[cisco3662]

檢查你主機板是否有設定錯誤吧。還有測試時候要先確定沒一堆人在用服務讓硬碟變慢。

代碼: [選擇]

[root@service ~]# hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   4020 MB in  2.00 seconds = 2011.54 MB/sec
 Timing buffered disk reads:  174 MB in  3.02 seconds =  57.69 MB/sec

[root@service ~]# hdparm -i /dev/sda

/dev/sda:

 Model=WDC WD800JD-75MSA1                      , FwRev=10.01E01, SerialNo=     WD-WMAM9P116447
 Config={ HardSect NotMFM HdSw>15uSec SpinMotCtl Fixed DTR>5Mbs FmtGapReq }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=65
 BuffType=unknown, BuffSize=8192kB, MaxMultSect=16, MultSect=?8?
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=156250000
 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2
 AdvancedPM=no WriteCache=enabled
 Drive conforms to: Unspecified:  ATA/ATAPI-1 ATA/ATAPI-2 ATA/ATAPI-3 ATA/ATAPI-4 ATA/ATAPI-5 ATA/ATAPI-6 ATA/ATAPI-7

 * signifies the current active mode



我不太確定學長主機板設定錯誤的意思，以下是hdparm -i 的結果

代碼: [選擇]

[root@ftp /]# hdparm -i /dev/hda

/dev/hda:

 Model=WDC WD800AAJS-00PSA0, FwRev=05.06H05, SerialNo=WD-WMAP9C750354
 Config={ HardSect NotMFM HdSw>15uSec SpinMotCtl Fixed DTR>5Mbs FmtGapReq }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=50
 BuffType=unknown, BuffSize=8192kB, MaxMultSect=16, MultSect=16
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=156299375
 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2
 AdvancedPM=no WriteCache=enabled
 Drive conforms to: device does not report version:  1 2 3 4 5 6 7

[廉價勞工]

測試前先看一下top , 是不是io wait塞滿了
會說你測試出來結果很慢不是沒原因的
請參考  http://www.linuxinsight.com/how_fast_is_your_disk.html

[cisco3662]

測試前先看一下top , 是不是io wait塞滿了
會說你測試出來結果很慢不是沒原因的
請參考  http://www.linuxinsight.com/how_fast_is_your_disk.html

看完top後

代碼: [選擇]

CPU states:   7.5% user  33.1% system   0.0% nice   0.0% iowait  59.2% idle馬上在hdparm

代碼: [選擇]

[root@ftp log]# hdparm -tT /dev/hda
/dev/hda:
 Timing buffer-cache reads:   128 MB in  0.12 seconds =1066.67 MB/sec
 Timing buffered disk reads:  64 MB in 17.99 seconds =  3.56 MB/sec
主機loading飆高的top

代碼: [選擇]

CPU states:  30.6% user  59.4% system   0.0% nice   0.0% iowait   9.9% idle
Mem:  1539892k av, 1515164k used,   24728k free,       0k shrd,  234372k buff
                    317380k actv,  259192k in_d,   77624k in_c
Swap: 2096440k av,       0k used, 2096440k free                 1186816k cached

  PID USER     PRI  NI  SIZE  RSS SHARE STAT %CPU %MEM   TIME CPU COMMAND
  321 root      25   0     0    0     0 RW   49.7  0.0 438:52   0 kjournald
 4968 nobody    20   0  2020 2020  1444 S     1.9  0.1   0:34   0 proftpd
32136 root      22   0  2264 2264  1636 S     1.9  0.1   0:00   0 proftpd
  604 root      15   0   548  548   468 D     0.9  0.0   4:24   0 syslogd
32069 vweb      20   0  2184 2184  1604 S     0.9  0.1   0:00   0 proftpd
32074 vweb      20   0  2308 2308  1680 S     0.9  0.1   0:00   0 proftpd
32091 nobody    21   0  2268 2268  1640 S     0.9  0.1   0:00   0 proftpd
32092 nobody    21   0  2268 2268  1640 S     0.9  0.1   0:00   0 proftpd
32094 nobody    21   0  2268 2268  1640 S     0.9  0.1   0:00   0 proftpd
32095 nobody    21   0  2268 2268  1640 S     0.9  0.1   0:00   0 proftpd
32096 root      21   0  2264 2264  1636 S     0.9  0.1   0:00   0 proftpd
32099 root      21   0  2264 2264  1636 S     0.9  0.1   0:00   0 proftpd
32100 root      22   0  2264 2264  1636 S     0.9  0.1   0:00   0 proftpd
32101 root      22   0  2264 2264  1636 S     0.9  0.1   0:00   0 proftpd
32102 root      22   0  2264 2264  1636 S     0.9  0.1   0:00   0 proftpd
32104 root      22   0  2264 2264  1636 S     0.9  0.1   0:00   0 proftpd
32108 root      22   0  2264 2264  1636 S     0.9  0.1   0:00   0 proftpd
32115 root      22   0  2264 2264  1636 S     0.9  0.1   0:00   0 proftpd
32118 root      22   0  2264 2264  1636 S     0.9  0.1   0:00   0 proftpd我發現kjournald這支loading很高

[rainday]

Timing buffered disk reads:  64 MB in 17.99 seconds =  3.56 MB/sec 不到10M真的是太慢了
1.檢查BIOS內關於IDE SATA UDMA的設定
2.查檢查排線
3.硬碟的jump


hdparm -i /dev/sde1

/dev/sde1:

 Model=WDC WD800JD-00HKA0, FwRev=13.03G13, SerialNo=WD-WMAJ91748056
 Config={ HardSect NotMFM HdSw>15uSec SpinMotCtl Fixed DTR>5Mbs FmtGapReq }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=58
 BuffType=unknown, BuffSize=8192kB, MaxMultSect=16, MultSect=off
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=156301488
 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6     <--- 我的有使用並支援UDMA6,
 AdvancedPM=no WriteCache=enabled
 Drive conforms to: Unspecified:  ATA/ATAPI-1,2,3,4,5,6


hdparm -tT /dev/sde1

/dev/sde1:
 Timing cached reads:   4378 MB in  2.00 seconds = 2189.84 MB/sec
 Timing buffered disk reads: 156 MB in  3.03 seconds =  51.42 MB/sec