酷!學園

站務相關 => Study-Area 公開討論版 => 主題作者是: jade-rabbit 於 2002-06-16 20:47

主題: 今天 June 16 早上中午進不來討論區..
作者: jade-rabbit2002-06-16 20:47
有沒有人有相同狀況..
顯示 phpBB critical error ?

去看西班牙 vs 愛爾蘭囉..
主題: re: 今天 June 16 早上中午進不來討論區..
作者: TyroneYeh2002-06-16 21:36
好像是啥密 User .... 的錯誤訊息, 沒有很注意, 只是整天不能上來發牢騷
主題: re: 今天 June 16 早上中午進不來討論區..
作者: Ken2002-06-16 22:16
今天父親節,studyarea暫停,好令大家有多些時間去陪父親~~~haha
主題: re: 今天 June 16 早上中午進不來討論區..
作者: TyroneYeh2002-06-16 22:22
引述: "Ken"
今天父親節,studyarea暫停,好令大家有多些時間去陪父親~~~haha


父親節不是 8月8日!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: 葉子2002-06-16 22:32
不  應該是study-day喔
因為可以利用這個時間  看看站內的一些文章ㄋㄟ
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-16 23:16
看起來學園和真實學校一樣
每逢假日必休息
上不來怪難過的
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-16 23:23
引述: "ZMAN"
看起來學園和真實學校一樣
每逢假日必休息
上不來怪難過的


嗯~~ 之前都是意外~~ 不過﹐看來可以考慮真的將‘節假日休息’納入規程中哦~~  這樣的話﹐就算真的當了也沒話可說了~~ ^_^
主題: re: 今天 June 16 早上中午進不來討論區..
作者: Ken2002-06-16 23:42
引述: "netman"
引述: "ZMAN"
看起來學園和真實學校一樣
每逢假日必休息
上不來怪難過的


嗯~~ 之前都是意外~~ 不過﹐看來可以考慮真的將‘節假日休息’納入規程中哦~~  這樣的話﹐就算真的當了也沒話可說了~~ ^_^


那放假就要做功課la~~~
各位學長記著給功課學弟做woo~~~
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-17 00:20
難得居然有人要申請功課的﹗這樣的學生實在非常罕見~~

可惜﹐這裡沒老師﹐所以沒人佈置作業。有興趣和學長們一起玩的話﹐先解決這篇吧﹕

http://phorum.study-area.org/viewtopic.php?t=8813

我現在還在想 requirement ﹐或許您可以打個頭陣...  加油吧﹗
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-17 10:18
1.這個好像不像功課耶
    有點像畢業論文

2.哇!放假要做功課
   那還是拜託學園假日照常服務
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-17 10:42
Maybe need 2nd Web-Site, or HA Service!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-17 10:53
引述: "duncanlo"
Maybe need 2nd Web-Site, or HA Service!


cool! another homework?  ^_^
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-17 11:41
你可以先把環境需求列出,
也許可以在東森Cable上找到另一個家...
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-17 12:36
引述: "duncanlo"
你可以先把環境需求列出,
也許可以在東森Cable上找到另一個家...


因為 phpBB 不是我弄的(不敢居功﹐事實上是不會)﹐我猜環境需求大約如下﹕
1) 一個 public IP
2) apache + php + mysql + phpBB

至於機器速度和資源應該沒太大要求﹐能跑就行。不過﹐如何同步資料庫﹖
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-17 12:40
先找出發生問題的真正原因
再來想解決方案
每次都發生在假日耶
會不會和流量有關啊
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-17 12:47
引述: "ZMAN"
先找出發生問題的真正原因
再來想解決方案
每次都發生在假日耶
會不會和流量有關啊


問題還不清楚﹐前兩次知道了﹐因為我修改 apache 的 lograte 的關係﹐有多個 kill -HUP 的信號導致﹐所以在 4 點跑完 crontab 就將 apache 掛掉。這個問題已經修好了﹐但這次與 apache 無關﹐單純是 phpBB 和 mysql 的問題﹐因為掛點時間不在 4 點﹐而是在早上 7 點半...

我還不清楚發生了什麼事情﹐從 log 和 tripwire 來看﹐並無奇怪的地方發現..  :(
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-17 12:50
印象中錯誤訊息提到LAST VISIT
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-17 12:59
引述: "ZMAN"
印象中錯誤訊息提到LAST VISIT


對﹐原本的信息是﹕

phpBB : Critical Error
Could not obtain lastvisit data from user table

就是連接不上資料庫﹐如果將 mysql 關閉﹐則換成﹕
phpBB : Critical Error
Could not connect to database

後來我是從 backup 中將 /var/lib/mysql 還原的﹐所以資料都是從星期天早上 4 點之前的﹐大約丟失了 4 點到 7 點半之間的資料。
而現在﹐還發現‘精華區’不見了﹐以及 linux 套間調查的比例圖沒有了...

抱歉﹐因為我對 database 真是一點概念都沒有。有人願意幫忙解決嗎﹖不過﹐如果不能修復也就算了﹐重新建吧....
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-17 13:54
DB的備份好像有備份的方法!

MySQL要備份,要Dump成一個檔,
然後跟web的檔案一起再壓成tgz,
捲入磁帶中,我是這樣幫我朋友的myphpnuke備份的!
有MySQL最好再裝個phpmyadmin或mysql.php,
需要時可以直接改DB的內容...

DB Replication有工具可以作,
不過兩台內容會有小小的時差,
不然你換成Oracle或DB2那種,
有內建db replication的功能,
可以在db modify commit時,
自動sync到其他台的DB!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-17 14:09
那 duncan 兄願意幫忙維護嗎﹖然則我幫您建個帳號。
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-17 14:19
os,phpbb可以重建,但大家的"口水"不行!
建議先把DB Dump出來後,
再決定要如何處理,
Study-Area應該有Tape備份吧!

順便找生小孩的老爸來看一下吧!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: VBird2002-06-17 14:26
阿!真是太感謝大家的熱情參與了....
因為小弟的 資料庫使用 也跟 netman 兄一般....不熟
還望大家多多的幫忙呢!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-17 14:27
引述: "duncanlo"
os,phpbb可以重建,但大家的"口水"不行!
建議先把DB Dump出來後,
再決定要如何處理,
Study-Area應該有Tape備份吧!

順便找生小孩的老爸來看一下吧!


抱歉﹐所有主機都是‘寄人籬下’的﹐連 CPU 和機殼子甚至電源線都沒有一絲一毫是我們自己的~~ 所以﹐沒有 tape 很正常~~

目前的辦法是 backup 到硬碟中(啊﹐可以說沒 backup 啦)﹐如果您有興趣﹐開個帳號給您上來看﹐如何﹖

至於是否要找其它人﹐到時候再說吧。而且也沒人自願的情況下﹐依 study-area 的傳統作風是﹕從來不強人所難。所以﹐如果 duncan 兄覺得不便插手的話﹐拒絕無妨啦~~ 大家都是一把年紀的人﹐應該沒什麼好誤會的。
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-17 15:38
那你們有把backup的檔案拿出來存在別地方吧?
只要有db dump和web data要移機要死後復活就容易了!

我問問看朋友那兒方不方便,
也許可以透過網路捲到朋友家中的DDS2中,
只要買一捲Tape就行了...

看來研究生,學長,警衛,工友及打掃的歐巴桑等的工作都要自己包了!
不是跟你們一樣一把年紀了...  :evil:  :evil:  :evil:
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-18 12:44
這...這...生小孩的老爸是指誰啊

ORACLE和DB2不便宜耶

我只會賣硬體
不太有實務經驗
有磁帶機當然最好
SONY的大容量不錯
沒有的話花點時間用CD-RW或DVD-R慢慢做
硬碟多的話用RAID 5 + SPARE再加上備份就很完整啦
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-18 13:25
我也不知生出學園的人是誰,
應該要弄個酷學園校史館吧!

嘿~~~~
剛又用了一顆20G的HDD,
跟人換了一台HP DDS2 Tape,
和半打Tape及一捲清潔帶,
我弄張SCSI卡後就可以在高雄試異地備份了!

有加入OTN可以免費Download Oracle,
而且好像for develope或net for .com都可以用,
不過其實用不到這高級的東東,
改用PostgreSQL就很嚇嚇叫了...

至於備份...
建議netman,vbird有空應該把備份存在異地,
雞蛋在一籃總是不好的...
主題: re: 今天 June 16 早上中午進不來討論區..
作者: VBird2002-06-18 14:11
嗯!有道理!感謝duncanlo 的建議!
有時間馬上來進行這個工作!!

Kenny :
我有空將資料 copy 到我的主機上好不好呀!?
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-18 14:59
有時間你還可以試"移機"的練習!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-18 17:35
引述: "VBird"
嗯!有道理!感謝duncanlo 的建議!
有時間馬上來進行這個工作!!

Kenny :
我有空將資料 copy 到我的主機上好不好呀!?


好啊﹐如果空間夠的話﹐那就玩玩吧~~ 這部份您自己要來做嗎﹖還是再商量一個法子什麼的﹖
主題: re: 今天 June 16 早上中午進不來討論區..
作者: TyroneYeh2002-06-18 17:59
如果有三台主機,
一台 SQL,
兩台 同時存取 SQL 主機的資料, 這樣子是不是會比較省一點,

不過感覺上這裡的 SQL 的主機比較不穩定
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-18 19:41
引述: "TyroneYeh"
如果有三台主機,一台 SQL,
兩台 同時存取 SQL 主機的資料, 這樣子是不是會比較省一點,
不過感覺上這裡的 SQL 的主機比較不穩定


假如有單獨的DB主機,可以考慮不要再用MySQL,
而且這種架構是比較好,不用考慮DB Replication問題...

但DB死了,Web也掛了,
所以又可以玩雙A主機(雙Web+DB).

而雙DB之間的Data Sync也是個問題,
我有考慮用Replicaion方式作,
不過MySQL好像沒這功能,
那就要另外裝套件去作,
另外一種是我異想天開的,
學BBS的信件交換方式...用News!

有興趣的人可以加入酷學校資訊中心的義工,
整理出一套完整的方案後,
還可以套用在你工作的地方,
這才是學習和工作結合的好方法...

還有很多東西可以玩咧~~~
主題: re: 今天 June 16 早上中午進不來討論區..
作者: TyroneYeh2002-06-18 20:49
引述: "duncanlo"

假如有單獨的DB主機,可以考慮不要再用MySQL,
而且這種架構是比較好,不用考慮DB Replication問題...

但DB死了,Web也掛了,
所以又可以玩雙A主機(雙Web+DB).

而雙DB之間的Data Sync也是個問題,
我有考慮用Replicaion方式作,
不過MySQL好像沒這功能,
那就要另外裝套件去作,
另外一種是我異想天開的,
學BBS的信件交換方式...用News!

有興趣的人可以加入酷學校資訊中心的義工,
整理出一套完整的方案後,
還可以套用在你工作的地方,
這才是學習和工作結合的好方法...

還有很多東西可以玩咧~~~


現在用 MySQL 的人不計其數, 加上大家都要用 Free 的 DB, 哪裡有比 MySQL 更 Free 與市面上書籍多有介紹,

不過不知道兩個 MySQL (兩台主機) 利用 Samba 把 /var/lib/mysql/ 的資料用 cron 設定每隔多久去 auto copy 不知道是否可以

加入酷學校資訊義工?? 有何工作要做, 加入的目的有多大效益, 去哪裡加入? 要不要掃地等?? 差異多大? 要不要有證照? 需經驗 How year? 要有 what 本事? 還有有人捐款嗎?
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-18 21:08
引述: "TyroneYeh"
現在用 MySQL 的人不計其數, 加上大家都要用 Free 的 DB, 哪裡有比 MySQL 更 Free 與市面上書籍多有介紹,

不過不知道兩個 MySQL (兩台主機) 利用 Samba 把 /var/lib/mysql/ 的資料用 cron 設定每隔多久去 auto copy 不知道是否可以

加入酷學校資訊義工?? 有何工作要做, 加入的目的有多大效益, 去哪裡加入? 要不要掃地等?? 差異多大? 要不要有證照? 需經驗 How year? 要有 what 本事? 還有有人捐款嗎?


PostgreSQL也不錯!其實要看用途,MySQL可以達到大部份的功能,
但真的要用SQL DB的功能,就是少那麼一點小東東...

DB應該是要先Stop Service才行作Copy,
若是放在網路磁碟共用,反而會兩邊都掛掉,
MySQL還算是DataBase,不是FileBase,
要這麼作,要在AP和DataFile間加入一個LOG的功能,
由LOG去解決資料一致性的問題,
這功能你可以找一下Linux HA的資料那兒有!

義工...問學園長吧!
應該只要"熱忱負責能獨立完成任務"就行了...
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-19 10:20
引述: "duncanlo"
應該只要"熱忱負責能獨立完成任務"就行了...


沒錯﹐條件就是這麼簡單。其它別想太多。

說實在的﹐我也不知道義工們要做哪些具體工作﹐掃地遞茶的工作小弟代勞就好~~ 不過﹐我寧願抓多些‘作者’進來寫文章啦~~
主題: re: 今天 June 16 早上中午進不來討論區..
作者: TyroneYeh2002-06-19 11:21
網路上已有很多好文章, 即使在多人寫, 都會大同小異, 還有軟體的日新月異, 文章永遠追不上官方開發速度, 雖然有時候差異不大, 不過就會因為差了一點點就不知如何使用.

小弟認為, 應該要有更多義工加入 CLDP -- Linux 中文文件計劃, 再把國外好的技術文件翻成中文, 我想是能更加惠國人吧!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-19 12:54
引述: "TyroneYeh"
網路上已有很多好文章, 即使在多人寫, 都會大同小異, 還有軟體的日新月異, 文章永遠追不上官方開發速度, 雖然有時候差異不大, 不過就會因為差了一點點就不知如何使用.

小弟認為, 應該要有更多義工加入 CLDP -- Linux 中文文件計劃, 再把國外好的技術文件翻成中文, 我想是能更加惠國人吧!


小弟這裡只是勸大家寫文章﹐至於寫什麼﹖沒設限﹕

寫 CLDP﹖ do it﹗
翻譯文章﹖do it!
寫自己的學習心得﹖ do it!
寫過時文件﹖ do it!
寫最新的技術﹖ do it!

關鍵是﹕are your ready?
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-20 11:13
早上又上不來了耶
錯誤訊息為
phpBB : Critical Error

Could not connect to the database
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-20 11:36
好像是DB Record寫入不完整,
所以session會出現錯誤,
不過知道跟httpd佔99% cpu,
造成回應不完整所致有關!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-20 11:37
啊﹐真是很抱歉﹐我實在不知道是什麼原因。坦白點說﹐我也只是這個 phpBB 系統的 user 而已。多謝幾位朋友﹐尤其是 duncan 兄的努力幫忙和啟發﹐小弟發現了一個奇怪的現象。

首先說說環境好了﹕
1) 幸虧 vbird 兄在 6 月 1 號做了一個 mysql 的 lib 備份﹐我這裡稱之為 0601 備份。
2) 系統每天凌晨用 crontab 將過去 7 天所修改的檔案都備起來﹐不過﹐所產生的舊檔會備新備份蓋掉。目前只保留 2 天這樣的差異備份。
3) 系統沒星期天會進行完整備份。

以上的備份都是以 file 形式進行﹐並沒使用 phpBB 或 mysql 的備份工具。

狀況描述﹕
目前還不知道原因﹐phpBB 會不定時的不能正確讀取 mysql 資料而回報 error ﹐似乎頻率越來越高。

解決方法﹕
目前可以說沒有。

發現現象﹕
經過小弟的‘愚蠢測試’之後﹐發現一個現象﹕
1)假如 error 出現之後﹐將 0601 備份中的﹐關於 phpbb2use* 這些資料蓋回 /var/lib/mysql/phpBB 目錄後﹐error 就能消失。但遺憾的是﹐user 資料只能到 6 月 1 號之前的。
2) 從昨晚的最新備份中﹐再將相關的 phpbb2user* 資料蓋回來﹐就可以獲得凌晨 4 點之前的 user 資料。
3) 相關文章資料沒更動。
4) 但如果重新啟動 mysql 的話﹐又會出現 error
5) 然而只要重複執行 1 和 2 兩個動作就又可以 work ﹐但 4 點之後的 user 資料就沒有了。

不知道如何解決﹖現在已經有 duncan 兄和 amigo 兄答應幫忙了﹐希望儘快能夠解決這個問題。但大家最好有最壞打算﹕萬一不行﹐可能一切重來。所以﹐如果發現重要資料﹐不妨自行收集和整理。

如果有其它朋友樂意幫忙解決﹐歡迎﹗
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-20 11:42
那個什麼"竹貓星球"的有沒有解決方案啊
主題: re: 今天 June 16 早上中午進不來討論區..
作者: myz2002-06-20 11:42
引述: "netman"
但大家最好有最壞打算﹕萬一不行﹐可能一切重來。所以﹐如果發現重要資料﹐不妨自行收集和整理。


可不可以把這些移到 舊站討論區,然後設定成不註冊不能post...就是凍結掉新增資料
這樣還能夠用搜尋或是瀏覽舊文章....
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-20 11:53
phpBB,mysql單獨時都沒有問題!

現在已開始著手作備份的方式規劃,
隨時可能要準備移機或重建吧!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-20 11:56
引述: "duncanlo"
phpBB,mysql單獨時都沒有問題!

現在已開始著手作備份的方式規劃,
隨時可能要準備移機或重建吧!


加油!加油!加油!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-20 12:00
第一次感覺到有災後復原需求!!!

我連磁帶機和半打Tape都準備好了!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: VBird2002-06-20 12:02
引述: "myz"
可不可以把這些移到 舊站討論區,然後設定成不註冊不能post...就是凍結掉新增資料
這樣還能夠用搜尋或是瀏覽舊文章....

這也是我個人的討論區目前的情況,就是將舊的討論區獨立出來,
以新的 phpBB 2.0.1 來進行討論區的重新設置!
http://aerosol.ev.ncku.edu.tw/~vbird/forums
但是.....資料會變的亂七八糟(有新有舊...),尋找的情況也比較不良一點....

引述: "duncanlo"
好像是DB Record寫入不完整,
所以session會出現錯誤,
不過知道跟httpd佔99% cpu,
造成回應不完整所致有關

在我的網站上面也同樣的發現 http 會有導致 CPU 高達 100% 的連續數個小時的情況發生,
這個情況已經造成我相當大的困擾,就是一重新開機之後,大約 2-3 天,
系統就會『自動的掛點』去~~死掉掉!他 X 的!真不爽!
後來受不了了,在持續的監測之下,
以 netstat 的 "愚蠢" 方式來觀測連線的 IP 狀態,
發現,有幾個 IP 的連線數相當的驚人,不但有 ESTABLISH 還有 TIME_WAIT 等等的狀態,
在這情況下, CPU 的 loading 高達 100% ,
等我將該 IP 以 iptables 擋下來之後,竟然發現 CPU loading 降至 20% 不到,
因此,我就在懷疑這是因為砍站軟體的『多點連線下載』造成的問題,
由於我的網頁當中很多的錯誤連結(不是故意的,而是有的資料太舊了!),
所以我就利用 error_log 這一個 apache 提供的錯誤訊息資料的內容,
分析裡頭的資訊,並將錯誤的 IP 取出來,然後以 iptables 自動的執行抵擋的工作,
並將此工作排入 crontab 當中,每三十分鐘監測分析一次 error_log 檔案,
因此,當 CPU loading 太高的時候,大概程式就可以自動的來執行分析的行為,
然後加以抵擋下來!
目前我用這個機制的抵擋方式,意外的也可以將 nimda 病毒所產生的 error 之 IP 也擋下來,
所以,也就不需要擔心 nimda 造成的網路頻寬損耗了(雖然很小!)
此外,由於程式每個禮拜會將 iptables 的規則重新清除一次,
所以,即使是動態 IP 也沒關係,因為每個星期清除一次 IP 資料,
則動態IP的資訊也會被清除,所以,一個 IP 最多可以被擋住一個星期吧!
然後就會重新的讓該 IP 具有登入的權限了~~ ^_^

不過這個方式也有一些困擾,那就是當網頁資料沒有錯誤連結的時候,
那麼進行砍站時,自然也就沒有錯誤訊息了~~
這比較麻煩,或許需要利用一些小技巧,
自己加一些正常使用者不會碰觸到的超連結吧!!

目前這個程式我還在模組化當中,等到足夠釋出的時候,
我再將他公布出來吧!
基本上,我認為上面的流程介紹中,
諸位學長應該都有能力寫出一個適合自己的 scripts 了才對!
阿!我太自不量力了!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-20 12:21
1.鳥哥不愧是鳥哥
    找出發生問題的原因是很重要且基本的

2.在硬體的建置上需不需要升級擴充
    發起個樂捐大家來贊助一下
    有錢的出錢有設備的出設備有技術的出技術
    都沒有的就在旁邊搖旗吶喊加油打氣
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-20 13:05
現在還在找造成DB錯誤和Apache 99% CPU具體起因,
不過目前狀跟大鳥哥說的差不多,
不知道跟最近那個apache 1.3安全問題有關!

Hardware好弄,但另一個問題是:
棺材要放在那個靈骨塔!
墓地連外道路是否順暢!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-20 13:09
引述: "duncanlo"
現在還在找造成DB錯誤和Apache 99% CPU具體起因,
不過目前狀跟大鳥哥說的差不多,
不知道跟最近那個apache 1.3安全問題有關!

Hardware好弄,但另一個問題是:
棺材要放在那個靈骨塔!
墓地連外道路是否順暢!


靈骨塔和聯外道路花點錢就解決了
大家SHARE一下很簡單啊
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-20 13:13
看了幾下,才看清是要share錢,可以考慮啦!

我本以你要弄成Grid Cluster,
分散在每一地咧!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-20 13:14
引述: "ZMAN"
靈骨塔和聯外道路花點錢就解決了
大家SHARE一下很簡單啊


等等﹐先看看是否有此必要﹖

如果單純是用來做備份的話﹐我可以提供另外一台較慢的機器﹐也就是目前 www.study-area.org 放網頁的地方。
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-20 13:25
引述: "duncanlo"
看了幾下,才看清是要share錢,可以考慮啦!

我本以你要弄成Grid Cluster,
分散在每一地咧!


沒有那麼複雜啦

我只是想說大家都熱愛這兒
可以有錢出錢有力出力
把這建設好不要常常有問題
已經上癮的人進不來很痛苦的呢

至於錢的部分NETMAN不要緊張
完全是個人有意願就贊助
沒有任何商業氣息會污染這個FREE的站
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-20 13:40
引述: "ZMAN"
至於錢的部分NETMAN不要緊張
完全是個人有意願就贊助
沒有任何商業氣息會污染這個FREE的站


哦﹐我這裡也請 ZMAN 放心﹐小弟也沒想得那麼複雜。只是不想讓大家破費啦。

機器目前不穩看來是設定問題而已﹐似乎和硬體及連線方面沒太大影響﹐雖然半年前常受網路問題的困繞﹐不過現在發生的機會已經明顯好轉多了。印象中﹐自從大哥光臨之後﹐非系統因素而引起的故障只有一次而已﹐就是上次晚上 11 點從 tarnet 進不來的那次。其它的﹐主要是人為的設定疏忽(如 crontab 的錯誤)﹐還有就應該是 database 的問題了﹐這部份目前正拜託 duncan 兄解決。謝謝啦﹗

只是﹐是否真的要如 duncan 兄說的玩 grid ﹐那似乎有點誇張了。而 ZMAN 兄的好意實在非常感動﹐不過也實在不希望大家破費。真想出錢﹐倒不如看看下次聚會如何花吧。反正 tarnet 目前的資源還可以使用﹐那就儘量使用免費的囉~~  ^_^
主題: re: 今天 June 16 早上中午進不來討論區..
作者: TyroneYeh2002-06-20 13:40
呀~~, 如果一切重來, 應該不會吧! 搞不好是資料過多的關係, 看看是否可以把 sql 輸出成 sql file 的方式備份資料庫, 例如 PHP Nuke 的管理選單中就可以 Backup DB, 用 PHP 語法去做的備份(不過沒有特別研究)

它好像是 用 PHP 去 exec mysqldump 這個指令(Linux 下 MySQL 的指令: mysqldump) 我想如果用 shell 也行, 就要看看語法怎麼用囉!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-20 13:44
DUNCAN就看你的囉
搞定了下次回台北請你吃飯
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-20 14:06
mysql不像oracle有提供rman api,
也沒有提供好的備份工具,
而且現在也沒用其他的備份軟體!

目前應該也是用mysqldump,
但phpBB有2萬多筆record,
光db就70幾mb大,
dump的時間和大小都要考慮到,
當然最好是不停機備份,
而且備份時間越短越快最好,
現在正在試incremental backup的規則設定,
希望針對DB備份作較完善的備份方案!

我把最近一次完整的DB拿回我的測試機上試,
準備拿碼錶算備份時間了...
主題: re: 今天 June 16 早上中午進不來討論區..
作者: TyroneYeh2002-06-20 16:20
引述: "duncanlo"
mysql不像oracle有提供rman api,
也沒有提供好的備份工具,
而且現在也沒用其他的備份軟體!

目前應該也是用mysqldump,
但phpBB有2萬多筆record,
光db就70幾mb大,
dump的時間和大小都要考慮到,
當然最好是不停機備份,
而且備份時間越短越快最好,
現在正在試incremental backup的規則設定,
希望針對DB備份作較完善的備份方案!

我把最近一次完整的DB拿回我的測試機上試,
準備拿碼錶算備份時間了...


這麼大, 把資料表分開時間備份如何? 一樣利用 mysqldump
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-20 16:44
最新測試報告,在我的測試機上,
真讓我想不到,MySQL ReadOnly Query超快的!
上面那個是一個table一個檔,
下面那個是DB全部一個檔,
用mysqldump --tab=/tmp/mysql/phpBB --opt指令備,
DB使用Full Backup的方式!
原始DB總大小大約70幾mb左右,
用time算時間,都在1,2十秒內完成!

Full Restore的時間要更久,
等我把script寫好,
就把測試結果post上來!

代碼: [選擇]
Backup DB each Table in one file...
--- Start ---
                                                                               
                                                                               
real    0m5.053s
user    0m0.020s
sys     0m0.070s
                                                                               
Total sub-dir. size (kb):
28624   phpBB
--- End ---
                                                                               
Backup DB in one file...
--- Start ---
                                                                               
real    0m16.721s
user    0m5.280s
sys     0m3.940s
                                                                               
File size (kb):
31328   phpBB.sql
--- End ---
[root@demo mysql]#
主題: re: 今天 June 16 早上中午進不來討論區..
作者: 梁楓2002-06-20 16:58
我個人認為
現在會掛站的原因
Mysql本身不穩定的問題應該比較重吧?

像我本身架的BBS
我們的ChatRoom Mud指令以經全部放進Mysql方便在聊天室裡做查詢的動作
(哈,因為三不五時就創造新的指令出來...背不完 f^^)

但是後來發現,Mysql會有崩愧的問題...

我們站正打算轉成PostgreSQL,比較不容易出問題
但是中文資料能用的太少了 /_\

要不要考慮把PHP移植到PostgreSQL

如果要的話,我八月份可以把時間調出來幫忙 ^^

七月份我要忙大陸跟工作室轉型的事 ^^
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-20 17:05
引述: "梁楓"
但是後來發現,Mysql會有崩愧的問題...

我們站正打算轉成PostgreSQL,比較不容易出問題
但是中文資料能用的太少了 /_\

要不要考慮把PHP移植到PostgreSQL


MySQL在量大需求這方面是沒PostgreSQL好,
而且一些後續機制也不是很建全...

我也可以在測試機嚐試轉到PostgreSQL看看,
不過目前應該先需要重建DB,再Restore資料!
DB移轉又是另一項功課了...
主題: re: 今天 June 16 早上中午進不來討論區..
作者: TyroneYeh2002-06-20 17:07
引述: "梁楓"
我們站正打算轉成PostgreSQL,比較不容易出問題
但是中文資料能用的太少了 /_\

要不要考慮把PHP移植到PostgreSQL


改資料庫, 相關文件又很少, 操作上那不是很吃力, 看看是更新 MySQL 版本會不會比較簡單
主題: re: 今天 June 16 早上中午進不來討論區..
作者: 梁楓2002-06-20 17:22
引述: "TyroneYeh"
改資料庫, 相關文件又很少, 操作上那不是很吃力, 看看是更新 MySQL 版本會不會比較簡單


根據我們上次的經驗
我們是認為還好...

因為許多指令相同

不過要把所有PHP中所有 mysql的指令全挑出來比較復雜一點

不過幸好的是,PHP使用到資料庫的部份,都會以如“mysql_fetch”等來使用
可以讓轉移的程序更為順利...

and... 依目前MySql的架構,新版的應該也不會有特別突出的穩定性。
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-20 17:42
1.http://www.pgsql.com.tw/
   有不少關於PostgreSQL的中文文件和討論

2.資料庫大同小異
    差異大多只在各家延伸加強的功能部分
    以前在學校學關聯性資料庫時
    教授只教我們Structure Query Language
   學會SQL就能使用各家廠牌的關聯性資料庫
    只要補強各廠牌差異的部分
    以前在寫VB程式時也是用SQL
   
3.網路上早已經有MYSQL轉PostgreSQL的轉檔程式

4.MYSQL和PostgreSQL指令語法有一些差異ㄡ

5.以快速建立網頁資料庫來看MYSQL是比較適合的
    但是要完整穩定的關聯性資料庫還是PostgreSQL比較恰當
    網路上這方面的分析比較很多我就不多說
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-20 18:16
用FREEBSD會更穩效能更好

這樣說梁楓應該會很高興
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-20 19:43
:o ...真不知該說什麼!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: TyroneYeh2002-06-20 21:16
引述: "ZMAN"
1.http://www.pgsql.com.tw/
   有不少關於PostgreSQL的中文文件和討論

2.資料庫大同小異
    差異大多只在各家延伸加強的功能部分
    以前在學校學關聯性資料庫時
    教授只教我們Structure Query Language
   學會SQL就能使用各家廠牌的關聯性資料庫
    只要補強各廠牌差異的部分
    以前在寫VB程式時也是用SQL
   
3.網路上早已經有MYSQL轉PostgreSQL的轉檔程式

4.MYSQL和PostgreSQL指令語法有一些差異ㄡ

5.以快速建立網頁資料庫來看MYSQL是比較適合的
    但是要完整穩定的關聯性資料庫還是PostgreSQL比較恰當
    網路上這方面的分析比較很多我就不多說



小弟小試一下, MySQL 的資料表用 mysql2pgsql (perl) 程式去做, 會有問題內~
不容易轉, 小弟有用兩個轉換程式:
1.官方網站的 mysql2pgsql ( http://www.pgsql.com/download/ )
2.應該是非官方的 mysql2pgsql and my2pg ( http://www.rot13.org/~dpavlin/sql.html )

不過都無法轉換成功, 是否還有更相容的轉換程式呢?
主題: re: 今天 June 16 早上中午進不來討論區..
作者: 梁楓2002-06-20 22:46
1. 轉移的重點不在於 Mysql V.S. PostgreSQL的部份,而是在於PHP程式碼的部份。

2. 用FreeBSD我會被大家打死,現在這裡口水多的人好像用FreeBSD的並不多 f^^。

3. 不過,我個人認為 FreeBSD的承載量確實比Linux大。
主題: re: 今天 June 16 早上中午進不來討論區..
作者: TyroneYeh2002-06-20 23:39
引述: "梁楓"
1. 轉移的重點不在於 Mysql V.S. PostgreSQL的部份,而是在於PHP程式碼的部份。


能請問一下要怎麼轉嗎?
有含中文資料的我執行 mysql2pgsql mysql-tw.sql 然後產生兩個檔案
出現下面的錯誤
Unable to open file mysql-tw.sql at /usr/local/bin/mysql2pgsql line 64.
不含的中文的就正常執行通過, 不過轉好的資料也無法匯入 PostgreSQL

重點是我怎麼轉都不成功, 請問要怎麼轉呢? 是否我用錯了轉檔程式?
可以教學一下嗎?

謝謝
主題: re: 今天 June 16 早上中午進不來討論區..
作者: myz2002-06-21 00:09
引述: "梁楓"

2. 用FreeBSD我會被大家打死,現在這裡口水多的人好像用FreeBSD的並不多 f^^。

怎麼會呢?
我覺得 黑貓白貓 如果能確定哪一隻貓厲害 就用哪一隻.
有好的環境比較重要啦~
如果說用Windows+討論區都work的很正常的話
我個人覺得那也不錯阿~~
主題: re: 今天 June 16 早上中午進不來討論區..
作者: 梁楓2002-06-21 00:24
重點就在這...
如果東西有問題
只有我一個人能處理
那這就不叫團隊了 ^^
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-21 01:13
引述: "梁楓"
1. 轉移的重點不在於 Mysql V.S. PostgreSQL的部份,而是在於PHP程式碼的部份。

2. 用FreeBSD我會被大家打死,現在這裡口水多的人好像用FreeBSD的並不多 f^^。

3. 不過,我個人認為 FreeBSD的承載量確實比Linux大。


2.不會有人打死你

3.承載量大多了
主題: re: 今天 June 16 早上中午進不來討論區..
作者: ZMAN2002-06-21 01:15
正經一點好了
我想現在只要顧好備份的部分
這兒應該快轉換為ZOPE吧
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-21 12:20
我已花時間在弄一個簡單又好用的備份方法了!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: netman2002-06-21 13:14
引述: "TyroneYeh"
重點是我怎麼轉都不成功, 請問要怎麼轉呢? 是否我用錯了轉檔程式?
可以教學一下嗎?

謝謝


抱歉﹐小弟對這個完全不會﹐不過剛才在 news group 上看到如下文章﹐希望有用(希望啦)﹕

"幾 何(M)" <jhlai.bbs@bbs.ntu.edu.tw> 撰寫於郵件 news:410kPD$5aH@bbs.ntu.edu.tw...
> ==> bensonpeng.bbs@bbs.nsysu.edu.tw (新竹上班族) 提到:
> > 請問要如何將mysql's data 轉到 postgresql server
>
> 以下為postgresql的技術網站
> http://techdocs.postgresql.org/
> 這裡有幾篇文章值得你看一下
> 這裡的資訊很有用, 只是都得試一下, 沒有one click one button 的簡便方法
> 不過, 這個好像不是甚麼大問題, 解答還蠻多的
> MySQL
>
> Conversion tool for migrating from MySQL to PostgreSQL by PostgreSQL Inc.
> How-To: Migrating from MySQL to PostgreSQL by Zach Beane
> my2pg.pl - A Perl script used to convert a MySQL database dump to PostgreSQL-compatible format, by Maxim Rudensky and Valentine Danilchuk
> mysql2pgsql - A Perl script used to convert MySQL databases dump to a PostgreSQL-compatible format, by Dobrica Pavlinusic
> MySQL PHP to PostgreSQL by Michael Kohn
> --
主題: re: 今天 June 16 早上中午進不來討論區..
作者: 梁楓2002-06-21 14:02
引述: "TyroneYeh"

能請問一下要怎麼轉嗎?
有含中文資料的我執行 mysql2pgsql mysql-tw.sql 然後產生兩個檔案
出現下面的錯誤
Unable to open file mysql-tw.sql at /usr/local/bin/mysql2pgsql line 64.
不含的中文的就正常執行通過, 不過轉好的資料也無法匯入 PostgreSQL


那是因為中文衝碼
英語系(每個字一個字元)的國家是遇不到的...

我目前知道的做法有二種:
1. 先把所有會衝碼的字挑出,加上“\”。
2. 用如php可自動在衝碼文字上加上“\”的語言,做成資料庫轉換的動作。

而在如phpBB的轉換,則要把所有的Mysql語法挑出,改成適合PostgreSQL的語法。
主題: re: 今天 June 16 早上中午進不來討論區..
作者: slipa2002-06-21 16:47
引述: "duncanlo"
我已花時間在弄一個簡單又好用的備份方法了!


dnucan 兄:
    可不可以跟我們分享一下這個簡單又好用的備份方法呢?
     :D
    謝謝你~~
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-21 19:21
備份部份已作的差不多了,現在在作Restore部份,
現在比較有問題的是pre table部份,
那個script內的用awk套table名,
不過我不會把外部變數轉入!

現在還不到需要把DB轉到PostgreSQL的地步,
不過弄個功能完整的DB來用,是未來應該會進行的!

php code中文衝碼的問題真的很頭大,
DB的內容是正常,但畫面就是秀不出正常的字,
之前忘了是誰想架Nuke系列的Web,
那時我有提出這個可能發生問題.

phpBB我現在還沒試,不過有一種可能的作法,
phpBB同時有支援mysql,postgresql,
所以可能先用postgresql先把table建好,
再把data從mysql轉到postgresql,
兩者間的資料結構應該差不了太多!

假如大家對mysql <-> postgresql有興趣,
可以到別版新開主題問,
這樣應該會有更多人會看到這個問題! 3Q
主題: re: 今天 June 16 早上中午進不來討論區..
作者: TyroneYeh2002-06-21 19:30
引述: "duncanlo"
php code中文衝碼的問題真的很頭大,
DB的內容是正常,但畫面就是秀不出正常的字,
之前忘了是誰想架Nuke系列的Web,
那時我有提出這個可能發生問題.


有中文問題嗎?
試試 big5 中文字串處理函數集吧!
http://siryeh.com/modules.php?name=Downloads&d_op=viewdownloaddetails&lid=9

小弟在試驗它是否還有其他中文問題, 希望可以有人在看看有哪些中文會有問題,
把有問題的字給他輸入到小弟的測試網站 http://postnuke.siryeh.com 中的討論區,

大家試試看吧!
主題: re: 今天 June 16 早上中午進不來討論區..
作者: duncanlo2002-06-21 19:55
Ok! 等我朋友的主機活起來後,
我就提供幾個有問題的字給你試一下!

最近在梅中網管者看到一篇,提供給你參考一下:
http://www.phpnuke-tw.com/modules.php?op=modload&name=Forum&file=viewtopic&topic=445&forum=3

我記得現在本站phpBB的版本,
好像也不行存Big5碼的日文甲名...