“集群式”橋梁結(jié)構(gòu)健康監(jiān)測(cè)項(xiàng)目海量數(shù)據(jù)管理策略研究
車功健，李紅萬
摘要：在橋梁健康監(jiān)測(cè)項(xiàng)目中，通過實(shí)時(shí)采集安裝在大橋上的傳感器數(shù)據(jù)，所采集的數(shù)據(jù)量隨著時(shí)間的推移將會(huì)是海量的，如何對(duì)海量數(shù)據(jù)進(jìn)行管理，具有重要意義。本文通過對(duì)Oracle分區(qū)表技術(shù)、數(shù)據(jù)備份、數(shù)據(jù)壓縮和雙機(jī)熱備技術(shù)的分析探討，為該系統(tǒng)中的海量數(shù)據(jù)管理提供一種經(jīng)濟(jì)、可行的解決方案。
關(guān)鍵字：結(jié)構(gòu)健康監(jiān)測(cè)系統(tǒng)；分區(qū)表；數(shù)據(jù)備份；數(shù)據(jù)壓縮；雙機(jī)熱備
1 概述
“集群式”橋梁結(jié)構(gòu)健康監(jiān)測(cè)系統(tǒng)由傳感器子系統(tǒng)、數(shù)據(jù)采集與傳輸子系統(tǒng)、數(shù)據(jù)處理與控制系統(tǒng)和結(jié)構(gòu)健康評(píng)估系統(tǒng)組成，通過采集安裝在大橋各關(guān)鍵位置的傳感器輸出數(shù)據(jù)，并對(duì)這些數(shù)據(jù)進(jìn)行處理、分析和評(píng)估，為橋梁日常養(yǎng)護(hù)提供針對(duì)性建議。
該“集群式”橋梁結(jié)構(gòu)健康監(jiān)測(cè)系統(tǒng)由四座橋組成。安裝在這四座橋上的傳感器種類和數(shù)量見下表1。
 

 

如上表：加速度計(jì)、傾角儀、位移計(jì)和應(yīng)變計(jì)采用50Hz采樣率；風(fēng)速儀、GPS采用20Hz采樣率；其它傳感器采用1Hz采樣率。
對(duì)橋梁的處理、分析和評(píng)估是建立在高質(zhì)量的監(jiān)測(cè)數(shù)據(jù)基礎(chǔ)上的，所以對(duì)數(shù)據(jù)進(jìn)行有效地管理顯得尤為重要。下面我們針對(duì)數(shù)據(jù)管理過程中的常見問題對(duì)其進(jìn)行分析研究。
2 存在問題及對(duì)策
湖北滬蓉西高速“集群式”橋梁結(jié)構(gòu)健康監(jiān)測(cè)系統(tǒng)是實(shí)時(shí)、連續(xù)不間斷地采集傳感器輸出數(shù)據(jù)，并將采集數(shù)據(jù)存儲(chǔ)在Oracle數(shù)據(jù)庫中，同時(shí)，數(shù)據(jù)處理軟件會(huì)從數(shù)據(jù)庫中提取數(shù)據(jù)進(jìn)行分析處理。
根據(jù)上表傳感器數(shù)量及采樣頻率，可計(jì)算出：每天數(shù)據(jù)量約為16G，每年采集的數(shù)據(jù)將會(huì)是海量的。面對(duì)海量數(shù)據(jù)，如何進(jìn)行管理，尤為重要。因?yàn)楫?dāng)數(shù)據(jù)庫中數(shù)據(jù)量達(dá)到一定程度時(shí)，再對(duì)數(shù)據(jù)庫進(jìn)行存儲(chǔ)和檢索操作時(shí)，軟件響應(yīng)速度會(huì)變慢，操作時(shí)間變長(zhǎng)，影響系統(tǒng)性能；更嚴(yán)重會(huì)導(dǎo)致數(shù)據(jù)庫服務(wù)器宕機(jī)，系統(tǒng)崩潰。因此，解決海量數(shù)據(jù)存儲(chǔ)、檢索效率問題刻不容緩。針對(duì)這一問題，我們?cè)谠撓到y(tǒng)中制定了相應(yīng)的數(shù)據(jù)管理策略，包括使用分區(qū)表技術(shù)、數(shù)據(jù)壓縮技術(shù)、數(shù)據(jù)備份技術(shù)和雙機(jī)熱備技術(shù)，前三項(xiàng)主要用于解決數(shù)據(jù)庫中海量數(shù)據(jù)管理問題，最后一項(xiàng)用于解決數(shù)據(jù)庫服務(wù)器宕機(jī)問題。在實(shí)際運(yùn)用中，通過這幾項(xiàng)技術(shù)，能夠極大地提高系統(tǒng)響應(yīng)速度和系統(tǒng)性能。
3 數(shù)據(jù)管理策略
3.1 數(shù)據(jù)管理硬件環(huán)境
該項(xiàng)目中用于數(shù)據(jù)管理的硬件設(shè)備包括：數(shù)據(jù)庫服務(wù)器2臺(tái)（主、從服務(wù)器）、備份服務(wù)器1臺(tái)、磁盤陣列1臺(tái)、磁帶庫1臺(tái)、光纖交換機(jī)2臺(tái)。Oracle數(shù)據(jù)庫軟件分別安裝在2臺(tái)數(shù)據(jù)庫服務(wù)器上，存儲(chǔ)數(shù)據(jù)存放在磁盤陣列上；通過備份服務(wù)器對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行備份，將監(jiān)測(cè)數(shù)據(jù)備份到磁帶中。數(shù)據(jù)管理硬件結(jié)構(gòu)圖見下圖1。
 

 

3.2 數(shù)據(jù)管理策略
（1） 分區(qū)表
ORACLE的分區(qū)（Partitioning Option）是一種處理超大型表、索引等的技術(shù)。分區(qū)是一種“分而治之”的技術(shù)，通過將大表和索引分成可以管理的小塊，從而避免了對(duì)每個(gè)表作為一個(gè)大的、單獨(dú)的對(duì)象進(jìn)行管理，為大量數(shù)據(jù)提供了可伸縮的性能。
Oracle分區(qū)方法有：范圍分區(qū)、列表分區(qū)、哈希分區(qū)和復(fù)合分區(qū)。
在該系統(tǒng)中，我們采用范圍分區(qū)方法，根據(jù)數(shù)據(jù)記錄的時(shí)間標(biāo)簽（主鍵）進(jìn)行范圍分區(qū)，每天建立一個(gè)分區(qū)表。在系統(tǒng)中使用分區(qū)技術(shù)，有以下好處：
(1) 改善系統(tǒng)檢索性能：對(duì)分區(qū)對(duì)象的查詢可以僅搜索自己關(guān)心的分區(qū)，提高檢索速度；
(2) 增強(qiáng)可用性：如果表的某個(gè)分區(qū)出現(xiàn)故障，表在其他分區(qū)的數(shù)據(jù)仍然可用；
(3) 均衡I/O：可以把表的不同分區(qū)分配到不同的磁盤來平衡I/O改善性能；
(4) 維護(hù)方便：如果表的某個(gè)分區(qū)出現(xiàn)故障，需要修復(fù)數(shù)據(jù)，只修復(fù)該分區(qū)即可；
(5) 對(duì)應(yīng)用透明：當(dāng)需要往數(shù)據(jù)庫中存儲(chǔ)數(shù)據(jù)時(shí)，Oracle管理系統(tǒng)會(huì)根據(jù)數(shù)據(jù)的時(shí)間標(biāo)簽，選擇應(yīng)存儲(chǔ)的分區(qū)；若根據(jù)時(shí)間標(biāo)簽從數(shù)據(jù)庫中檢索數(shù)據(jù)時(shí)，Oracle管理系統(tǒng)會(huì)根據(jù)時(shí)間標(biāo)簽，選擇應(yīng)檢索的分區(qū)，如果檢索項(xiàng)不是時(shí)間標(biāo)簽，則應(yīng)指明檢索數(shù)據(jù)所在分區(qū)表名。
（2）數(shù)據(jù)備份
數(shù)據(jù)備份是數(shù)據(jù)高可用性的一種方法，將系統(tǒng)在線數(shù)據(jù)備份或轉(zhuǎn)儲(chǔ)到其它存儲(chǔ)介質(zhì)上，其目的是在系統(tǒng)數(shù)據(jù)出現(xiàn)問題的時(shí)候，能夠快速準(zhǔn)確地恢復(fù)數(shù)據(jù)。通常，一套完整的備份系統(tǒng)包含備份軟件、磁帶機(jī)/磁帶庫和備份服務(wù)器。
Oracle備份大致可分為兩類：物理備份和邏輯備份（導(dǎo)入/導(dǎo)出），而物理備份又可以根據(jù)數(shù)據(jù)庫的工作模式分為非歸檔模式和歸檔模式，通常前者稱為冷備份，后者稱為熱備份。
(1) Cold Backup（冷備份）：主要指在關(guān)閉數(shù)據(jù)庫的狀態(tài)下進(jìn)行的數(shù)據(jù)庫完全備份。
(2) Hot Backup（熱備份）：指在數(shù)據(jù)庫處于運(yùn)行狀態(tài)下，對(duì)數(shù)據(jù)文件和控制文件進(jìn)行備份，要使用熱備份必須將數(shù)據(jù)庫運(yùn)行在(Archive Log)歸檔方式下。
(3) Export（邏輯備份）：這是最簡(jiǎn)單的備份方法，可按數(shù)據(jù)庫中某個(gè)表、某個(gè)用戶或整個(gè)數(shù)據(jù)庫來導(dǎo)出，并且支持全部、累計(jì)、增量三種方式。使用這種方法，數(shù)據(jù)庫必須處于打開狀態(tài)，而且如果數(shù)據(jù)庫不是在restrict狀態(tài)，將不能保證導(dǎo)出數(shù)據(jù)的一致性。
對(duì)數(shù)據(jù)進(jìn)行備份需要制定合理的備份策略，需要考慮影響備份策略的各種因素，需考慮的因素如下：
(1) 需要備份的內(nèi)容：數(shù)據(jù)文件、參數(shù)文件等；
(2) 備份方式：全備份、差量備份、增量備份；
(3) 備份周期：每天一次、每周一次或者每月一次等；
(4) 備份介質(zhì)：磁帶庫、光盤等其它存儲(chǔ)介質(zhì)；
在該系統(tǒng)中，我們采用全備份+增量備份的備份方式，每天進(jìn)行一次備份操作，將實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)文件和重要的參數(shù)文件備份到磁帶庫中。在系統(tǒng)投入運(yùn)行時(shí)，進(jìn)行一次全備份，以后采用增量備份。通過Veritas Netbackup備份軟件進(jìn)行備份管理。當(dāng)磁盤陣列中數(shù)據(jù)量達(dá)到一定量（假設(shè)為N天數(shù)據(jù)量），每增加一天數(shù)據(jù)量，則將最早一天分區(qū)表中的數(shù)據(jù)及分區(qū)信息刪除，釋放磁盤空間，提高系統(tǒng)性能。需要查看被刪除的數(shù)據(jù)時(shí)，通過磁帶庫中備份的數(shù)據(jù)進(jìn)行恢復(fù)即可。
（3）數(shù)據(jù)壓縮
數(shù)據(jù)壓縮是指在不丟失信息的前提下，縮減數(shù)據(jù)量以減少存儲(chǔ)空間，提高其傳輸、存儲(chǔ)和處理效率的一種技術(shù)方法。
Oracle11g的壓縮使用了“基于數(shù)據(jù)塊的批次壓縮技術(shù)”，也就是說數(shù)據(jù)的壓縮不是在執(zhí)行DML語句的時(shí)候?qū)崟r(shí)發(fā)生的，一開始當(dāng)一個(gè)數(shù)據(jù)塊空的時(shí)候，插入的數(shù)據(jù)并不被壓縮，所以這個(gè)時(shí)候?qū)τ谛阅苁菦]有影響的，數(shù)據(jù)塊壓縮的動(dòng)作是在數(shù)據(jù)塊即將滿的時(shí)候才發(fā)生，這樣就保證了大部分DML語句的效率。并且，在數(shù)據(jù)塊將要滿的時(shí)候才發(fā)生的壓縮技術(shù)保證了最大的壓縮率，因?yàn)閷?shí)際上壓縮是基于數(shù)據(jù)塊里相同的數(shù)據(jù)的。
在該系統(tǒng)中利用Oracle 11g的壓縮特性，使用數(shù)據(jù)壓縮技術(shù)，具有以下好處：
(1) 節(jié)省磁盤空間：使用數(shù)據(jù)壓縮技術(shù)，可以節(jié)省大量的磁盤空間。
(2) 提高系統(tǒng)性能：因?yàn)閿?shù)據(jù)存儲(chǔ)在更少的數(shù)據(jù)塊中，全表掃描和索引區(qū)間掃描能夠使用更少的快提取行；
(3) 減少網(wǎng)絡(luò)負(fù)載：因?yàn)閿?shù)據(jù)僅在Oracle內(nèi)壓縮和解壓縮，所以外部網(wǎng)絡(luò)僅需傳輸壓縮的數(shù)據(jù)塊；
（4）雙機(jī)熱備
雙機(jī)熱備是指當(dāng)一臺(tái)服務(wù)器在工作時(shí)（稱為主機(jī)），另一臺(tái)服務(wù)器處于備用狀態(tài)（稱為備機(jī)），當(dāng)主機(jī)由于某種原因出現(xiàn)故障，如死機(jī)、主機(jī)斷電、病毒發(fā)作、硬盤損壞等，不能繼續(xù)提供服務(wù)時(shí)，從機(jī)能在規(guī)定的時(shí)間內(nèi)接替主機(jī)的服務(wù)，繼續(xù)提供服務(wù)，從而達(dá)到不宕機(jī)的目的。
雙機(jī)熱備系統(tǒng)采用“心跳”方法保證主系統(tǒng)與備用系統(tǒng)的聯(lián)系。所謂“心跳”，指的是主從系統(tǒng)之間相互按照一定的時(shí)間間隔發(fā)送通訊信號(hào)，表明各自系統(tǒng)當(dāng)前的運(yùn)行狀態(tài)，一旦備用系統(tǒng)無法接收到主系統(tǒng)的“心跳”信號(hào)，則高可用性管理軟件（雙機(jī)軟件）認(rèn)為主系統(tǒng)發(fā)生故障，立即令主機(jī)停止工作，并將系統(tǒng)資源轉(zhuǎn)移到備用系統(tǒng)上，備用系統(tǒng)將替代主機(jī)發(fā)揮作用，以保證系統(tǒng)運(yùn)行不間斷。
在該系統(tǒng)中，我們采用基于共享的存儲(chǔ)設(shè)備的雙機(jī)熱備模式，將2臺(tái)IBM System X3850服務(wù)器組成集群，并通過光纖交換機(jī)組成SAN存儲(chǔ)網(wǎng)絡(luò)，操作系統(tǒng)和應(yīng)用程序分別安裝在兩臺(tái)服務(wù)器的本地磁盤上，而整個(gè)網(wǎng)絡(luò)數(shù)據(jù)通過磁盤陣列進(jìn)行集中管理。兩臺(tái)服務(wù)器之間通過RoseHA軟件進(jìn)行管理。兩臺(tái)服務(wù)器將以一個(gè)虛擬的IP地址對(duì)外提供服務(wù)，客戶端通過虛擬IP地址和服務(wù)器進(jìn)行通訊。正常運(yùn)行時(shí)，虛擬地址及網(wǎng)絡(luò)服務(wù)由主服務(wù)器提供。當(dāng)主服務(wù)器出現(xiàn)故障時(shí)，RoseHA會(huì)將虛擬地址和相關(guān)服務(wù)轉(zhuǎn)移到備用服務(wù)器的網(wǎng)卡上，繼續(xù)提供網(wǎng)絡(luò)服務(wù)。在客戶端看來沒有任何故障發(fā)生。
正常工作時(shí)，相關(guān)服務(wù)會(huì)運(yùn)行在主服務(wù)器上，當(dāng)主服務(wù)器發(fā)生故障時(shí)，RoseHA軟件將相關(guān)服務(wù)轉(zhuǎn)移到備份服務(wù)器上，下圖2是RoseHA工作界面。
 

 

圖2 RoseHA工作界面圖
4 結(jié)論
在“集群式”橋梁結(jié)構(gòu)健康監(jiān)測(cè)系統(tǒng)中，我們通過使用分區(qū)表、數(shù)據(jù)備份、數(shù)據(jù)壓縮和雙機(jī)熱備技術(shù)，不僅提高系統(tǒng)從數(shù)據(jù)庫中檢索數(shù)據(jù)的速度、提高系統(tǒng)的可靠性和系統(tǒng)性能，而且還具有數(shù)據(jù)容災(zāi)功能，當(dāng)有災(zāi)難發(fā)生時(shí)，我們還能從備份文件中恢復(fù)數(shù)據(jù)，保證系統(tǒng)的正常運(yùn)轉(zhuǎn)。
參考文獻(xiàn)
[1] 雷忠琴. ORACLE數(shù)據(jù)庫備份和恢復(fù)分析[J].貴州教育學(xué)院學(xué)報(bào)（自然科學(xué)）.2007:18(4)
[2] 李東武.醫(yī)院信息系統(tǒng)雙機(jī)熱備和數(shù)據(jù)備份的設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)醫(yī)療設(shè)備.2008:23(7)
[3] 李峰，曹中，劉正偉.雙機(jī)熱備技術(shù)在財(cái)務(wù)系統(tǒng)中的應(yīng)用[J].現(xiàn)代電子技術(shù)，2009:(3)
[4] 楊文俊.利用磁盤陣列和Rose HA雙機(jī)軟件對(duì)OA系統(tǒng)、財(cái)務(wù)系統(tǒng)雙機(jī)熱備[J].中國(guó)高新技術(shù)企業(yè)，2010:(6)
[5] 楊志彬.Oracle表分區(qū)管理[J].福建電腦，2007:(8)

月期刊咨詢網(wǎng)--如何發(fā)表論文、論文發(fā)表、評(píng)職稱評(píng)審、教育論文、價(jià)格版面費(fèi)、省級(jí)以上刊物、核心期刊、會(huì)議論文、教學(xué)會(huì)計(jì)、正規(guī)格式范文、專業(yè)技術(shù)職務(wù)任職資格、碩士研究生論文發(fā)表網(wǎng)。月期刊網(wǎng)并非雜志社！本站是從事期刊征稿、論文發(fā)表的**代理機(jī)構(gòu)，若想投遞雜志社，請(qǐng)直接登陸該雜志社官網(wǎng)。月期刊網(wǎng)和國(guó)內(nèi)數(shù)百家期刊雜志社有良好的合作關(guān)系，代理期刊均系經(jīng)過國(guó)家出版總署認(rèn)可的正規(guī)期刊，選擇空間更廣，可以幫您推薦期刊、發(fā)表論文，使得您論文發(fā)表速度更快、價(jià)格更低、通過率更高。

轉(zhuǎn)載請(qǐng)注明來自：http://www.jinnzone.com/jisuanjiyingyonglw/14286.html