現(xiàn)在的社會是個信息化社會，大數(shù)據(jù)科技的發(fā)展也是非常迅速的，隨著智慧城市建設(shè)項目的開展，作為智慧城市建設(shè)的重要基礎(chǔ)就是圍繞大型基礎(chǔ)數(shù)據(jù)平臺的建設(shè)，在業(yè)界定義為大數(shù)據(jù)時代的來臨。本文是一篇中文核心類期刊投稿的論文范文，主要論述了基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)對大數(shù)據(jù)時代的價值與意義。
　　摘 要:在大數(shù)據(jù)時代中，大數(shù)據(jù)的應(yīng)用效能、應(yīng)用方便度、應(yīng)用當(dāng)?shù)馗采w面是未來大數(shù)據(jù)應(yīng)用所關(guān)注的重點，而目前在大數(shù)據(jù)應(yīng)用方面存在許多的問題，這些問題的存在影響了未來大數(shù)據(jù)的應(yīng)用，如何解決這些問題，重現(xiàn)在開始從最基礎(chǔ)方面開始，解決這些問題是大數(shù)據(jù)未來應(yīng)用的重要工作。本文首先列舉了目前大數(shù)據(jù)應(yīng)用中存在的問題，分析了產(chǎn)生這些問題的原因，針對這種情況提出了基于基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)體系建立的解決方案設(shè)想，為未來大數(shù)據(jù)應(yīng)用發(fā)揮更大效益的解決方法。

　　【關(guān)鍵詞】大數(shù)據(jù),基礎(chǔ)數(shù)據(jù)結(jié)構(gòu),軟件工程,數(shù)據(jù)標(biāo)準(zhǔn)

　　圍繞大數(shù)據(jù)的概念，在全國范圍內(nèi)的各領(lǐng)域各行業(yè)都在大數(shù)據(jù)的如何組織、如何應(yīng)用、如何共享、如何關(guān)聯(lián)召開了各類研討會。大數(shù)據(jù)應(yīng)用的云計算技術(shù)、數(shù)據(jù)倉庫技術(shù)等成為業(yè)內(nèi)討論的重要話題。本人認(rèn)為，在做了這些工作后，應(yīng)回過頭來看一看，無論數(shù)據(jù)量有多大，都離不開基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)與體系的建設(shè)，在此要闡明的一個基本觀點就是在大數(shù)據(jù)時代更應(yīng)該重視基礎(chǔ)數(shù)據(jù)結(jié)果的研究與應(yīng)用。

　　1 大數(shù)據(jù)的概念

　　什么是大數(shù)據(jù)， IBM 最早的定義是：將大數(shù)據(jù)的特征歸納為4個“V”(量Volume，多樣Variety，價值Value，速Velocity)，或者說特點有四個層面：第一，數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T);第二，數(shù)據(jù)類型繁多。比如，網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。第三，價值密度低，商業(yè)價值高。第四，處理速度快。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

　　在大數(shù)據(jù)概念中的第一條是數(shù)據(jù)量大，這是大數(shù)據(jù)的特點，而卻隨著信息系統(tǒng)應(yīng)用的深入，數(shù)量的數(shù)量級也在不斷的提高，這是毋容置疑的。我們在此要討論的是第二條數(shù)據(jù)類型繁多的問題。

　　2 目前大數(shù)據(jù)應(yīng)用存在的主要問題

　　隨著信息化系統(tǒng)應(yīng)用的深入，在社會、自然界、生活中所涉及的數(shù)據(jù)面越來越廣，由此使得數(shù)據(jù)類型也越來越多，數(shù)據(jù)類型的數(shù)量在不斷增加，這些數(shù)據(jù)類型之間的關(guān)系和相互關(guān)聯(lián)性也越來越復(fù)雜，大數(shù)據(jù)量下的數(shù)據(jù)應(yīng)用造成了困難。數(shù)據(jù)結(jié)構(gòu)類型繁多造成問題主要表現(xiàn)在以下幾個方面。

　　2.1 數(shù)據(jù)類型是有限量的認(rèn)識不清楚

　　未來大數(shù)據(jù)情況下，數(shù)據(jù)類型是有限量的還是無限量的概念模糊，為此首先要么明確一個基本的概念，那就是，數(shù)據(jù)類型在繁多，但是數(shù)據(jù)類型的數(shù)量是有限量的，只是這個限量的數(shù)量級大一些而已。在數(shù)據(jù)類型是有限量的情況下，對于解決數(shù)據(jù)類型繁多的方法是完全不同的。

　　如果數(shù)據(jù)類型的量是無限量的，那么解決問題的方法是要研究解決數(shù)據(jù)類型問題的方式是研究規(guī)律，拿出解決問題的方式與方法，對于具體數(shù)據(jù)類型時，按照方式方法理論與技術(shù)去解決問題。如果數(shù)據(jù)類型是有限量的話，那么解決問題的方式就不只是從理論上的解決問題方法，而應(yīng)該更加切合實際的去針對每一種數(shù)據(jù)類型直接進行研究，形成數(shù)據(jù)標(biāo)準(zhǔn)，指導(dǎo)各個系統(tǒng)對每一個具體數(shù)據(jù)類型的應(yīng)用。

　　2.2 相同數(shù)據(jù)在不同系統(tǒng)中的表現(xiàn)類型繁多

　　由于系統(tǒng)開發(fā)方各自的開發(fā)經(jīng)驗、所開發(fā)系統(tǒng)的規(guī)模不同，系統(tǒng)應(yīng)用方對系統(tǒng)要求不同，系統(tǒng)應(yīng)用行業(yè)的不同，使得在開發(fā)過程中，對于數(shù)據(jù)類型的定義只遵循本系統(tǒng)使用需要進行定義，沒有完整的標(biāo)準(zhǔn)，即是有相應(yīng)的國家或國際標(biāo)準(zhǔn)，也不能完全遵循。

　　2.3 各個行業(yè)制定的標(biāo)準(zhǔn)相互矛盾

　　各個行業(yè)在制定相應(yīng)的標(biāo)準(zhǔn)時，是以滿足自身需要為主導(dǎo)，造成了數(shù)據(jù)類型在其數(shù)據(jù)定義時不但長度不同，就是數(shù)據(jù)類型都不相同。這也就造成了各個系統(tǒng)在未來大數(shù)據(jù)應(yīng)用中出現(xiàn)了嚴(yán)重的數(shù)據(jù)應(yīng)用障礙。

　　2.4 大數(shù)據(jù)應(yīng)用的實現(xiàn)效率低

　　由于不同系統(tǒng)技術(shù)數(shù)據(jù)結(jié)構(gòu)的不統(tǒng)一，使得對于大數(shù)據(jù)的應(yīng)用上要對不同系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)進行分析，構(gòu)建關(guān)聯(lián)，而后才能進行數(shù)據(jù)的應(yīng)用，這項工作的工作量大，技術(shù)含量高，降低數(shù)據(jù)的應(yīng)用效率。這些都是事后分析數(shù)據(jù)存在的問題。

　　2.5 數(shù)據(jù)浪費巨大

　　由于數(shù)據(jù)各個系統(tǒng)間數(shù)據(jù)結(jié)構(gòu)的不同，加上分析手段的局限性，使許多的數(shù)據(jù)無法進行使用，由此也降低了數(shù)據(jù)的使用率。并造成數(shù)據(jù)的大量浪費。

　　3 造成目前對大數(shù)據(jù)應(yīng)用存在問題原因

　　由于以上幾方面的問題存在，為了做好大數(shù)據(jù)的應(yīng)用，許多相應(yīng)的技術(shù)應(yīng)運而生，數(shù)據(jù)倉庫技術(shù)、網(wǎng)格技術(shù)、云計算的數(shù)據(jù)處理技術(shù)等等。這些技術(shù)促進了數(shù)據(jù)應(yīng)用的發(fā)展，提高了數(shù)據(jù)應(yīng)用效率，為大數(shù)據(jù)應(yīng)用發(fā)揮了巨大作用。但是這種做法只能針對具體的大數(shù)據(jù)應(yīng)用項目起到作用，不能從根本上解決問題。那么造成這種問題根本是什么呢?

　　3.1 理論基礎(chǔ)有偏差

　　目前所有這些高精尖技術(shù)的發(fā)展，為大數(shù)據(jù)應(yīng)用的發(fā)展起到了不可替代的作用，但是這些技術(shù)在理論出發(fā)點上存在偏差，那就是，這些技術(shù)的理論出發(fā)點設(shè)定的是，數(shù)據(jù)類型是無限量的，是無窮盡的，所以所有的技術(shù)研究都不面對具體的數(shù)據(jù)項，這樣做的結(jié)果是促進技術(shù)的發(fā)展，弊端是不能面對具體的應(yīng)用，所有的技術(shù)應(yīng)用都要在這就技術(shù)下進行二次應(yīng)用研究。也就是，這些理論是治標(biāo)不治本的做法。

　　有限量數(shù)據(jù)類型與無限量數(shù)據(jù)類型是兩個根本不同的概念，對于技術(shù)的發(fā)展影響也是完全不同的。為此，目前在無限量數(shù)據(jù)類型概念下的大數(shù)據(jù)應(yīng)用技術(shù)與體系將會存在極大的局限性，對未來的大數(shù)據(jù)應(yīng)用造成影響。

　　3.2 對大數(shù)據(jù)認(rèn)識有偏差

　　目前在各個系統(tǒng)對大數(shù)據(jù)的應(yīng)用中，對大數(shù)據(jù)的認(rèn)識是，只要有足夠量的數(shù)據(jù)，就是大數(shù)據(jù)，而對于數(shù)據(jù)之間的關(guān)系，整體的數(shù)據(jù)結(jié)構(gòu)體系沒有很深的認(rèn)識，甚至將原有的多個分散的系統(tǒng)中的數(shù)據(jù)庫，做一個小的關(guān)聯(lián)數(shù)據(jù)庫，就認(rèn)為是數(shù)據(jù)云計算，就是綜合數(shù)據(jù)平臺了，而在這種情況下，對于大數(shù)據(jù)的應(yīng)用，因為系統(tǒng)的獨立，數(shù)據(jù)庫的獨立、數(shù)據(jù)結(jié)構(gòu)的不統(tǒng)一造成了大數(shù)據(jù)應(yīng)用的瓶頸和障礙，在系統(tǒng)應(yīng)用到一定程度后，數(shù)據(jù)量是很大，但是無法進行大數(shù)據(jù)應(yīng)用，或者說是要進行大數(shù)據(jù)的應(yīng)用，需要另外投入很高的成本進行數(shù)據(jù)整理、數(shù)據(jù)管理和數(shù)據(jù)分析。所以應(yīng)該明確的是，在數(shù)據(jù)結(jié)構(gòu)混亂的情況下，在大的數(shù)據(jù)量也不能稱為大數(shù)據(jù)，這個觀念上的偏差，是造成目前數(shù)據(jù)應(yīng)用困難的原因之一。 　　3.3 數(shù)據(jù)結(jié)構(gòu)不規(guī)范

　　這些情況的出現(xiàn)，歸結(jié)的一起，就是數(shù)據(jù)結(jié)構(gòu)不規(guī)范，不統(tǒng)一。在三方面主要原因造成這個局面，一是目前的應(yīng)用系統(tǒng)的開發(fā)，由不同的公司進行，每個開發(fā)單位對數(shù)據(jù)結(jié)構(gòu)的定義有各自的標(biāo)準(zhǔn)，基本都是按照多年開發(fā)經(jīng)驗總結(jié)出來的，因此各個公司開發(fā)的系統(tǒng)在數(shù)據(jù)結(jié)構(gòu)上相差很遠。二是對于同一個公司不同時期開發(fā)的系統(tǒng)所涉及的數(shù)據(jù)結(jié)構(gòu)不統(tǒng)一，到后期，開發(fā)單位不愿意在投入成本對前期開發(fā)的系統(tǒng)進行重新開發(fā)，這就造成了前期開的的系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)與后期開發(fā)的數(shù)據(jù)結(jié)構(gòu)不統(tǒng)一。三是對于應(yīng)用開發(fā)單位在開發(fā)每一個具體應(yīng)用項目時，由于是不同的開發(fā)小組在進行，為此，在進行數(shù)據(jù)結(jié)構(gòu)設(shè)定時，只為了滿足本系統(tǒng)開發(fā)的需要，而沒有考慮系統(tǒng)未來的發(fā)展和系統(tǒng)的整體架構(gòu)，這也造成了不同應(yīng)用系統(tǒng)中對相同字段的設(shè)定不相同，數(shù)據(jù)結(jié)構(gòu)不統(tǒng)一。以上這些都是在應(yīng)用系統(tǒng)開發(fā)過程中遺留的問題，而這些問題嚴(yán)重影響了大數(shù)據(jù)的使用。

　　3.4 有統(tǒng)一的標(biāo)準(zhǔn)不用

　　在系統(tǒng)開發(fā)過程中涉及的數(shù)據(jù)結(jié)構(gòu)，許多都有相應(yīng)的標(biāo)準(zhǔn)，主要有以下幾個方面，一是國家法律層面的，對于一些重要的數(shù)據(jù)要求以立法方式進行規(guī)范。二是國家標(biāo)準(zhǔn)，制定和規(guī)范了國家層面的有關(guān)方面的數(shù)據(jù)要求和限定。三是部頒標(biāo)準(zhǔn)，由各個部委辦局制定的相應(yīng)標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)有一大部分直接針對信息化系統(tǒng)建設(shè)的應(yīng)用和數(shù)據(jù)標(biāo)準(zhǔn)。四是行業(yè)標(biāo)準(zhǔn)，作為每一個行業(yè)內(nèi)進行行為約束的標(biāo)準(zhǔn)，這種標(biāo)準(zhǔn)雖然不具備強制性，但是在行業(yè)內(nèi)是一個自覺遵守的標(biāo)準(zhǔn)。四是國際相關(guān)標(biāo)準(zhǔn)，雖然國際標(biāo)準(zhǔn)沒有任何的法律約束性，但是為了走出去，各行各業(yè)都在遵循這個標(biāo)準(zhǔn)。

　　這些標(biāo)準(zhǔn)都是在系統(tǒng)建立時的數(shù)據(jù)結(jié)構(gòu)依據(jù)，但是目前許多系統(tǒng)在進行數(shù)據(jù)結(jié)構(gòu)設(shè)定時，都沒有按照這些標(biāo)準(zhǔn)執(zhí)行，而是根據(jù)自己系統(tǒng)的需要進行設(shè)定的。這使得許多的系統(tǒng)中的數(shù)據(jù)不能相互交換使用，由此而影響了大數(shù)據(jù)的應(yīng)用。

　　3.5 不同行業(yè)對標(biāo)準(zhǔn)的設(shè)定不統(tǒng)一

　　在國家標(biāo)準(zhǔn)體系中，由于標(biāo)準(zhǔn)制定的年代不同，同是一個部門頒布的標(biāo)準(zhǔn)對相同的數(shù)據(jù)要求也不同，各個部門由于獨立制定標(biāo)準(zhǔn)，同樣出現(xiàn)相同數(shù)據(jù)在不同部門制定的標(biāo)準(zhǔn)中規(guī)定的不同，這幾方面原因也就造成了即使遵照標(biāo)準(zhǔn)，也存在著相同數(shù)據(jù)在不同應(yīng)用系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)不同的現(xiàn)象。

　　以上是大數(shù)據(jù)應(yīng)用問題出現(xiàn)的主要原因，作為大數(shù)據(jù)應(yīng)用的剛剛起步階段，應(yīng)針對這些問題進行研究給出相應(yīng)的解決方案，為未來大數(shù)據(jù)應(yīng)用的發(fā)展打下一個良好的基礎(chǔ)，避免今后的大數(shù)據(jù)應(yīng)用走彎路。

　　4 解決大數(shù)據(jù)應(yīng)用問題的對策

　　解決大數(shù)據(jù)應(yīng)用存在的問題，應(yīng)從最基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)建立開始，從根本上去解決問題，也為未來大數(shù)據(jù)應(yīng)用的發(fā)展打下一個良好的基本數(shù)據(jù)結(jié)構(gòu)基礎(chǔ)，對此提出以下幾方面的對策。

　　4.1 開展和加強對基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)建立的理論研究

　　從軟件工程學(xué)的角度出發(fā)，以數(shù)據(jù)結(jié)構(gòu)類型是有限量的概念為依托，圍繞具體的數(shù)據(jù)類型開展數(shù)據(jù)結(jié)構(gòu)體系的理論研究。依托一個數(shù)據(jù)結(jié)構(gòu)分類的理論體系來支撐整個數(shù)據(jù)結(jié)構(gòu)體系的劃分，其中包括劃分方法、劃分層次、劃分的軟件工程學(xué)理論支撐等內(nèi)容，制定大數(shù)據(jù)底層數(shù)據(jù)結(jié)構(gòu)劃分的理論體系，形成在大數(shù)據(jù)下的數(shù)據(jù)結(jié)構(gòu)構(gòu)建的理論體系。

　　4.2 開展對具體數(shù)據(jù)結(jié)構(gòu)的研究

　　按照建立的數(shù)據(jù)結(jié)構(gòu)理論體系要求，對每一個具體數(shù)據(jù)結(jié)構(gòu)進行研究，針對數(shù)據(jù)項的名稱、類型、含義、層次、結(jié)構(gòu)、與其他數(shù)據(jù)的關(guān)系、涉及內(nèi)容規(guī)定等方面制定出具體數(shù)據(jù)的標(biāo)準(zhǔn)。這項工作可以在有組織的情況下由全社會共同參與，按照指導(dǎo)理論的要求進行研究，這樣，隨著應(yīng)用系統(tǒng)的不斷深入，所涉及的數(shù)據(jù)類型項將逐步擴展，最終實現(xiàn)數(shù)據(jù)的全覆蓋，而完成整個架構(gòu)體系的建立。

　　4.3 制定相應(yīng)的數(shù)據(jù)結(jié)構(gòu)標(biāo)準(zhǔn)

　　對于由各個方面制定的數(shù)據(jù)結(jié)構(gòu)進行分類、篩選、審核，而后想這些結(jié)構(gòu)形成一個統(tǒng)一的架構(gòu)體系，制定相應(yīng)的技術(shù)標(biāo)準(zhǔn)，通過這個標(biāo)準(zhǔn)來規(guī)范應(yīng)用系統(tǒng)的開發(fā)，形成完整的、規(guī)范的、統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)體系，為大數(shù)據(jù)應(yīng)用打下堅實的基礎(chǔ)。

　　4.4 成立相應(yīng)的機構(gòu)來負(fù)責(zé)這項工作的完成

　　對于這項工作的開展，應(yīng)在軟件工程相應(yīng)的有關(guān)組織下，建立一個專門的機構(gòu)，負(fù)責(zé)指導(dǎo)這項工作的完成。由這個機構(gòu)成立專門的實驗室，負(fù)責(zé)整體架構(gòu)的制定，數(shù)據(jù)類型項的搜集、分類、篩選，并形成統(tǒng)一的數(shù)據(jù)庫體系，為所有的應(yīng)用系統(tǒng)的開發(fā)提供數(shù)據(jù)庫基礎(chǔ)支撐和服務(wù)。

　　綜上所述，通過對基礎(chǔ)數(shù)結(jié)構(gòu)的研究與體系的建立，從根本上解決大數(shù)據(jù)應(yīng)用的效率，充分發(fā)揮未來大數(shù)據(jù)的作用，簡化大數(shù)據(jù)應(yīng)用的方式與過程。

　　參考文獻

　　[1]嚴(yán)霄鳳，張德馨.大數(shù)據(jù)研究[J].計算機技術(shù)與發(fā)展，2013(04).

　　[2]李學(xué)龍，龔海剛.大數(shù)據(jù)系統(tǒng)綜述[J].中國科學(xué)：信息科學(xué)，2015(01).

　　[3]方璐.大數(shù)據(jù)時代的科學(xué)研究方法[J].浙江工業(yè)大學(xué)，2014.
　　電子科技類中文核心期刊推薦《電子科技》創(chuàng)刊于1987年，月刊，每月15日出版。主要刊登高等院校、科研院所、電子行業(yè)企事業(yè)單位等科研機構(gòu)在電子技術(shù)應(yīng)用、通信工程、計算機科學(xué)技術(shù)與應(yīng)用、網(wǎng)絡(luò)安全及信息、光電子材料等領(lǐng)域最新的學(xué)術(shù)、技術(shù)論文、工程技術(shù)應(yīng)用研究、教學(xué)實踐總結(jié)、行業(yè)綜述等稿件。該刊秉承嚴(yán)謹(jǐn)辦刊的態(tài)度以保證期刊的嚴(yán)肅性、學(xué)術(shù)性。依托西安電子科技大學(xué)在信息與通信工程、電子科學(xué)與技術(shù)、計算機科學(xué)等領(lǐng)域的優(yōu)勢。

---

轉(zhuǎn)載請注明來自：http://www.jinnzone.com/dianzijishulw/55219.html