電子科技論文范文基于大數(shù)據(jù)的空氣質(zhì)量數(shù)據(jù)可視化
空氣污染越來(lái)越收到重視了，我國(guó)的霧霾也在不斷治理中。對(duì)于空氣質(zhì)量的檢測(cè)和分析，有關(guān)部門也采用了大數(shù)據(jù)的模式，本文就是一篇電子科技論文范文，主要論述了基于大數(shù)據(jù)的空氣質(zhì)量數(shù)據(jù)可視化。下面是文章正文：
摘要：近一個(gè)世紀(jì)以來(lái)，由于工業(yè)化、城市化的飛速發(fā)展、人類活動(dòng)的加劇造成了世界性的能源、交通規(guī)模的持續(xù)擴(kuò)大，城市人口的急劇膨脹，各類生產(chǎn)活動(dòng)和生活中所產(chǎn)生的大量的有害物質(zhì)被排放到空氣中，改變了空氣的組成成分，形成了空氣污染�？諝馕廴臼鞘澜绾椭袊�(guó)大多數(shù)工業(yè)城市所面臨的最為嚴(yán)重的環(huán)境問(wèn)題。開(kāi)展空氣質(zhì)量監(jiān)測(cè)、數(shù)據(jù)分析與可視化的研究可以全面掌握城市空氣污染源的排放數(shù)據(jù)和各種空氣污染物在不同空間區(qū)域內(nèi)的濃度數(shù)據(jù)，可以對(duì)影響城市空氣質(zhì)量的因素有所了解和把握。本文提出了利用空氣污染觀測(cè)資料和先進(jìn)的大數(shù)據(jù)Hadoop平臺(tái)，對(duì)空氣監(jiān)測(cè)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘和分析的思路，依據(jù)逐年逐日的天氣現(xiàn)象數(shù)據(jù)，針對(duì)地區(qū)空氣污染狀況以及時(shí)間分布特征的影響進(jìn)行研究，并以可視化的方法對(duì)空氣污染物的時(shí)空分布特征與預(yù)測(cè)進(jìn)行探討。
關(guān)鍵詞：大數(shù)據(jù)，可視化，空氣質(zhì)量，監(jiān)測(cè)
1 引言
空氣污染對(duì)人類及其生存環(huán)境造成的危害與影響，已逐漸為人們所認(rèn)識(shí)。近年來(lái)我國(guó)地區(qū)空氣污染加劇，其中霧霾污染正演變成為我國(guó)城市大氣中主要污染之一，引起了普通民眾和科學(xué)界的廣泛關(guān)注�？諝馕廴緦�(duì)城市居民的健康風(fēng)險(xiǎn)、由此造成的經(jīng)濟(jì)損失以及對(duì)居民的健康影響都是不可估量的�？諝馕廴局饕ㄟ^(guò)三條途徑危害人體：一是人體表面接觸后受到傷害，二是食用含有大氣污染物的食物和水中毒，三是吸入污染的空氣后患了種種嚴(yán)重的疾病。不僅如此，空氣污染危害生物的生存和發(fā)育，大氣污染物對(duì)儀器、設(shè)備和建筑物等，都有腐蝕作用，空氣污染還造成臭氧層破壞、酸雨腐蝕和全球氣候變暖[1]。世界衛(wèi)生組織和聯(lián)合國(guó)環(huán)境組織發(fā)表的一份報(bào)告說(shuō)：“空氣污染已成為全世界城市居民生活中一個(gè)無(wú)法逃避的現(xiàn)實(shí)。”如果人類生活在污染十分嚴(yán)重的空氣里，那就將在幾分鐘內(nèi)全部死亡。工業(yè)文明和城市發(fā)展，在為人類創(chuàng)造巨大財(cái)富的同時(shí)，也把數(shù)十億噸計(jì)的廢氣和廢物排入大氣之中，人類賴以生存的大氣圈卻成了空中垃圾庫(kù)和毒氣庫(kù)。因此，大氣中的有害氣體和污染物達(dá)到一定濃度時(shí)，就會(huì)對(duì)人類和環(huán)境帶來(lái)巨大災(zāi)難。
自從計(jì)算機(jī)開(kāi)始應(yīng)用于可視化技術(shù)以后，人們發(fā)現(xiàn)了許多新穎的可視化技術(shù)，現(xiàn)有的技術(shù)也得到了改進(jìn)。新技術(shù)和新平臺(tái)的出現(xiàn)，使可視化技術(shù)可以實(shí)現(xiàn)用戶與可視化數(shù)據(jù)之間的交互，從采集分析數(shù)據(jù)到呈現(xiàn)數(shù)據(jù)可視化也做到一體化實(shí)現(xiàn)。中國(guó)近幾十年來(lái)經(jīng)濟(jì)發(fā)展迅速,礦物能源大量消耗以及環(huán)境保護(hù)措施的欠缺，導(dǎo)致中國(guó)許多地區(qū)發(fā)生了嚴(yán)重的環(huán)境空氣污染和水環(huán)境污染�？諝馕廴臼且粋�(gè)非常復(fù)雜的系統(tǒng)問(wèn)題，它不僅要考慮人為與自然排放，同時(shí)也要考慮到當(dāng)?shù)?a href='http://www.jinnzone.com/qxxx/' target='_blank'>氣象以及區(qū)域氣候條件的影響。伴隨著大數(shù)據(jù)時(shí)代的來(lái)臨，促進(jìn)了更加智能的數(shù)據(jù)可視化工具的出現(xiàn)，云計(jì)算和虛擬化技術(shù)的不斷發(fā)展使得大數(shù)據(jù)在應(yīng)用層面更加豐富，再加以數(shù)據(jù)可視化，這樣的大數(shù)據(jù)分析才更有意義，效率也才會(huì)更高。本文提出了以大數(shù)據(jù)分析為基礎(chǔ)的空氣質(zhì)量數(shù)據(jù)可視化思路，對(duì)掌握城市空氣質(zhì)量在時(shí)間和空間維的變化發(fā)展趨勢(shì)，對(duì)污染控制、環(huán)境管理和公共事業(yè)發(fā)展均有一定的理論意義與實(shí)用價(jià)值。
2 大數(shù)據(jù)
2.1 大數(shù)據(jù)的特征
大數(shù)據(jù)是一個(gè)體量特別大，數(shù)據(jù)類別特別大，超過(guò)傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)處理能力的數(shù)據(jù)集。大數(shù)據(jù)首先是指數(shù)據(jù)體量(volumes)大，指大型數(shù)據(jù)集，至少在10TB規(guī)模以上，一般達(dá)到PB級(jí)的數(shù)據(jù)量;其次是指數(shù)據(jù)類別(variety)大，數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式包括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù);接著是數(shù)據(jù)處理速度(Velocity)快，在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實(shí)時(shí)處理;最后一個(gè)特點(diǎn)是指數(shù)據(jù)真實(shí)性(Veracity)高，比如社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源。
圖1 描述大數(shù)據(jù)特征的3個(gè)V
3V是大數(shù)據(jù)時(shí)代的顯著特征，這些特征正在給現(xiàn)在的IT企業(yè)帶來(lái)巨大挑戰(zhàn)。大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。
2.2 基于Hadoop的大數(shù)據(jù)分析技術(shù)
Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，以可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理，用戶可以輕松地在Hadoop上開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它具有高可靠性、高擴(kuò)展性、高效性、高容錯(cuò)性，并且成本較低。Hadoop的組成如圖2所示，其中MapReduce和Hdfs是Hadoop的核心。Hdfs是分布式文件系統(tǒng)，提供高吞吐量的應(yīng)用程序數(shù)據(jù)訪問(wèn)，對(duì)外部客戶機(jī)而言，Hdfs就像一個(gè)傳統(tǒng)的分級(jí)文件系統(tǒng)�？梢詣�(chuàng)建、刪除、移動(dòng)或重命名文件等等[2]。MapReduce用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算，通過(guò)把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)可靠性，每個(gè)節(jié)點(diǎn)會(huì)周期性的返回它所完成的工作和最新的狀態(tài)[3]。
圖2 Hadoop的組成
3 空氣質(zhì)量的數(shù)據(jù)分析可視化
3.1 數(shù)據(jù)可視化
數(shù)據(jù)可視化主要旨在借助于圖形化手段，清晰有效地傳達(dá)與溝通信息。數(shù)據(jù)可視化技術(shù)的基本思想是將數(shù)據(jù)庫(kù)中每一個(gè)數(shù)據(jù)項(xiàng)作為單個(gè)圖元元素表示，大量的數(shù)據(jù)集構(gòu)成數(shù)據(jù)圖像，同時(shí)將數(shù)據(jù)的各個(gè)屬性值以多維數(shù)據(jù)的形式表示，可以從不同的維度觀察數(shù)據(jù)，從而對(duì)數(shù)據(jù)進(jìn)行更深入的觀察和分析。數(shù)據(jù)分析可視化旨在利用數(shù)據(jù)挖掘和數(shù)據(jù)分析能力基礎(chǔ)之上，充分挖掘人對(duì)于可視化信息的認(rèn)知能力優(yōu)勢(shì),將人、機(jī)的各自強(qiáng)項(xiàng)進(jìn)行有機(jī)融合,借助人機(jī)交互式分析方法和交互技術(shù),輔助人們更為直觀和高效地洞悉大數(shù)據(jù)背后的信息、知識(shí)與智慧[4]。
數(shù)據(jù)可視化應(yīng)用在環(huán)境監(jiān)測(cè)上，要包括污染程度、類型、交叉程度、分布區(qū)域、危害、所波及的人數(shù)等各種具體海量數(shù)據(jù)和基于數(shù)據(jù)之上的綜合分析，可以增強(qiáng)空氣質(zhì)量數(shù)據(jù)呈現(xiàn)效果，讓用戶以直觀交互的方式實(shí)現(xiàn)對(duì)空氣質(zhì)量數(shù)據(jù)的觀察和瀏覽，從而發(fā)現(xiàn)空氣質(zhì)量數(shù)據(jù)中隱藏的特征、關(guān)系和模式，無(wú)有效的數(shù)據(jù)分析作為支撐，就很難兌現(xiàn)為有力的空氣環(huán)境治理。
3.2可視化在空氣質(zhì)量監(jiān)測(cè)中的具體實(shí)現(xiàn)
可視化方法不僅可以用于數(shù)據(jù)的理解和分析，也可用于空間以及時(shí)間知識(shí)的呈現(xiàn)。空氣質(zhì)量數(shù)據(jù)可視分析利用人的感知，并且提供好的可視分析方法，幫助人們發(fā)現(xiàn)問(wèn)題以及解決問(wèn)題�？諝赓|(zhì)量指數(shù)(Air Quality Index，AQI)是定量描述空氣質(zhì)量狀況的無(wú)量綱指數(shù)，針對(duì)單項(xiàng)污染物的還規(guī)定了空氣質(zhì)量分指數(shù)。參與空氣質(zhì)量評(píng)價(jià)的主要污染物為 SO2、NO2、PM10、PM2.5、O3、CO等6項(xiàng)[5]。在進(jìn)行空氣質(zhì)量數(shù)據(jù)可視分析工作中，對(duì)污染物數(shù)據(jù)屬性之間的關(guān)聯(lián)分析，可以了解各個(gè)污染物之間的關(guān)系，發(fā)現(xiàn)一些隱藏的信息。
信息可視化的過(guò)程分為以下3個(gè)階段。
(a)數(shù)據(jù)預(yù)處理：數(shù)據(jù)預(yù)處理將采集來(lái)的信息進(jìn)行預(yù)處理和加工，使其便于理解，易于被輸入顯示可視化模塊。
(b)繪制:繪制的功能是完成數(shù)據(jù)到幾何圖像的轉(zhuǎn)換。一個(gè)完整的圖形描述需要在考慮用戶需求的基礎(chǔ)上綜合應(yīng)用各類可視化繪制技術(shù)。
(c)顯示和交互:顯示的功能是將繪制模塊生成的圖像數(shù)據(jù)，按用戶指定的要求進(jìn)行輸出[6]。
圖3 信息可視化模型[4]
3.3空氣污染可視化對(duì)比分析實(shí)例
(1)不同污染物的對(duì)比分析
可以把某個(gè)特定時(shí)間段、特定地點(diǎn)的主要污染物進(jìn)行可視化比較，并顯示質(zhì)量等級(jí)[7]，見(jiàn)圖4。
圖4 2014年Washington地區(qū)PM2.5和CO的含量示意圖
(2)某地區(qū)污染物的每日空氣質(zhì)量評(píng)價(jià)
可以繪畫某個(gè)時(shí)間，某個(gè)地點(diǎn)，污染物的質(zhì)量等級(jí)，每個(gè)方塊的顏色代表不同的質(zhì)量等級(jí)[7],見(jiàn)圖5。
圖5 2014年Washington地區(qū)PM2.5的每日質(zhì)量等級(jí)示意圖
(3)繪制某地區(qū)某一時(shí)間段內(nèi)污染物的含量變化[7], 見(jiàn)圖6。
圖6 Washington地區(qū)PM2.5的含量變化示意圖(2010.1.1-2014.12.31)
上述實(shí)例顯示，環(huán)境空氣質(zhì)量預(yù)警可以根據(jù)某一區(qū)域或者某一城市的空氣污染物排放狀況及未來(lái)一段時(shí)間內(nèi)氣象條件、大氣擴(kuò)散情況等因素，通過(guò)監(jiān)測(cè)、評(píng)價(jià)、預(yù)測(cè)等手段，確定大氣環(huán)境狀態(tài)和環(huán)境質(zhì)量變化的速度和趨勢(shì)，以及達(dá)到某一變化限度的時(shí)間，預(yù)測(cè)未來(lái)一段時(shí)間內(nèi)的大氣污染程度以及對(duì)人們?nèi)粘Ｉ顜?lái)的影響和危害，以可視化的方式表現(xiàn)出來(lái)，具有先覺(jué)性、預(yù)見(jiàn)性和超前性的特點(diǎn)。對(duì)加強(qiáng)環(huán)境監(jiān)督和管理, 改善提高環(huán)境質(zhì)量等方面具有十分重要的作用[8]。
結(jié)束語(yǔ)
本文提出了綜合利用大數(shù)據(jù)的Hadoop平臺(tái)和可視化方法,對(duì)空氣污染時(shí)空分布特征進(jìn)行分析的思路，能夠研究氣象要素對(duì)空氣污染空間分布的影響，同時(shí)結(jié)合逐年逐日空氣污染指數(shù)資料,揭示了不同地區(qū)在不同時(shí)間尺度下空氣污染狀況、污染物以及空氣質(zhì)量等級(jí)的時(shí)間變化規(guī)律。
基金項(xiàng)目：北京市哲學(xué)社會(huì)科學(xué)規(guī)劃項(xiàng)目(14SHB015);北京市教育委員會(huì)社會(huì)科學(xué)研究計(jì)劃項(xiàng)目(SM201410038013);首都經(jīng)濟(jì)貿(mào)易大學(xué)高等教育研究項(xiàng)目(項(xiàng)目名稱:我�？蒲袌F(tuán)隊(duì)成長(zhǎng)性及水平評(píng)價(jià)研究);北京市屬高等學(xué)校高層次人才引進(jìn)與培養(yǎng)計(jì)劃項(xiàng)目(項(xiàng)目名稱: 非完備信息系統(tǒng)中決策樹(shù)生成算法及其優(yōu)化研究)。
作者簡(jiǎn)介：武裝,男,博士,副教授,研究領(lǐng)域?yàn)榭梢暬�、大�?shù)據(jù)和智能計(jì)算。覃愛(ài)明,女,博士,講師，研究領(lǐng)域?yàn)閿?shù)據(jù)挖掘。
參考文獻(xiàn)
[1]潘琳,齊庚申,王偉,孫寶盛.天津市空氣質(zhì)量變化趨勢(shì)及主要影響因子分析[J]. 環(huán)境污染與防治, 2011,33(10): 106-109.
[2]http://baike.baidu.com/link?url=-749Wmqim3lgUugPFp1yu315ondM4U9O1AN-kskFqoMAXJi7MX6EcabxKG4K9fX2eNNnYRQdJmHemAVFcccVuq
[3]http://baike.baidu.com/link?url=gYgTerXJFbKmcjKqfvVr2qUfI5IgqdZiPLUt83fyL2EUlU4jkhlyXh_Um8VkFceV932HWG3hVgy3doLdhKNBKa
[4]蔣志方. 城市空氣質(zhì)量預(yù)測(cè)模型與數(shù)據(jù)可視化方法研究[D]. 山東大學(xué)，2011. [5]http://baike.baidu.com/link?url=XTP7rEl2Ik7On1x5IIPqNnlN8f1-SR_B2-_f8eQHLvWoEXrrrjuwj3TlF1Xymk2glBta18BlTZrn4eE65Q9CNGPLSd6LIfPL65_sqZfAmCDZQuGeiy5Dvg5jb5W2PtblodyIw2zKq3qC4RFt95WtX_
[6]楊彥波,劉濱,祁明月. 信息可視化研究綜述[J]. 河北科技大學(xué)學(xué)報(bào), 2014, 35(1): 91-102.
[7] http://www.epa.gov/airdata/ad_viz.html
[8]王德敏. 空氣污染數(shù)據(jù)可視化方法研究及可視化系統(tǒng)實(shí)現(xiàn)[D]. 山東大學(xué)，2012.
作者名： 武裝 (1970-) ，男 ，河北唐山人，博士，副教授 ， 研究方向：大數(shù)據(jù)，可視化
電子技術(shù)論文發(fā)表期刊推薦《現(xiàn)代電信科技》辦刊宗旨：立足我國(guó)電信事業(yè)現(xiàn)狀，放眼世界電信技術(shù)發(fā)展，為廣大電信工程技術(shù)工作者、電信運(yùn)營(yíng)與管理人士提供國(guó)內(nèi)外電信科技的前沿信息，把握方向、遠(yuǎn)近結(jié)合，重在技術(shù)內(nèi)容的超前性、指導(dǎo)性與實(shí)用性，促進(jìn)中國(guó)通信現(xiàn)代化。
轉(zhuǎn)載請(qǐng)注明來(lái)自：http://www.jinnzone.com/dianzijishulw/53397.html
