近些年來(lái)，得益于娛樂(lè)、軍事以及工業(yè)等眾多領(lǐng)域的蓬勃發(fā)展，立體圖像技術(shù)得到了廣泛的應(yīng)用。和傳統(tǒng)的二維圖像相比，立體圖像可以額外提供圖像的深度信息，帶給觀看者身臨其境的感受，從而可以幫助觀看者對(duì)圖像所呈現(xiàn)的信息產(chǎn)生更加精細(xì)的準(zhǔn)確理解。

　　摘要：隨著立體圖像的大規(guī)模發(fā)展，很多應(yīng)用場(chǎng)合需要能夠迅速有效地完成對(duì)立體圖像的質(zhì)量評(píng)價(jià)工作，以便于后續(xù)應(yīng)用，而對(duì)其進(jìn)行主觀質(zhì)量評(píng)價(jià)在效率上很難滿(mǎn)足要求。因此，提出了一種感知質(zhì)量評(píng)價(jià)算法，并結(jié)合了一些人類(lèi)視覺(jué)系統(tǒng)的特性。首先需要得到視差圖，然后通過(guò)邊界圖和顯著圖來(lái)對(duì)視差圖進(jìn)行加權(quán)調(diào)整。接著使用Minkowski融合方法將加權(quán)后的視差圖整合成感知分?jǐn)?shù)。最后，使用多尺度分析來(lái)得到最終的感知質(zhì)量分?jǐn)?shù)。通過(guò)使用EPFL立體質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)來(lái)驗(yàn)證文中的立體圖像感知質(zhì)量評(píng)價(jià)算法。實(shí)驗(yàn)顯示算法最后得到的客觀分?jǐn)?shù)和EPFL數(shù)據(jù)庫(kù)中的主觀分?jǐn)?shù)具有高度的一致性和單調(diào)性，證明了文中的立體圖像感知質(zhì)量評(píng)價(jià)算法是有效的。

　　關(guān)鍵詞：立體圖像,無(wú)參考質(zhì)量評(píng)價(jià),視差,邊緣檢測(cè),多尺度

　　0引言

　　如何能夠迅速、準(zhǔn)確、有效地對(duì)這些立體圖像進(jìn)行評(píng)估便隨之成為一個(gè)具有高度必要性和重要性的研究課題。由于立體圖像獨(dú)有的一些特征，例如串?dāng)_、調(diào)節(jié)——聚散沖突、梯形失真、深度感知不一致、鬼影效應(yīng)、硬紙板效應(yīng)等等[1]，也都會(huì)影響到立體圖像的最終質(zhì)量。所以，立體圖像和二維圖像的質(zhì)量評(píng)價(jià)是有較大差別的，取得的成果也較為有限。當(dāng)前的研究仍然處于摸索探索階段，只是確立了大致的輪廓框架。即使是影響視覺(jué)舒適度的因素，也尚未取得一致，形成定論。但是仍然有一些因素是較受認(rèn)可的，比如調(diào)節(jié)——聚散沖突、串?dāng)_、梯形失真、鬼影效應(yīng)等因素對(duì)視覺(jué)不舒適度造成的影響已經(jīng)獲得了清晰明確的研究結(jié)論。只是相關(guān)的實(shí)驗(yàn)主要是使用眼動(dòng)儀來(lái)評(píng)估人眼的疲勞程度，而將這些影響因素引入到立體圖像的客觀質(zhì)量評(píng)價(jià)中來(lái)實(shí)現(xiàn)無(wú)人工干預(yù)的自動(dòng)化評(píng)價(jià)的工作量，迄至目前也仍然很少。

　　本文通過(guò)分析EPFL立體圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)，直觀地找到影響立體感知質(zhì)量的主要因素：視差量。然后基于視差和人類(lèi)視覺(jué)系統(tǒng)的一些特征提出了一種無(wú)參考的立體感知質(zhì)量評(píng)價(jià)算法。在這個(gè)算法中，視差量、邊緣檢測(cè)、顯著性檢測(cè)和多尺度分析等各種方法都發(fā)揮了重要作用。最后，通過(guò)EPFL立體質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)驗(yàn)證了所提出的立體感知質(zhì)量評(píng)價(jià)算法，實(shí)驗(yàn)結(jié)果表明該質(zhì)量評(píng)價(jià)算法可以準(zhǔn)確有效地預(yù)測(cè)主觀分?jǐn)?shù)，驗(yàn)證了所提出方法的合理性和實(shí)用性。

　　1基于人類(lèi)視覺(jué)系統(tǒng)的評(píng)價(jià)方法

　　和二維圖像質(zhì)量不同，立體圖像質(zhì)量還特別強(qiáng)調(diào)立體視覺(jué)的質(zhì)量，而不僅僅是觀看的立體圖像和采集的立體圖像之間的失真差異。在某些特定的情況下，現(xiàn)場(chǎng)采集的立體圖像或許在圖像質(zhì)量上可認(rèn)定為沒(méi)有失真，但是在立體視覺(jué)上卻并非盡善盡美，即使這些立體圖像沒(méi)有經(jīng)過(guò)壓縮編碼。因此，立體圖像的感知質(zhì)量評(píng)價(jià)適合采用無(wú)參考的評(píng)價(jià)方法。本節(jié)提出的感知質(zhì)量評(píng)價(jià)算法的主要貢獻(xiàn)有兩點(diǎn)：尋找對(duì)立體圖像的感知質(zhì)量影響最大的因子和應(yīng)用一些人類(lèi)視覺(jué)系統(tǒng)（HVS）的特性。圖1描述了該算法的主要步驟。此處的立體圖像是以左視和右視的形式給出的。

　　人的兩眼視軸之間的距離大約為65mm。在觀看立體圖像的時(shí)候，圖像在兩眼視網(wǎng)膜上的映像會(huì)出現(xiàn)水平差異，這個(gè)水平方向上的位置差異就是視差。由人眼的雙視視差結(jié)合已有的經(jīng)驗(yàn)知識(shí)，在大腦中可以形成深度感知，從而產(chǎn)生立體視覺(jué)。雙視視差在感知質(zhì)量評(píng)價(jià)算法中扮演著重要的角色。觀看一幅立體圖像實(shí)際上是一個(gè)把左視和右視對(duì)應(yīng)部分進(jìn)行融合匹配的過(guò)程。由于視差代表雙視之間對(duì)應(yīng)像素位置的距離差異，可以用來(lái)描述人眼把物體視像匯聚成一個(gè)對(duì)象的融合協(xié)調(diào)程度。

　　根據(jù)Goldmann對(duì)EPFL數(shù)據(jù)庫(kù)的分析[2]，攝像機(jī)之間的基準(zhǔn)距離和主觀分?jǐn)?shù)之間是存在著一定的關(guān)系的。圖2展示了在名為“moped”的場(chǎng)景中攝像機(jī)之間的基準(zhǔn)距離和主觀分?jǐn)?shù)之間的關(guān)系。由圖2中可以看出，隨著攝像機(jī)之間距離的不斷增加，主觀質(zhì)量分?jǐn)?shù)呈現(xiàn)減小的趨勢(shì)。對(duì)于EFPL數(shù)據(jù)庫(kù)中的其他場(chǎng)景，主觀質(zhì)量分?jǐn)?shù)和攝像機(jī)距離的大體趨勢(shì)也極為類(lèi)似，只是兩者之間具體的對(duì)應(yīng)關(guān)系不同。因此，使用視差值來(lái)預(yù)測(cè)立體圖像的主觀分?jǐn)?shù)是有一定理論依據(jù)的。而這兩者之間的具體對(duì)應(yīng)關(guān)系則由已經(jīng)提出的感知質(zhì)量評(píng)價(jià)算法得到。

　　鑒定只能計(jì)算在水平方向上的視差值，就決定了立體圖像的左視和右視必須首先正確地對(duì)齊，因此在執(zhí)行視差計(jì)算之前就要進(jìn)行圖像矯正。而其后的視差估計(jì)算法主要是通過(guò)分別提取立體圖像中左視圖和右視圖內(nèi)部的對(duì)應(yīng)特征來(lái)進(jìn)圖2“moped”場(chǎng)景中攝像機(jī)距離和質(zhì)量分?jǐn)?shù)

　　的對(duì)應(yīng)關(guān)系[2]

　　1.2邊緣檢測(cè)

　　基于人眼對(duì)邊緣非常敏感的特性，人類(lèi)視覺(jué)系統(tǒng)（HVS）更加易于提取結(jié)構(gòu)和邊緣信息[5]。而且根據(jù)前面提到的HVS的一些特性，尋找左、右視中對(duì)應(yīng)部分的過(guò)程實(shí)際上相當(dāng)于一個(gè)尋找對(duì)應(yīng)邊緣的過(guò)程，其后匹配的邊界就可以融合為一個(gè)感知對(duì)象。這就是立體視覺(jué)的形成過(guò)程。因此，圖像的邊緣點(diǎn)所對(duì)應(yīng)的視差值應(yīng)該被賦予較高的權(quán)值，而非邊緣點(diǎn)所對(duì)應(yīng)的視差值則要被賦予較小的權(quán)值。

　　當(dāng)前，有許多方法能用于邊緣檢測(cè)，可以將其分為基于搜索和基于零交叉的檢測(cè)方法。這些方法分別通過(guò)梯度和二階導(dǎo)數(shù)的零交叉點(diǎn)來(lái)得到圖像的邊緣。此處選擇最為常用的canny算子[6]來(lái)提取邊緣。使用canny算子得到的邊界圖中，每個(gè)像素點(diǎn)的值為0或1；將值為1的像素點(diǎn)的值保持不變，而對(duì)于值為0的像素點(diǎn)，其值則更新為一個(gè)較小的權(quán)值，該數(shù)值可由經(jīng)驗(yàn)得到，此處為0.8。最終，得到的邊界圖記為EM。

　　1.3顯著性檢測(cè)

　　由于立體圖像的信息量遠(yuǎn)比單視圖像要多，人們不可能在短時(shí)間內(nèi)立刻匹配所有的特征邊緣。大多數(shù)人在短時(shí)間內(nèi)只能關(guān)注到那些“重要的區(qū)域”，通過(guò)提取這些區(qū)域中對(duì)象的邊界，再最終匹配這些對(duì)應(yīng)的邊界來(lái)形成立體視覺(jué)。研究的進(jìn)一步開(kāi)展將需要HVS的這一特性在感知質(zhì)量評(píng)價(jià)算法中得到充分體現(xiàn)。因此，將顯著性檢測(cè)加入到所提的算法中即與HVS的工作原理是一致的。2實(shí)驗(yàn)結(jié)果及分析

　　由于立體圖像質(zhì)量評(píng)價(jià)的研究起步較晚且內(nèi)容較復(fù)雜，當(dāng)前的研究進(jìn)展比較緩慢，因此公開(kāi)的且各項(xiàng)指標(biāo)均合格的數(shù)據(jù)庫(kù)則少之又少。在當(dāng)前僅有的適用于立體圖像質(zhì)量評(píng)價(jià)的數(shù)據(jù)庫(kù)中，由瑞士洛桑理工學(xué)院（EPFL）的多媒體信號(hào)處理研究組（MMSPG）創(chuàng)建的立體圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)[2]最適合進(jìn)行感知質(zhì)量評(píng)價(jià)，因?yàn)镋PFL數(shù)據(jù)庫(kù)在建立的過(guò)程中盡可能地避免了各種類(lèi)型的失真，由此采集的圖像的失真程度很小、質(zhì)量較高，可以近似認(rèn)為沒(méi)有失真，即能夠最高程度地避免由于圖像降質(zhì)帶來(lái)的主觀質(zhì)量分?jǐn)?shù)的變化。

　　EPFL數(shù)據(jù)庫(kù)中所有的立體圖像都是由兩臺(tái)完全一樣的高清攝像機(jī)（CannonHG-20）采集的。攝像機(jī)鏡頭的光軸是平行的，并且兩臺(tái)攝像機(jī)鏡頭之間的距離可以保證連續(xù)調(diào)整，調(diào)整范圍設(shè)定為7cm到50cm。通過(guò)調(diào)整兩臺(tái)攝像機(jī)之間的水平距離可以改變視差。攝像機(jī)水平距離的變化直接導(dǎo)致了立體圖像的不同主觀分?jǐn)?shù)。本文提出的立體感知質(zhì)量評(píng)價(jià)主要依托于視差變量，非常適于評(píng)價(jià)EPFL數(shù)據(jù)庫(kù)中的立體圖像序列。

　　3結(jié)束語(yǔ)

　　針對(duì)立體圖像的成像原理，本文提出了一種感知質(zhì)量評(píng)價(jià)算法，主要評(píng)價(jià)感知質(zhì)量，而非采集的立體圖像和參考的立體圖像之間的失真質(zhì)量。首先得到視差圖，然后計(jì)算邊界圖和顯著圖，分別對(duì)其進(jìn)行加權(quán)調(diào)整，并將加權(quán)調(diào)整后的邊界圖和顯著圖的每個(gè)像素點(diǎn)作為權(quán)值來(lái)對(duì)視差圖進(jìn)行加權(quán)，接著使用Minkowski融合方法將加權(quán)后的視差圖整合成一個(gè)單一的感知分?jǐn)?shù)。稍后，使用多尺度處理來(lái)得到不同尺度下的感知分?jǐn)?shù)，并加權(quán)相乘得到最終的感知質(zhì)量分?jǐn)?shù)。最后，通過(guò)EPFL立體質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)驗(yàn)證了本文中的立體圖像感知質(zhì)量評(píng)價(jià)算法。相關(guān)的評(píng)價(jià)指標(biāo)以及主觀分?jǐn)?shù)和客觀分?jǐn)?shù)之間的散點(diǎn)圖都證明了感知質(zhì)量評(píng)價(jià)算法的有效性。這說(shuō)明了雙視視差確實(shí)可以作為衡量感知質(zhì)量的標(biāo)準(zhǔn)，并且圖像中物體的結(jié)構(gòu)邊緣以及顯著圖中的顯著區(qū)域相對(duì)于其它區(qū)域而言，在立體視覺(jué)的形成過(guò)程中扮演了更為重要的角色。而且，多尺度處理也提高了感知質(zhì)量評(píng)價(jià)算法的精度。

　　參考文獻(xiàn)：

　　[1]KOOIFL，TOETA.Visualcomfortofbinocularand3Ddisplays[J].Displays，2004，25（2）：99-108.

　　[2]GOLDMANNL，DESIMONEF，EBRAHIMIT.Impactofacquisitiondistortionsonthequalityofstereoscopicimages[C]//FifthInternationalWorkshoponVideoProcessingandQualityMetricsforConsumerElectronics-VPQM2010，2010.

　　[3]AKHTERR.PerceivedImageQualityAssessmentforStereoscopicVision[D].TheUniversityofManitoba，2011：14-15.

　　[4]ALAGOZBB.Obtainingdepthmapsfromcolorimagesbyregionbasedstereomatchingalgorithms[J].arXivpreprintarXiv：0812.1340，2008.

　　[5]WANGZ，BOVIKAC，LUL.Whyisimagequalityassessmentsodifficult？[C]//Acoustics，Speech，andSignalProcessing（ICASSP），2002IEEEInternationalConferenceon.IEEE，2002，4：3313-3316.

　　[6]CANNYJ.Acomputationalapproachtoedgedetection[J].PatternAnalysisandMachineIntelligence，IEEETransactionson，1986（6）：679-698.

轉(zhuǎn)載請(qǐng)注明來(lái)自：http://www.jinnzone.com/tongxinlw/33185.html