人類可以快速準(zhǔn)確地識(shí)別視覺(jué)場(chǎng)中的顯著區(qū)域。在機(jī)器上模擬人類的這種能力對(duì)于使機(jī)器能夠像人類一樣處理視覺(jué)內(nèi)容是至關(guān)重要的。在過(guò)去的幾十年內(nèi),已有大量的顯著性檢測(cè)方法進(jìn)入了公開(kāi)發(fā)表。這些方法中的大部分[1-4]都趨向于預(yù)測(cè)人眼視覺(jué)注視點(diǎn)。然而這些人眼視覺(jué)注視點(diǎn)只是一些空間中的離散點(diǎn),并不能準(zhǔn)確地標(biāo)識(shí)整個(gè)顯著區(qū)域[5-6]。
摘要:檢測(cè)視覺(jué)上顯著的區(qū)域?qū)τ诤芏嘤?jì)算機(jī)視覺(jué)應(yīng)用都是非常有幫助的,例如:內(nèi)容保持的圖像縮放,自適應(yīng)的圖像壓縮和圖像分割。顯著區(qū)域檢測(cè)成為視覺(jué)顯著性檢測(cè)領(lǐng)域的重要研究方向。文**紹了顯著區(qū)域檢測(cè)算法的研究現(xiàn)狀并分析了典型的顯著區(qū)域檢測(cè)方法。首先,將現(xiàn)有的顯著區(qū)域檢測(cè)算法進(jìn)行了分類和分析。然后,在一個(gè)包含1000幅圖像的公開(kāi)數(shù)據(jù)集上對(duì)典型的顯著區(qū)域檢測(cè)算法進(jìn)行了評(píng)測(cè)。最后對(duì)現(xiàn)有的顯著區(qū)域檢測(cè)算法進(jìn)行了總結(jié)并展望了下一步發(fā)展方向。
關(guān)鍵詞:顯著區(qū)域檢測(cè),視覺(jué)顯著性檢測(cè),評(píng)測(cè)
0引言
近些年來(lái),一些科研單位和研究人員已經(jīng)開(kāi)始密切關(guān)注于顯著區(qū)域檢測(cè)方法的構(gòu)建工作,如洛桑聯(lián)邦理工學(xué)院的SabineSüsstrunk研究員,以色列理工學(xué)院的AyelletTal教授,微軟亞洲研究院的研究人員,清華大學(xué)的胡世民教授等。顯著區(qū)域檢測(cè)方法對(duì)以下領(lǐng)域發(fā)揮著重大的助益作用:圖像分割[7]、物體檢測(cè)[8]、內(nèi)容保持的圖像縮放[9]等。本文將對(duì)顯著區(qū)域檢測(cè)算法的研究現(xiàn)狀進(jìn)行介紹,同時(shí)對(duì)典型的顯著區(qū)域檢測(cè)算法進(jìn)行分析。
文章內(nèi)容組織結(jié)構(gòu)為:第2節(jié)對(duì)現(xiàn)有的顯著區(qū)域檢測(cè)算法進(jìn)行了分類和分析;第3節(jié)對(duì)典型的顯著區(qū)域檢測(cè)算法進(jìn)行了評(píng)測(cè);最后在第4節(jié)給出了總結(jié),并展望了下一步的研究工作。
1顯著區(qū)域檢測(cè)算法分類及分析
感知方面的研究成果表明[10]:在低層視覺(jué)顯著性中,對(duì)比度是最重要的影響因素。現(xiàn)有的顯著區(qū)域檢測(cè)算法通過(guò)計(jì)算每個(gè)圖像子區(qū)域同其一定范圍內(nèi)的相鄰區(qū)域的對(duì)比度來(lái)度量該圖像子區(qū)域的顯著性。而依據(jù)用于計(jì)算對(duì)比度的相鄰區(qū)域空間范圍的不同,現(xiàn)有的顯著區(qū)域檢測(cè)算法可分為兩類:基于局部對(duì)比的算法[6,11-12]和基于全局對(duì)比的算法[13-18]。下面分別對(duì)其探討如下。
1.1基于局部對(duì)比的顯著區(qū)域檢測(cè)算法
基于局部對(duì)比的顯著區(qū)域檢測(cè)算法通過(guò)計(jì)算每個(gè)圖像子區(qū)域或像素同其周圍一個(gè)小的局部領(lǐng)域的對(duì)比度來(lái)度量該圖像子區(qū)域或像素的顯著性。Ma等人[11]提出了一種基于局部對(duì)比和模糊生長(zhǎng)的顯著區(qū)域檢測(cè)算法。該方法首先對(duì)輸入圖像進(jìn)行均值濾波和降采樣。然后,該方法對(duì)新產(chǎn)生的低分辨率圖像中的每個(gè)像素計(jì)算其與周圍N個(gè)像素的LUV顏色向量的歐幾里得距離之和,并將此值作為該像素的顯著值。為了從產(chǎn)生的顯著圖中提取顯著區(qū)域,Ma等人[11]運(yùn)用模糊生長(zhǎng)(fuzzygrowing)的方法提取顯著區(qū)域。Liu等人[6]為了更加準(zhǔn)確地檢測(cè)顯著區(qū)域,提出了一系列新的局部區(qū)域和全局特征用于計(jì)算顯著性。這些特征包括:多尺度對(duì)比,中心-周圍直方圖和顏色空間分布。該方法通過(guò)學(xué)習(xí)一個(gè)條件隨機(jī)場(chǎng)來(lái)高效地結(jié)合上述這些特征用于檢測(cè)顯著區(qū)域。由上可知,因?yàn)橹皇峭ㄟ^(guò)局部對(duì)比來(lái)檢測(cè)顯著區(qū)域,所以基于局部對(duì)比的方法趨向于關(guān)注邊緣周圍的區(qū)域,而不會(huì)突出整個(gè)顯著區(qū)域(在生成的顯著圖中即表現(xiàn)為邊緣周圍的區(qū)域具有高的顯著值,而顯著區(qū)域內(nèi)部的顯著值則較低)。這個(gè)問(wèn)題可以稱其為“不一致突出顯著區(qū)域”問(wèn)題。
1.2基于全局對(duì)比的顯著區(qū)域檢測(cè)算法
基于全局對(duì)比的顯著區(qū)域檢測(cè)算法將整幅圖像作為對(duì)比區(qū)域來(lái)計(jì)算每個(gè)圖像子區(qū)域或像素的顯著值。Achanta等人[13]從頻率域角度出發(fā),首次提出了一種基于全局對(duì)比的顯著區(qū)域檢測(cè)的方法。該方法將經(jīng)過(guò)高斯低通濾波圖像中的每個(gè)像素值和整幅圖像的平均像素值之間的歐幾里得距離作為該點(diǎn)的顯著值。該方法非常簡(jiǎn)單,時(shí)間消耗非常低,且實(shí)驗(yàn)結(jié)果在查準(zhǔn)率-差全率方面的效果也堪稱優(yōu)良。該方法使得顯著區(qū)域檢測(cè)向?qū)嵱没姆较蚋斑M(jìn)了一步。然而Achanta等人提出的方法[13]在以下兩種情況下會(huì)失效:
。1)顯著區(qū)域的顏色占圖像中的大部分,通過(guò)方法[11]計(jì)算后,背景會(huì)具有更高的顯著值;
。2)背景中含有少量突出的顏色,這樣背景中的這部分顏色的顯著值也會(huì)非常高。第1期景慧昀,等:顯著區(qū)域檢測(cè)算法綜述智能計(jì)算機(jī)與應(yīng)用第4卷
針對(duì)以上缺陷,作者又在文章[18]中將此方法完成了進(jìn)一步的改進(jìn)。作者發(fā)現(xiàn)檢測(cè)顯著區(qū)域邊緣和檢測(cè)顯著區(qū)域中心所需要的圖像頻段是不同的,由此而依據(jù)像素點(diǎn)越在圖像中心越可能接近區(qū)域中心這樣一個(gè)假設(shè),來(lái)調(diào)整均值濾波的帶寬,使得位于顯著區(qū)域不同位置的像素點(diǎn)則有不同的均值濾波帶寬。而且,即將經(jīng)過(guò)濾波后的圖像中每個(gè)像素值和該像素所在的對(duì)稱子窗口內(nèi)的像素平均值的歐幾里得空間距離作為該點(diǎn)的顯著值。經(jīng)過(guò)這樣的調(diào)整,算法的時(shí)間復(fù)雜度有所提高,但是實(shí)驗(yàn)結(jié)果性能卻有較大提升。
Cheng等人在文章[15]中提出了兩種簡(jiǎn)單快速且更為準(zhǔn)確的顯著區(qū)域檢測(cè)方法。第一種方法只采用顏色的全局對(duì)比,作者將每個(gè)像素點(diǎn)和圖像中其它所有像素的Lab顏色向量的歐幾里得距離之和的1/N(N為該圖的像素點(diǎn)個(gè)數(shù))作為該點(diǎn)的顯著值。為了更快速地開(kāi)展計(jì)算,作者對(duì)圖像中的顏色進(jìn)行了量化,以顏色為單位計(jì)算每種顏色和圖像中其它所有顏色的歐幾里得距離。第一種方法中只考慮了顏色的全局對(duì)比,并未考慮空間位置關(guān)系,使得和顯著區(qū)域顏色接近的背景區(qū)域的顯著值也較高。作者在加入空間位置關(guān)系后又一次提出了方法二:首先對(duì)圖像進(jìn)行分割,獲得一定數(shù)量的子區(qū)域;谧訁^(qū)域,將子區(qū)域之間的空間位置關(guān)系作為權(quán)值計(jì)算該子區(qū)域與圖像其它所有子區(qū)域之間的相似度之和。方法2比方法1的時(shí)間復(fù)雜度略高(主要是由于引入了圖像分割操作,該操作比較耗時(shí)),但是實(shí)驗(yàn)結(jié)果得到了較大提高。通過(guò)仿真驗(yàn)證,Cheng等人[15]提出的方法簡(jiǎn)單高效。He等人[17]在Cheng的研究基礎(chǔ)上,提出了結(jié)合全局對(duì)比和顏色空間分布的顯著區(qū)域檢測(cè)方法。作者指出顏色的空間分布越緊湊,該類顏色就應(yīng)具有更高的顯著性,反之亦然。該方法將每類顏色所屬像素空間位置的方差作為衡量顏色空間分布的指標(biāo),生成顏色空間顯著圖。其后將顏色空間顯著圖和直方圖對(duì)比度顯著圖或區(qū)域?qū)Ρ榷蕊@著圖進(jìn)行疊加得到最終的顯著圖。Perazzi等人[16]也提出了一個(gè)基于對(duì)比度和空間分布的顯著區(qū)域檢測(cè)方法。
上述這些基于全局對(duì)比的顯著區(qū)域檢測(cè)方法可以在一定程度上消減“不一致突出顯著區(qū)域”問(wèn)題。但是當(dāng)顯著區(qū)域非常大或者圖像背景非常復(fù)雜時(shí),這些基于全局對(duì)比的方法就趨向于突出背景區(qū)域而不是顯著區(qū)域了。因而該問(wèn)題可以稱之為“突出圖像背景”問(wèn)題。
2顯著區(qū)域檢測(cè)算法測(cè)試
本節(jié)使用Achanta等人[13]提出的公開(kāi)可用的測(cè)試圖像庫(kù)來(lái)評(píng)價(jià)現(xiàn)有典型的顯著區(qū)域檢測(cè)算法的性能。該測(cè)試圖像庫(kù)包含了1000幅自然圖像以及與其相對(duì)應(yīng)標(biāo)識(shí)顯著區(qū)域的二值基準(zhǔn)圖像,并將查準(zhǔn)率-查全率曲線作為衡量顯著區(qū)域檢測(cè)算法性能的評(píng)價(jià)指標(biāo)。
圖1顯示了近期6個(gè)性能最先進(jìn)的顯著區(qū)域檢測(cè)方法(MZ[11]、LC[14]、FT[13]、HC[15]、RC[15]、SF[16])在Achanta數(shù)據(jù)集上的評(píng)測(cè)結(jié)果。這些方法中,對(duì)于FT、HC、RC和SF,本節(jié)使用作者的原始的實(shí)現(xiàn)程序來(lái)生成對(duì)應(yīng)的顯著圖。而對(duì)于MZ和LC方法,本節(jié)直接使用Ma等人[11]和Cheng等人[15]所提供的顯著圖。由圖1可以看出SF在Achanta等人[13]提供的測(cè)試集上取得了最好的檢測(cè)性能。
3結(jié)論與展望
本文對(duì)現(xiàn)有的顯著區(qū)域檢測(cè)方法進(jìn)行概述,F(xiàn)有的顯著區(qū)域檢測(cè)方法是利用局部鄰域或者整幅圖像作為對(duì)比區(qū)域來(lái)計(jì)算顯著性的。從本質(zhì)上而言,現(xiàn)有方法使用的并不恰當(dāng)?shù)膶?duì)比區(qū)域?qū)е铝似湎鄳?yīng)具有的“不一致突出顯著區(qū)域”和“突出圖像背景”兩個(gè)問(wèn)題。在進(jìn)行對(duì)比度計(jì)算之前,首先實(shí)現(xiàn)對(duì)比區(qū)域預(yù)估計(jì)的顯著區(qū)域檢測(cè)方法將成為下一步的發(fā)展趨勢(shì)。
參考文獻(xiàn):
[1]ITTIL,KOCHC,NIEBURE.Amodelofsaliency-basedvisualattentionforrapidsceneanalysis[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1998,20(11):1254–1259.
[2]MURRAYN,VANRELLM,OTAZUX,etal.Saliencyestimationusinganon-parametriclow-levelvisionmodel[C]//IEEEConferenceonComputerVisionandPatternRecognition.2011:433–440.
[3]HOUX,ZHANGL.Saliencydetection:Aspectralresidualapproach[C]//IEEEConferenceonComputerVisionandPatternRecognition.2007:1–8.
[4]BANS,JANGY,LEEM.A?ectivesaliencymapconsideringpsychologicaldistance[J].Neurocomputing,2011,74(11):1916–1925.
[5]LIUT,SUNJ,ZHENGN,etal.Learningtodetectasalientobject[C]//IEEEConferenceonComputerVisionandPatternRecognition.2007:1–8.
轉(zhuǎn)載請(qǐng)注明來(lái)自:http://www.jinnzone.com/jisuanjiyingyonglw/33182.html