本文針對布局標(biāo)簽圖到仿真中國山水畫的轉(zhuǎn)換生成問題進行研究，現(xiàn)有的基于條件生成對抗網(wǎng)絡(luò)( CGAN) 的方法存在色彩和語義失真、網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量較大的問題. 針對這些問題，提出一種局部色彩可控的中國山水畫仿真生成方法. 方法首先提出并設(shè)計了一種面向山水畫的多語義標(biāo)簽圖作為交互方式，根據(jù)內(nèi)容、技法、顏色 3 個語義層次歸納出山水畫中對象的類別，相應(yīng)地設(shè)計了面向手繪山水畫原作的多語義標(biāo)簽圖的分層分割生成算法，用于構(gòu)造“手繪山水畫-多語義標(biāo)簽圖”數(shù)據(jù)對以作網(wǎng)絡(luò)訓(xùn)練之用; 其次，提出了輕量化的多尺度顏色類別關(guān)注的條件生成對抗網(wǎng)絡(luò) MS3C-CGAN，引入空間自適應(yīng)歸一化殘差塊、雙線性上采樣結(jié)構(gòu)簡化并重構(gòu)原有的 UC-Net 生成器，將生成器的參數(shù)量減少了 24. 45% . 對比實驗結(jié)果表明，本文方法仿真生成的中國山水畫更具色彩藝術(shù)真實感、語義內(nèi)容更為準(zhǔn)確，同時通過編輯布局標(biāo)簽圖可控制生成山水畫中植被的色彩，可應(yīng)用于藝術(shù)教育、設(shè)計模擬等領(lǐng)域.

　　1 引 言

　　中國山水畫是中國傳統(tǒng)繪畫藝術(shù)的重要組成部分，以山川自然景觀為主要描繪對象. 中國山水畫的仿真研究始于上世紀(jì) 90 年代，是計算機圖形圖像領(lǐng)域極具挑戰(zhàn)性的課題之一. 以往的仿真工作大多側(cè)重對山水畫筆法和局部模型的仿真，近期有文獻對其構(gòu)圖和整體藝術(shù)風(fēng)格進行仿真，但是對整體色彩的仿真及控制的研究較少. 而中國山水畫的色彩在藝術(shù)表現(xiàn)力方面有重要的作用. 本文即著重研究如何在仿真生成山水畫的過程中實現(xiàn)對色彩的控制. 對中國山水畫色彩仿真及控制的研究有助于該類畫作設(shè)色技巧的傳承與發(fā)展，可應(yīng)用于藝術(shù)教育、設(shè)計模擬和數(shù)字娛樂等領(lǐng)域.

　　隨著深度學(xué)習(xí)的發(fā)展，產(chǎn)生了以下兩類仿真方法: 1) 采用風(fēng)格傳遞思想，通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)，賦予用戶輸入的圖像以山水畫的藝術(shù)風(fēng)格. Wang 等人[7]、Gatys 等人[8]通過學(xué)習(xí)獲得一個風(fēng)格網(wǎng)絡(luò)，當(dāng)用戶輸入任意一張圖像，神經(jīng)網(wǎng)絡(luò)可將其轉(zhuǎn)換成具有藝術(shù)風(fēng)格的圖像. 這類方法本質(zhì)上并不能實現(xiàn)中國山水畫的仿真生成，只是使內(nèi)容圖具有了山水畫的風(fēng)格特點，且未涉及中國山水畫局部色彩可控的仿真生成. 2) 基于生成對抗 網(wǎng) 絡(luò) ( Generative Adversarial Nets， GAN) 的圖像異質(zhì)轉(zhuǎn)換生成方法，通過學(xué)習(xí)山水畫數(shù)據(jù)樣本在語義布局圖約束條件下的分布，進而仿真生成中國山水畫.圖像異質(zhì)轉(zhuǎn)換是指不同表現(xiàn)方式、不同來源獲得的不同質(zhì)量的圖像之間的轉(zhuǎn)換. Isola [9]等人提出基于條件生成對抗網(wǎng)絡(luò) ( Conditional Generative Adversarial Nets，CGAN) 的像素級圖像異質(zhì)轉(zhuǎn)換通用解決方案，用生成方式實現(xiàn)了圖像異質(zhì)轉(zhuǎn)換.語義布局標(biāo)簽圖到場景圖像的轉(zhuǎn)換是圖像異質(zhì)轉(zhuǎn)換的一種， Park 等人[10]認為在生成器中采用傳統(tǒng)歸一化層會洗去語義布局標(biāo)簽圖的語義信息，因此提出空間自適應(yīng)歸一化( SPatially-Adaptive( DE) normalization，SPADE) ，進而設(shè)計了高斯條件生成對抗網(wǎng)絡(luò)結(jié)構(gòu)( Gaussian Generative Adversarial Network，GauGAN) ，其生成器采用變分自動編碼結(jié)構(gòu)，在測試生成器時，其編碼器可作為樣式指導(dǎo)網(wǎng)絡(luò)，控制生成圖像的風(fēng)格; Zhang 等人[11]基于 CGAN 思想提出了一個基于樣例圖的圖像異質(zhì)轉(zhuǎn)換通用框架，生成器可將輸入圖像轉(zhuǎn)換為具有樣例圖風(fēng)格的真實圖像. 以上方法都可實現(xiàn)基于語義布局標(biāo)簽圖生成復(fù)雜場景圖像，且都可實現(xiàn)基于樣例圖的風(fēng)格( 紋理、色彩) 可控圖像生成，但這些網(wǎng)絡(luò)結(jié)構(gòu)和色彩控制方法都不是針對山水畫生成問題設(shè)計的.

　　2 本文算法思想分析

　　2. 1 本文算法流程本文算法的基本過程是以多語義標(biāo)簽圖為輸入，系統(tǒng)利用本文方法訓(xùn)練的 MS3C-CGAN 網(wǎng)絡(luò)生成布局相仿、多種語義相對應(yīng)的仿真中國山水畫. 如圖 1 所示，圖中下方為顏色標(biāo)簽與語義的對應(yīng)關(guān)系.

　　2. 2 山水畫多語義標(biāo)簽圖的設(shè)計對中國山水畫設(shè)色、繪制技法進行分析發(fā)現(xiàn)，畫家取材于自然場景，運用不同的色彩來表現(xiàn)不同時令的山水風(fēng)貌，且通常在植被這類景物上著色較為豐富，春季植被的顏色包含紅、黃、橙等暖色，展現(xiàn)生機的綠色，并配以中性色( 黑、灰) ; 夏季草木郁郁青青，主要以綠色、青藍色等冷色為主; 秋季草稀葉疏，色調(diào)偏紅; 冬季落木蕭蕭，以青黛色為主，偏黑灰( 中性色) . 畫家對遠處、近處植被的刻畫技法不同，山石上的苔蘚、遠處的植被技法偏寫意，近處的植被刻畫較為細致、顏色較為鮮明，本文以寫實技法稱呼這種相對細致的手法. 由此可見: 山水畫色彩構(gòu)成中植被的色彩是關(guān)鍵的部分，而植被按技法大致可分為寫意植被和寫實植被; 寫意植被通常著色低調(diào)，視覺效果上顏色的差異較小，因此不再根據(jù)顏色進行細分; 寫實植被是展現(xiàn)色彩的主要對象，按顏色又分為中性色植被、暖色系植被、冷色系植被 3 類.因此，本文采用分層思想對山水畫中景物進行分類，如圖 2 所示，第 1 層按照內(nèi)容語義分為云水、植被、山石，第 2 層按照技法語義將植被分為寫意植被和寫實植被，第 3 層按照顏色語義將寫實植被分為中性色植被、暖色系植被、冷色系植被.

　　3 MS3C-CGAN 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

　　3. 1 改進的生成器設(shè)計文獻[12]采用 U-Net 的結(jié)構(gòu)，并設(shè)計了短連接結(jié)構(gòu)，構(gòu)建了 UC-Net 生成器. 短連接的具體操作是級聯(lián)、復(fù)用前兩層的特征圖，該操作增加了卷積核數(shù)量，最終使得計算量增加. 本文的目標(biāo)是用能夠?qū)崿F(xiàn)短連接功能的結(jié)構(gòu)替換短連接，構(gòu)建出一個更為輕量的生成器. 如圖 4( b) 所示，SPADE 殘差塊相比于傳統(tǒng)的卷積模塊多了一條旁路特征流，也是特征的復(fù)用，但是是以直接相加的方式，未增加卷積的通道數(shù); 其內(nèi)部的 SPADE 模塊通過對標(biāo)簽圖進行額外卷積來輸出歸一化層所需的仿射參數(shù)( 如圖 4( a) ) ，可實現(xiàn)短連接保留標(biāo)簽圖信息的功能.

　　3. 2 損失函數(shù) MS3C-CGAN 網(wǎng)絡(luò)的訓(xùn)練輸入為成對的“手繪 山 水 畫 ( x) -多語義標(biāo)簽圖( y) ”數(shù)據(jù). 該模型的輸入還包含一個采樣于高斯分布 pz ( z) 的隨機噪聲 z [15]. 生成器 G 將輸入圖像( z， y) 轉(zhuǎn)化為生成圖像 G( z，y) ，鑒別器 D 鑒別二元組( G ( z，y) ， y) 和( x，y) 的真假. 生成器 G 盡力讓鑒別器將( G ( z，y) ，y) 鑒別為真，鑒別器 D 要盡力將真實數(shù)據(jù)和生成數(shù)據(jù)區(qū)分開，當(dāng)鑒別器無法區(qū)分真實數(shù)據(jù)和生成數(shù)據(jù)時，認為生成器 G 達到最優(yōu). 研究表明，對抗損失結(jié)合傳統(tǒng)的 L1 范數(shù)損失有助于減少模糊，提高生成圖的真實感[16，17]. 因此，本文設(shè)計的 MS3CCGAN 網(wǎng)絡(luò)訓(xùn)練的目標(biāo)函數(shù)如下( 其中 λ 表示正則系數(shù)) : L MS3C-CGAN = min G max D [Ex，y∈ground-truth ( logD( x，y) ) + Ey∈ground-truth，z∈p z( z) ( log( 1 - D( G( z，y) ，y) ) ) ]+ λ Ex，y∈ground-truth，z∈p z( z) ( ‖x - G( z，y) ‖1 )

　　4 訓(xùn)練數(shù)據(jù)集的構(gòu)建與生成

　　4. 1 山水畫數(shù)據(jù)集的收集與處理 MS3C-CGAN 網(wǎng)絡(luò)的訓(xùn)練需要大量的“手繪山水畫-多語義標(biāo)簽圖”數(shù)據(jù)對. 本文以文獻[12]收集的手繪山水畫數(shù)據(jù)集為基礎(chǔ)，另外還從國內(nèi)山水畫網(wǎng)站收集同類型的畫作來擴充該數(shù)據(jù)集. 采用圖像處理工具祛除新增手繪山水畫的題字、水印、非自然景觀的物體，篩除數(shù)據(jù)集中以下幾種情況的畫作: 1) 山石和植被的紋理細節(jié)模糊; 2) 山石部分整體的亮度顯著低于植被部分; 3) 云水、山石、植被 3 部分的比例不協(xié)調(diào).為便于模型的訓(xùn)練，將手繪山水畫裁剪為 256 × 256 大小的圖像. 裁剪過程選擇那些云水、山石、植被 3 部分比例和諧的情況，最終整理篩選出 1046 對數(shù)據(jù).

　　4. 2 多語義標(biāo)簽圖的分層分割生成算法本文需要獲取手繪山水畫的語義內(nèi)容，以形成“色塊—內(nèi)容”對應(yīng)的標(biāo)簽圖，為此設(shè)計了多語義標(biāo)簽圖的分層分割生成算法. 山水畫中景物交融、虛實結(jié)合，尤其是植被細分后的景物之間更為貼近交融，因此在獲取多語義標(biāo)簽圖時只需提出對象的大致輪廓，在每類內(nèi)容的邊界上允許有一定的誤差.

　　5 實驗結(jié)果分析

　　5. 1 實驗環(huán)境與參數(shù)設(shè)置本文訓(xùn)練數(shù)據(jù)構(gòu)造在 windows 的 Matlab 環(huán)境下實現(xiàn). MS3C-CGAN 在 tensorflow 環(huán) 境 下 實 現(xiàn)，硬 件 配 置 為 GPU Tesla P100.“手繪山水畫-多語義標(biāo)簽圖”的訓(xùn)練樣本 970 對，測試樣本 76 對. 使用 adam 優(yōu)化器訓(xùn)練 MS3C-CGAN，學(xué)習(xí)率設(shè)置為 0. 0002，正則系數(shù)設(shè)置為 100，迭代訓(xùn)練 200 次.

　　5. 2 與文獻[12]生成效果對比與文獻[12]生成效果對比如圖 6 所示，文獻[12]方法的輸入是 3-標(biāo)簽圖，本文方法的輸入是多語義標(biāo)簽圖. 為了驗證本文方法的色彩仿真效果，選取帶有中性色植被、冷色系植被、暖色系植被的山水畫原圖，展示本文方法和文獻[12]的仿真生成效果對比，如圖6( a) -圖6( d) 所示，本文方法生成的山水畫的色彩更接近原圖，更具藝術(shù)感; 圖 6( e) 展示了本文方法對文獻[12]失真問題的改進效果. 原圖下半部分兩株灌木之間有一片草地，文獻[12]生成圖中為一汪水，語義內(nèi)容失真，而本文方法生成圖中為植被，語義內(nèi)容更準(zhǔn)確.

　　6 結(jié)束語

　　本文針對布局標(biāo)簽圖到仿真中國山水畫的轉(zhuǎn)換生成問題進行研究，采用分層思想提出并設(shè)計了一種面向山水畫的多語義標(biāo)簽圖，并相應(yīng)地設(shè)計了分層分割算法生成了多語義標(biāo)簽圖，構(gòu)造了“手繪山水畫-多語義標(biāo)簽圖”數(shù)據(jù)對用于網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練; 引入 SPADE 殘差塊、雙線性上采樣結(jié)構(gòu)對 MSFF-CGAN 的生成器進行改進，使得其參數(shù)量減少了24. 45% ，獲得了更為輕量的網(wǎng)絡(luò)結(jié)構(gòu) MS3C-CGAN. 實驗結(jié)果表明，相比于現(xiàn)有方法，本文方法仿真生成的山水畫更具色彩藝術(shù)真實感，語義內(nèi)容更為準(zhǔn)確. 本文層次設(shè)計方式可以推廣到其他語義類型，提供了山水畫后續(xù)標(biāo)簽圖的擴展和豐富的一種思路和方法.

　　本文算法也存在一些不足，如生成的植被紋理不夠細膩、缺少小舟、人物、太陽等小景，這些不足將在后續(xù)工作中采用數(shù)據(jù)及網(wǎng)絡(luò)結(jié)構(gòu)增強、多尺度分析、語義分割等方法進行改進和完善; 同時后續(xù)還將對山水畫的風(fēng)格進行細分，探索不同風(fēng)格的特點，以期在網(wǎng)絡(luò)生成過程中進行選擇和控制.

　　References:

　　[1] Lee J. Simulating oriental black-ink painting[J]. IEEE Computer Graphics & Applications，1999，19( 3) : 74-81.

　　[2] Way D L，Shih Z C. The synthesis of rock textures in Chinese landscape painting[J]. Computer Graphics Forum，2001，20( 3) : 123-131.

　　《局部色彩可控的中國山水畫仿真生成方法》來源：《小型微型計算機系統(tǒng)》，作者： 林 錦，陳昭炯，葉東毅

---

轉(zhuǎn)載請注明來自：http://www.jinnzone.com/meishulw/74491.html