本文針對(duì)布局標(biāo)簽圖到仿真中國(guó)山水畫的轉(zhuǎn)換生成問(wèn)題進(jìn)行研究，現(xiàn)有的基于條件生成對(duì)抗網(wǎng)絡(luò)( CGAN) 的方法存在色彩和語(yǔ)義失真、網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量較大的問(wèn)題. 針對(duì)這些問(wèn)題，提出一種局部色彩可控的中國(guó)山水畫仿真生成方法. 方法首先提出并設(shè)計(jì)了一種面向山水畫的多語(yǔ)義標(biāo)簽圖作為交互方式，根據(jù)內(nèi)容、技法、顏色 3 個(gè)語(yǔ)義層次歸納出山水畫中對(duì)象的類別，相應(yīng)地設(shè)計(jì)了面向手繪山水畫原作的多語(yǔ)義標(biāo)簽圖的分層分割生成算法，用于構(gòu)造“手繪山水畫-多語(yǔ)義標(biāo)簽圖”數(shù)據(jù)對(duì)以作網(wǎng)絡(luò)訓(xùn)練之用; 其次，提出了輕量化的多尺度顏色類別關(guān)注的條件生成對(duì)抗網(wǎng)絡(luò) MS3C-CGAN，引入空間自適應(yīng)歸一化殘差塊、雙線性上采樣結(jié)構(gòu)簡(jiǎn)化并重構(gòu)原有的 UC-Net 生成器，將生成器的參數(shù)量減少了 24. 45% . 對(duì)比實(shí)驗(yàn)結(jié)果表明，本文方法仿真生成的中國(guó)山水畫更具色彩藝術(shù)真實(shí)感、語(yǔ)義內(nèi)容更為準(zhǔn)確，同時(shí)通過(guò)編輯布局標(biāo)簽圖可控制生成山水畫中植被的色彩，可應(yīng)用于藝術(shù)教育、設(shè)計(jì)模擬等領(lǐng)域.

　　1 引 言

　　中國(guó)山水畫是中國(guó)傳統(tǒng)繪畫藝術(shù)的重要組成部分，以山川自然景觀為主要描繪對(duì)象. 中國(guó)山水畫的仿真研究始于上世紀(jì) 90 年代，是計(jì)算機(jī)圖形圖像領(lǐng)域極具挑戰(zhàn)性的課題之一. 以往的仿真工作大多側(cè)重對(duì)山水畫筆法和局部模型的仿真，近期有文獻(xiàn)對(duì)其構(gòu)圖和整體藝術(shù)風(fēng)格進(jìn)行仿真，但是對(duì)整體色彩的仿真及控制的研究較少. 而中國(guó)山水畫的色彩在藝術(shù)表現(xiàn)力方面有重要的作用. 本文即著重研究如何在仿真生成山水畫的過(guò)程中實(shí)現(xiàn)對(duì)色彩的控制. 對(duì)中國(guó)山水畫色彩仿真及控制的研究有助于該類畫作設(shè)色技巧的傳承與發(fā)展，可應(yīng)用于藝術(shù)教育、設(shè)計(jì)模擬和數(shù)字娛樂(lè)等領(lǐng)域.

　　隨著深度學(xué)習(xí)的發(fā)展，產(chǎn)生了以下兩類仿真方法: 1) 采用風(fēng)格傳遞思想，通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，賦予用戶輸入的圖像以山水畫的藝術(shù)風(fēng)格. Wang 等人[7]、Gatys 等人[8]通過(guò)學(xué)習(xí)獲得一個(gè)風(fēng)格網(wǎng)絡(luò)，當(dāng)用戶輸入任意一張圖像，神經(jīng)網(wǎng)絡(luò)可將其轉(zhuǎn)換成具有藝術(shù)風(fēng)格的圖像. 這類方法本質(zhì)上并不能實(shí)現(xiàn)中國(guó)山水畫的仿真生成，只是使內(nèi)容圖具有了山水畫的風(fēng)格特點(diǎn)，且未涉及中國(guó)山水畫局部色彩可控的仿真生成. 2) 基于生成對(duì)抗 網(wǎng) 絡(luò) ( Generative Adversarial Nets， GAN) 的圖像異質(zhì)轉(zhuǎn)換生成方法，通過(guò)學(xué)習(xí)山水畫數(shù)據(jù)樣本在語(yǔ)義布局圖約束條件下的分布，進(jìn)而仿真生成中國(guó)山水畫.圖像異質(zhì)轉(zhuǎn)換是指不同表現(xiàn)方式、不同來(lái)源獲得的不同質(zhì)量的圖像之間的轉(zhuǎn)換. Isola [9]等人提出基于條件生成對(duì)抗網(wǎng)絡(luò) ( Conditional Generative Adversarial Nets，CGAN) 的像素級(jí)圖像異質(zhì)轉(zhuǎn)換通用解決方案，用生成方式實(shí)現(xiàn)了圖像異質(zhì)轉(zhuǎn)換.語(yǔ)義布局標(biāo)簽圖到場(chǎng)景圖像的轉(zhuǎn)換是圖像異質(zhì)轉(zhuǎn)換的一種， Park 等人[10]認(rèn)為在生成器中采用傳統(tǒng)歸一化層會(huì)洗去語(yǔ)義布局標(biāo)簽圖的語(yǔ)義信息，因此提出空間自適應(yīng)歸一化( SPatially-Adaptive( DE) normalization，SPADE) ，進(jìn)而設(shè)計(jì)了高斯條件生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)( Gaussian Generative Adversarial Network，GauGAN) ，其生成器采用變分自動(dòng)編碼結(jié)構(gòu)，在測(cè)試生成器時(shí)，其編碼器可作為樣式指導(dǎo)網(wǎng)絡(luò)，控制生成圖像的風(fēng)格; Zhang 等人[11]基于 CGAN 思想提出了一個(gè)基于樣例圖的圖像異質(zhì)轉(zhuǎn)換通用框架，生成器可將輸入圖像轉(zhuǎn)換為具有樣例圖風(fēng)格的真實(shí)圖像. 以上方法都可實(shí)現(xiàn)基于語(yǔ)義布局標(biāo)簽圖生成復(fù)雜場(chǎng)景圖像，且都可實(shí)現(xiàn)基于樣例圖的風(fēng)格( 紋理、色彩) 可控圖像生成，但這些網(wǎng)絡(luò)結(jié)構(gòu)和色彩控制方法都不是針對(duì)山水畫生成問(wèn)題設(shè)計(jì)的.

　　2 本文算法思想分析

　　2. 1 本文算法流程本文算法的基本過(guò)程是以多語(yǔ)義標(biāo)簽圖為輸入，系統(tǒng)利用本文方法訓(xùn)練的 MS3C-CGAN 網(wǎng)絡(luò)生成布局相仿、多種語(yǔ)義相對(duì)應(yīng)的仿真中國(guó)山水畫. 如圖 1 所示，圖中下方為顏色標(biāo)簽與語(yǔ)義的對(duì)應(yīng)關(guān)系.

　　2. 2 山水畫多語(yǔ)義標(biāo)簽圖的設(shè)計(jì)對(duì)中國(guó)山水畫設(shè)色、繪制技法進(jìn)行分析發(fā)現(xiàn)，畫家取材于自然場(chǎng)景，運(yùn)用不同的色彩來(lái)表現(xiàn)不同時(shí)令的山水風(fēng)貌，且通常在植被這類景物上著色較為豐富，春季植被的顏色包含紅、黃、橙等暖色，展現(xiàn)生機(jī)的綠色，并配以中性色( 黑、灰) ; 夏季草木郁郁青青，主要以綠色、青藍(lán)色等冷色為主; 秋季草稀葉疏，色調(diào)偏紅; 冬季落木蕭蕭，以青黛色為主，偏黑灰( 中性色) . 畫家對(duì)遠(yuǎn)處、近處植被的刻畫技法不同，山石上的苔蘚、遠(yuǎn)處的植被技法偏寫意，近處的植被刻畫較為細(xì)致、顏色較為鮮明，本文以寫實(shí)技法稱呼這種相對(duì)細(xì)致的手法. 由此可見: 山水畫色彩構(gòu)成中植被的色彩是關(guān)鍵的部分，而植被按技法大致可分為寫意植被和寫實(shí)植被; 寫意植被通常著色低調(diào)，視覺效果上顏色的差異較小，因此不再根據(jù)顏色進(jìn)行細(xì)分; 寫實(shí)植被是展現(xiàn)色彩的主要對(duì)象，按顏色又分為中性色植被、暖色系植被、冷色系植被 3 類.因此，本文采用分層思想對(duì)山水畫中景物進(jìn)行分類，如圖 2 所示，第 1 層按照內(nèi)容語(yǔ)義分為云水、植被、山石，第 2 層按照技法語(yǔ)義將植被分為寫意植被和寫實(shí)植被，第 3 層按照顏色語(yǔ)義將寫實(shí)植被分為中性色植被、暖色系植被、冷色系植被.

　　3 MS3C-CGAN 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

　　3. 1 改進(jìn)的生成器設(shè)計(jì)文獻(xiàn)[12]采用 U-Net 的結(jié)構(gòu)，并設(shè)計(jì)了短連接結(jié)構(gòu)，構(gòu)建了 UC-Net 生成器. 短連接的具體操作是級(jí)聯(lián)、復(fù)用前兩層的特征圖，該操作增加了卷積核數(shù)量，最終使得計(jì)算量增加. 本文的目標(biāo)是用能夠?qū)崿F(xiàn)短連接功能的結(jié)構(gòu)替換短連接，構(gòu)建出一個(gè)更為輕量的生成器. 如圖 4( b) 所示，SPADE 殘差塊相比于傳統(tǒng)的卷積模塊多了一條旁路特征流，也是特征的復(fù)用，但是是以直接相加的方式，未增加卷積的通道數(shù); 其內(nèi)部的 SPADE 模塊通過(guò)對(duì)標(biāo)簽圖進(jìn)行額外卷積來(lái)輸出歸一化層所需的仿射參數(shù)( 如圖 4( a) ) ，可實(shí)現(xiàn)短連接保留標(biāo)簽圖信息的功能.

　　3. 2 損失函數(shù) MS3C-CGAN 網(wǎng)絡(luò)的訓(xùn)練輸入為成對(duì)的“手繪 山 水 畫 ( x) -多語(yǔ)義標(biāo)簽圖( y) ”數(shù)據(jù). 該模型的輸入還包含一個(gè)采樣于高斯分布 pz ( z) 的隨機(jī)噪聲 z [15]. 生成器 G 將輸入圖像( z， y) 轉(zhuǎn)化為生成圖像 G( z，y) ，鑒別器 D 鑒別二元組( G ( z，y) ， y) 和( x，y) 的真假. 生成器 G 盡力讓鑒別器將( G ( z，y) ，y) 鑒別為真，鑒別器 D 要盡力將真實(shí)數(shù)據(jù)和生成數(shù)據(jù)區(qū)分開，當(dāng)鑒別器無(wú)法區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)時(shí)，認(rèn)為生成器 G 達(dá)到最優(yōu). 研究表明，對(duì)抗損失結(jié)合傳統(tǒng)的 L1 范數(shù)損失有助于減少模糊，提高生成圖的真實(shí)感[16，17]. 因此，本文設(shè)計(jì)的 MS3CCGAN 網(wǎng)絡(luò)訓(xùn)練的目標(biāo)函數(shù)如下( 其中 λ 表示正則系數(shù)) : L MS3C-CGAN = min G max D [Ex，y∈ground-truth ( logD( x，y) ) + Ey∈ground-truth，z∈p z( z) ( log( 1 - D( G( z，y) ，y) ) ) ]+ λ Ex，y∈ground-truth，z∈p z( z) ( ‖x - G( z，y) ‖1 )

　　4 訓(xùn)練數(shù)據(jù)集的構(gòu)建與生成

　　4. 1 山水畫數(shù)據(jù)集的收集與處理 MS3C-CGAN 網(wǎng)絡(luò)的訓(xùn)練需要大量的“手繪山水畫-多語(yǔ)義標(biāo)簽圖”數(shù)據(jù)對(duì). 本文以文獻(xiàn)[12]收集的手繪山水畫數(shù)據(jù)集為基礎(chǔ)，另外還從國(guó)內(nèi)山水畫網(wǎng)站收集同類型的畫作來(lái)擴(kuò)充該數(shù)據(jù)集. 采用圖像處理工具祛除新增手繪山水畫的題字、水印、非自然景觀的物體，篩除數(shù)據(jù)集中以下幾種情況的畫作: 1) 山石和植被的紋理細(xì)節(jié)模糊; 2) 山石部分整體的亮度顯著低于植被部分; 3) 云水、山石、植被 3 部分的比例不協(xié)調(diào).為便于模型的訓(xùn)練，將手繪山水畫裁剪為 256 × 256 大小的圖像. 裁剪過(guò)程選擇那些云水、山石、植被 3 部分比例和諧的情況，最終整理篩選出 1046 對(duì)數(shù)據(jù).

　　4. 2 多語(yǔ)義標(biāo)簽圖的分層分割生成算法本文需要獲取手繪山水畫的語(yǔ)義內(nèi)容，以形成“色塊—內(nèi)容”對(duì)應(yīng)的標(biāo)簽圖，為此設(shè)計(jì)了多語(yǔ)義標(biāo)簽圖的分層分割生成算法. 山水畫中景物交融、虛實(shí)結(jié)合，尤其是植被細(xì)分后的景物之間更為貼近交融，因此在獲取多語(yǔ)義標(biāo)簽圖時(shí)只需提出對(duì)象的大致輪廓，在每類內(nèi)容的邊界上允許有一定的誤差.

　　5 實(shí)驗(yàn)結(jié)果分析

　　5. 1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置本文訓(xùn)練數(shù)據(jù)構(gòu)造在 windows 的 Matlab 環(huán)境下實(shí)現(xiàn). MS3C-CGAN 在 tensorflow 環(huán) 境 下 實(shí) 現(xiàn)，硬 件 配 置 為 GPU Tesla P100.“手繪山水畫-多語(yǔ)義標(biāo)簽圖”的訓(xùn)練樣本 970 對(duì)，測(cè)試樣本 76 對(duì). 使用 adam 優(yōu)化器訓(xùn)練 MS3C-CGAN，學(xué)習(xí)率設(shè)置為 0. 0002，正則系數(shù)設(shè)置為 100，迭代訓(xùn)練 200 次.

　　5. 2 與文獻(xiàn)[12]生成效果對(duì)比與文獻(xiàn)[12]生成效果對(duì)比如圖 6 所示，文獻(xiàn)[12]方法的輸入是 3-標(biāo)簽圖，本文方法的輸入是多語(yǔ)義標(biāo)簽圖. 為了驗(yàn)證本文方法的色彩仿真效果，選取帶有中性色植被、冷色系植被、暖色系植被的山水畫原圖，展示本文方法和文獻(xiàn)[12]的仿真生成效果對(duì)比，如圖6( a) -圖6( d) 所示，本文方法生成的山水畫的色彩更接近原圖，更具藝術(shù)感; 圖 6( e) 展示了本文方法對(duì)文獻(xiàn)[12]失真問(wèn)題的改進(jìn)效果. 原圖下半部分兩株灌木之間有一片草地，文獻(xiàn)[12]生成圖中為一汪水，語(yǔ)義內(nèi)容失真，而本文方法生成圖中為植被，語(yǔ)義內(nèi)容更準(zhǔn)確.

　　6 結(jié)束語(yǔ)

　　本文針對(duì)布局標(biāo)簽圖到仿真中國(guó)山水畫的轉(zhuǎn)換生成問(wèn)題進(jìn)行研究，采用分層思想提出并設(shè)計(jì)了一種面向山水畫的多語(yǔ)義標(biāo)簽圖，并相應(yīng)地設(shè)計(jì)了分層分割算法生成了多語(yǔ)義標(biāo)簽圖，構(gòu)造了“手繪山水畫-多語(yǔ)義標(biāo)簽圖”數(shù)據(jù)對(duì)用于網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練; 引入 SPADE 殘差塊、雙線性上采樣結(jié)構(gòu)對(duì) MSFF-CGAN 的生成器進(jìn)行改進(jìn)，使得其參數(shù)量減少了24. 45% ，獲得了更為輕量的網(wǎng)絡(luò)結(jié)構(gòu) MS3C-CGAN. 實(shí)驗(yàn)結(jié)果表明，相比于現(xiàn)有方法，本文方法仿真生成的山水畫更具色彩藝術(shù)真實(shí)感，語(yǔ)義內(nèi)容更為準(zhǔn)確. 本文層次設(shè)計(jì)方式可以推廣到其他語(yǔ)義類型，提供了山水畫后續(xù)標(biāo)簽圖的擴(kuò)展和豐富的一種思路和方法.

　　本文算法也存在一些不足，如生成的植被紋理不夠細(xì)膩、缺少小舟、人物、太陽(yáng)等小景，這些不足將在后續(xù)工作中采用數(shù)據(jù)及網(wǎng)絡(luò)結(jié)構(gòu)增強(qiáng)、多尺度分析、語(yǔ)義分割等方法進(jìn)行改進(jìn)和完善; 同時(shí)后續(xù)還將對(duì)山水畫的風(fēng)格進(jìn)行細(xì)分，探索不同風(fēng)格的特點(diǎn)，以期在網(wǎng)絡(luò)生成過(guò)程中進(jìn)行選擇和控制.

　　References:

　　[1] Lee J. Simulating oriental black-ink painting[J]. IEEE Computer Graphics & Applications，1999，19( 3) : 74-81.

　　[2] Way D L，Shih Z C. The synthesis of rock textures in Chinese landscape painting[J]. Computer Graphics Forum，2001，20( 3) : 123-131.

　　《局部色彩可控的中國(guó)山水畫仿真生成方法》來(lái)源：《小型微型計(jì)算機(jī)系統(tǒng)》，作者： 林 錦，陳昭炯，葉東毅

---

轉(zhuǎn)載請(qǐng)注明來(lái)自：http://www.jinnzone.com/meishulw/74491.html