圖標(biāo)（icon）廣泛應(yīng)用于各種類型的平面媒體中，其簡(jiǎn)單抽象的形象表示、簡(jiǎn)明扼要的信息表達(dá)受到了很多人的青睞。但一個(gè)好看、生動(dòng)的優(yōu)秀icon需要設(shè)計(jì)師基于多年的設(shè)計(jì)經(jīng)驗(yàn)，對(duì)目標(biāo)進(jìn)行充分的抽象、變形，重新設(shè)計(jì)成更光滑圓潤(rùn)、形象生動(dòng)的圖標(biāo)化結(jié)果。如果對(duì)于沒有設(shè)計(jì)經(jīng)驗(yàn)的人來說，從一張照片得到一個(gè)好看的圖標(biāo)并不容易。

為解決設(shè)計(jì)師的這一痛點(diǎn)，來自于日本九州大學(xué)和電氣通信大學(xué)的研究人員提出了基于生成對(duì)抗網(wǎng)絡(luò)的Iconify模型，可以將輸入的圖像轉(zhuǎn)換為較為形象簡(jiǎn)潔的圖標(biāo)，為圖標(biāo)生成和構(gòu)建提出了新的可行方向。

圖像主體的圖標(biāo)化

圖標(biāo)化指的是對(duì)圖像中的目標(biāo)進(jìn)行抽象和簡(jiǎn)化的過程，下圖顯示了一些典型的圖標(biāo)。與原始多代表的目標(biāo)相比，圖標(biāo)不僅僅是圖像的二值化，同時(shí)還對(duì)原始圖像進(jìn)行了有效地抽象和簡(jiǎn)化設(shè)計(jì)。例如人體的頭部都用一個(gè)圓來代替、復(fù)雜形狀和細(xì)節(jié)被簡(jiǎn)化成了簡(jiǎn)單的幾何結(jié)構(gòu)。圖形設(shè)計(jì)師的專業(yè)能力就在于省略、抽象和簡(jiǎn)化復(fù)雜的細(xì)節(jié)而保留原始目標(biāo)中具有辨識(shí)力的典型特征。

研究人員希望利用機(jī)器學(xué)習(xí)技術(shù)將照片直接轉(zhuǎn)換為圖標(biāo)，其核心在于機(jī)器學(xué)習(xí)算法是否可以有效捕捉和模擬人類設(shè)計(jì)師對(duì)于目標(biāo)的抽象和簡(jiǎn)化能力，來構(gòu)建美觀的圖標(biāo)。但實(shí)現(xiàn)這一目標(biāo)需要解決以下三個(gè)困難：

1． 首先針對(duì)真實(shí)圖像和圖標(biāo)沒有與之相匹配的配圖圖像，真實(shí)圖像和圖標(biāo)間沒有直接對(duì)應(yīng)的匹配關(guān)系使得研究人員無法使用基于U－Net的直接轉(zhuǎn)換方法，而需要在數(shù)據(jù)集間尋求兩個(gè)不同域間的對(duì)應(yīng)關(guān)系；

2． 其次兩種圖像間具有較大的風(fēng)格差異，例如人物的頭部在真實(shí)圖片中具有很多細(xì)節(jié)特征，而在圖標(biāo)中則用簡(jiǎn)單的原型代替，這就需要模型能夠?qū)W習(xí)出兩種風(fēng)格間的映射；

3． 此外兩種圖像的外形特征也不盡相同，圖標(biāo)雖然是簡(jiǎn)化的平面圖形，但不同目標(biāo)的形狀差異也很大。對(duì)應(yīng)的照片也是各具特色、顏色不一的。

研究人員將圖標(biāo)生成任務(wù)視為在照片和圖標(biāo)間實(shí)現(xiàn)域遷移的生成任務(wù)。由于沒有對(duì)應(yīng)的配對(duì)數(shù)據(jù)集，研究人員采用了基于CycleGan和UNIT等方法來構(gòu)建模型，學(xué)習(xí)出從圖像到圖標(biāo)的圖標(biāo)化能力。

在神經(jīng)風(fēng)格遷移提出后，各種模型都在利用深度學(xué)習(xí)的創(chuàng)作藝術(shù)作品上展現(xiàn)出了強(qiáng)大的能力，特別是基于生成對(duì)抗網(wǎng)絡(luò)的模型引領(lǐng)了風(fēng)格化的研究潮流。其中Pix2Pix就是其中著名的代表，它可以利用配對(duì)圖像訓(xùn)練出非常好遷移結(jié)果，但配對(duì)圖像的需求限制了它在缺乏對(duì)應(yīng)數(shù)據(jù)集領(lǐng)域的應(yīng)用。而CycleGan和UNIT這類模型卻可以學(xué)習(xí)出兩個(gè)圖像數(shù)據(jù)集間的映射關(guān)系，而無需一一對(duì)應(yīng)的圖像對(duì)數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練。

CycleGAN定義了兩個(gè)圖像集合X、Y間的映射，在不需要給定配對(duì)圖像的情況下進(jìn)行訓(xùn)練。它包含了兩個(gè)生成器G和F以及兩個(gè)判別器Dx和Dy，也就是兩個(gè)生成對(duì)抗網(wǎng)絡(luò)同時(shí)訓(xùn)練將X和Y兩個(gè)不同的圖像域耦合在了一起。在訓(xùn)練時(shí)一共定義了三個(gè)損失函數(shù)，包括用于訓(xùn)練GAN的對(duì)抗損失、用于雙向訓(xùn)練XY間映射的循環(huán)連續(xù)性損失、以及保證顏色連續(xù)性的特性映射損失。

UNIT則可視為CycleGAN的拓展形式，實(shí)現(xiàn)了兩個(gè)圖像集合XY間的風(fēng)格轉(zhuǎn)換。UNIT與CycleGAN的主要不同在于需要滿足原始圖像與遷移后圖像的表示變量需要在隱空間中保持一致。

下圖展示了其基本架構(gòu)，包含了兩個(gè)編碼器和兩個(gè)生成器、以及兩個(gè)判別器。這些模塊利用VAE損失、對(duì)抗損失和循環(huán)損失共同訓(xùn)練，VAE損失的引入使得隱變量可以編碼原始圖像的足夠信息。

為了訓(xùn)練CycleGAN和UNIT模型實(shí)現(xiàn)從圖像到圖標(biāo)的遷移任務(wù)，研究人員利用了兩個(gè)模型原始的代碼代碼版本進(jìn)行了訓(xùn)練。其中圖像數(shù)據(jù)來自于MS COCO數(shù)據(jù)集，從中選取了5000張圖片包含11041個(gè)目標(biāo)，并將其裁剪成了256x256大小的圖像；而圖標(biāo)數(shù)據(jù)則來自于兩方面，一方面利用你了ppt內(nèi)自帶的883張圖片，并通過數(shù)據(jù)增強(qiáng)擴(kuò)充到了8830張。此外，研究人員還使用了LLD數(shù)據(jù)集中的圖像，包含了與本任務(wù)類似的logo風(fēng)格遷移的數(shù)據(jù)集，研究人員選取了其中的20，000張并將其尺寸縮放成了256x256大小作為訓(xùn)練數(shù)據(jù)。

下圖顯示了數(shù)據(jù)集中的典型樣本：