描繪目標(biāo)的精確線條一直是藝術(shù)家引以為豪的高超手藝，寥寥幾筆就能刻畫出逼真的形貌。這看似簡(jiǎn)單的背后卻需要藝術(shù)家長(zhǎng)期的訓(xùn)練對(duì)三維形狀的深入理解和對(duì)線條的取舍與光影的平衡。

如何讓機(jī)器學(xué)會(huì)藝術(shù)家的這種能力是計(jì)算機(jī)視覺領(lǐng)域一個(gè)非常有意思的開放性問(wèn)題，需要綜合三維形狀理解、視覺感知和圖像風(fēng)格化等多個(gè)領(lǐng)域的技術(shù)。來(lái)自麻省大學(xué)阿默斯特分校和Adobe的研究人員最近提出了一種結(jié)合可操作幾何特征的三維模塊和操作圖像與視角特征的圖像模塊共同實(shí)現(xiàn)對(duì)三維模型線條的描述，這種方法在精度和視覺效果上都超過(guò)了傳統(tǒng)的方法，可以精確簡(jiǎn)潔地描述模型的線條表示。

Neural Contours模型

從三維形狀到二維線條草圖看起來(lái)簡(jiǎn)單，但用先前的圖像風(fēng)格遷移方法來(lái)處理會(huì)使得模型無(wú)法有效獲取形狀隱含的的三維幾何信息。如果使用分析幾何類的算法雖然可以捕捉基本的線條特征，卻無(wú)法捕捉真實(shí)繪畫時(shí)候的復(fù)雜線條特征，針對(duì)每一個(gè)模型都需要一系列參數(shù)來(lái)調(diào)節(jié)。綜合三維分析和圖像特征是一個(gè)可行的研究方向。

在本研究中研究人員的目標(biāo)是通過(guò)三維形狀生成線條稿，模型包含了幾何與圖像兩個(gè)分支。其中幾何分支基于輪廓、凹凸和形貌實(shí)現(xiàn)線條的繪制，不同于現(xiàn)有手工調(diào)參方法，這一分支可以利用可差分模型自動(dòng)對(duì)參數(shù)進(jìn)行選擇。而圖像分支則使用了標(biāo)準(zhǔn)的圖像遷移網(wǎng)絡(luò)模型，同時(shí)加入了基于視角的形狀表示。通過(guò)兩個(gè)分支的有機(jī)結(jié)合可以為三維形狀得到較為清晰、完整、高效的線條表示。

下圖顯示了模型的基本架構(gòu)，其輸入為三維形狀和相機(jī)參數(shù)、輸出為對(duì)應(yīng)視角下的2D灰度線條稿。

模型分為幾何分支和圖像遷移分支，其中幾何分支主要基于3D模型的幾何特征來(lái)進(jìn)行線條繪制、圖像遷移分支則通過(guò)圖對(duì)圖的遷移來(lái)學(xué)習(xí)線條，同時(shí)來(lái)利用了排序模塊來(lái)決定最好的線條參數(shù)。

幾何分支主要依賴于經(jīng)典的幾何線條定義，包括啟發(fā)性輪廓線（suggestive contours），脊線谷線與顯著脊線（ridges，valleys，apparent ridges）等。

生成線條的第一部分是輪廓線Occluding Contours，模型利用插值輪廓算法生成了一幅二進(jìn)制掩膜圖Ic，在輪廓線投影位置其值為＇on＇。這是無(wú)參數(shù)模型不需要進(jìn)行任何學(xué)習(xí)，其生成結(jié)果如上圖b所示。

生成線條的第二部分是啟發(fā)性輪廓SC，可以定義啟發(fā)性輪廓是曲線殘差集合中值為零但方向?qū)��?shù)大于零的點(diǎn)。針對(duì)網(wǎng)格可以通過(guò)尋找曲線殘差幾何的零集來(lái)得到這些曲線，如圖c所示如果渲染所有的SC是不現(xiàn)實(shí)的，利用一個(gè)閾值將較弱的SC去除掉得到如上圖d中的結(jié)果。為了自動(dòng)化地確定這一閾值，研究人員引入了可查分的方法來(lái)確定閾值的結(jié)果在網(wǎng)絡(luò)模塊的上半部分就顯示了SC的投影圖和殘差方向?qū)��?shù)。另一部分與顯著脊線圖和視角相關(guān)的曲率一同作為輸入，以便自動(dòng)化確定了顯著脊線的閾值。上圖中g(shù)和h也相應(yīng)的顯示了顯著脊線在閾值過(guò)濾的前后結(jié)果。