將三維形貌轉(zhuǎn)為藝術(shù)簡體畫？神經(jīng)輪廓算法助力繪制三維形狀精準(zhǔn)輪廓
針對圖像分支，研究人員使用了圖像遷移網(wǎng)絡(luò)模塊來繪制對應(yīng)的線條表示。其輸入包含了給定視角下的深度圖和六個不同尺度的渲染結(jié)果，它們一同堆疊在一起同時輸入到類似pix2pixHD的編解碼器中，得到圖像分支的線條結(jié)果。
隨后將幾何分支和圖像分支的線稿圖通過最大化的方式合并在一起最終得到線稿繪制結(jié)果。閾值參數(shù)對于幾何線條的去留十分重要，它決定了幾何線條以多大的程度為最終圖像做出貢獻。研究人員在測試的時候?qū)⒂嬎氵@一閾值，由于不同的三維模型在渲染時可能有不同的幾何線條組合，研究人員使用了神經(jīng)排序模塊NRM來為繪制的線稿評分，在測試時閾值t就被用于對NRM分值進行優(yōu)化。
實驗和結(jié)果
為了對這一模型進行訓(xùn)練，由于缺乏大規(guī)模的針對三維形狀的手繪線稿，研究人員通過合成的方法生成了自己的數(shù)據(jù)集。針對每一個形狀，利用不同的閾值和線條的結(jié)合生成一系列線稿，隨后請志愿者對結(jié)果進行選擇，通過多人多次投票的方法來選出最好的線稿結(jié)果作為基準(zhǔn)。下圖顯示了本文中使用了眾包軟件，從多個結(jié)果中基于人類投票選擇得到基準(zhǔn)線稿數(shù)據(jù)。
研究中所使用的數(shù)據(jù)來自于ShapeNet、Models Resource和Thingi10K等數(shù)據(jù)集，在數(shù)據(jù)集中針對每一個類別進行采樣避免類別間的不均衡，移除了重復(fù)和低分辨率的形狀，并修正了網(wǎng)格面元和連接的缺陷，最終得到了23，477個形狀。
為了生成候選的線稿圖案，研究人員針對每一個3D模型選擇了兩個隨機相機位姿，在一系列約束下每個相機生成256中可能的合成線稿結(jié)果。同時他們還利用了Canny算子和保邊濾波器來對三維形狀渲染的圖像進行處理，這種方法針對形狀在每個視點下得到了256個可能的線稿結(jié)果，并從中選出8個最獨特的線稿。在獲得了一系列線稿數(shù)據(jù)的基礎(chǔ)上，項目利用亞馬遜的MTurk系統(tǒng)來利用眾包方式選出針對每個形狀在特定視角下效果最好的線稿作為基準(zhǔn)數(shù)據(jù)。
在經(jīng)過充分地訓(xùn)練后，這一模型在視覺上和各種指標(biāo)下都取得了良好的效果，下圖顯示了針對一個曲面得到的線稿結(jié)果，可以看到本文的方法不僅使生成的線稿線條更為連續(xù)順滑，而且可以很好地反映曲面的隱含特征。
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」？
- 2 大廠紛紛入局，百度、阿里、字節(jié)搶奪Agent話語權(quán)
- 3 深度報告｜中國AI產(chǎn)業(yè)正在崛起成全球力量，市場潛力和關(guān)鍵挑戰(zhàn)有哪些？
- 4 一文看懂視覺語言動作模型（VLA）及其應(yīng)用
- 5 上海跑出80億超級獨角獸：獲上市公司戰(zhàn)投，干人形機器人
- 6 國家數(shù)據(jù)局局長劉烈宏調(diào)研格創(chuàng)東智
- 7 下一代入口之戰(zhàn)：大廠為何紛紛押注智能體？
- 8 百億AI芯片訂單，瘋狂傾銷中東？
- 9 Robotaxi新消息密集釋放，量產(chǎn)元年誰在領(lǐng)跑？
- 10 格斗大賽出圈！人形機器人致命短板曝光：頭腦過于簡單
