隨著 AI、機(jī)器人技術(shù)的不斷發(fā)展,人們的生活得到了“AI 機(jī)器人們”的各種幫助:大到太空機(jī)器人輔助宇航任務(wù),小到家用掃地機(jī)器人解放我們的雙手,可以說,機(jī)器人在人類生活中充當(dāng)?shù)慕巧�越來越多樣�?/p>

但你知道嗎?目前用于室內(nèi)任務(wù)、尤其是需要與環(huán)境進(jìn)行頻繁交互的機(jī)器人,其視覺靈敏度仍需進(jìn)一步提高——許多機(jī)器人在面對(duì)相似物體時(shí),并不能辨別出其中的細(xì)微區(qū)別。

近日,來自德克薩斯大學(xué)阿靈頓分校(University of Texas at Arlington,UTA)的一個(gè)研究團(tuán)隊(duì),提出了一種名為 PCGAN 的方法。相關(guān)研究論文以“A Progressive Conditional Generative Adversarial Network for Generating Dense and Colored 3D Point Clouds”為題,發(fā)表在預(yù)印本網(wǎng)站 arXiv 上。

研究人員表示,這是第一個(gè)以無監(jiān)督方式生成 3D 點(diǎn)云(3D point cloud)的條件生成對(duì)抗網(wǎng)絡(luò)(GAN),該網(wǎng)絡(luò)能夠產(chǎn)生具有多分辨率和精細(xì)細(xì)節(jié)的 3D 彩色點(diǎn)云,以生成利于辨別的物體圖像,這將極有利于機(jī)器人視覺靈敏度的提升。話不多說,先上圖。

圖 | real 列為真實(shí)物體的 3D 點(diǎn)云圖像,后列為 PCGAN 產(chǎn)生的的結(jié)果(來源:該論文)

圖像不逼真怎么辦

想象一下,家里的掃地機(jī)器人是如何工作的?一般來說,這類需要與環(huán)境交互的機(jī)器人首先需要在已構(gòu)建的環(huán)境中完成導(dǎo)航任務(wù),這就要求機(jī)器人必須能夠感知環(huán)境情況并實(shí)時(shí)做出決策,決定當(dāng)前如何與其周圍環(huán)境進(jìn)行交互。

而要想讓機(jī)器人具有這種自我決策能力,科學(xué)家們則需要使用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等方法來訓(xùn)練 Ta 們:通過將收集到的大量圖像數(shù)據(jù)集用作訓(xùn)練數(shù)據(jù),來訓(xùn)練機(jī)器人應(yīng)對(duì)各種不同物體或環(huán)境時(shí)應(yīng)該做出的正確反應(yīng)。

要實(shí)現(xiàn)這一點(diǎn),一方面一些人會(huì)使用手動(dòng)方法來收集圖像數(shù)據(jù),比如通過使用昂貴的 360 度全景攝像頭來捕獲房屋環(huán)境,或者先拍攝局部圖片再使用各類軟件將單個(gè)圖像拼接成房屋全景圖像。但很明顯,這種手動(dòng)捕獲方法效率太低,無法滿足需要大量數(shù)據(jù)的訓(xùn)練要求。

另一方面,盡管手握數(shù)百萬房的間照片和視頻,但這些數(shù)據(jù)都不是從像掃地機(jī)器人所處的有利位置進(jìn)行拍攝的。于是,嘗試使用以人為中心的視角的圖像來訓(xùn)練機(jī)器人也不可取。

于是,此次的研究小組轉(zhuǎn)向使用一種被稱為生成對(duì)抗網(wǎng)絡(luò)的深度學(xué)習(xí)方式來創(chuàng)造足夠逼真的圖像,用來訓(xùn)練機(jī)器人以提高其辨別環(huán)境的能力。

作為生成模型的一種,GAN 的主要結(jié)構(gòu)包括兩個(gè)神經(jīng)網(wǎng)絡(luò):生成器(Generator)和判別器(Discriminator)。生成器不斷生成假圖像,判別器則判斷這些圖像的真假。兩個(gè)神經(jīng)網(wǎng)絡(luò)就這樣相互競爭,最終形成非常強(qiáng)的制造樣本的能力。一旦經(jīng)過培訓(xùn),這樣的網(wǎng)絡(luò)將能夠創(chuàng)建無數(shù)可能的室內(nèi)或室外環(huán)境,其中放置著多種多樣的桌椅或車輛等物體。這些物件之間的差別將變得很微小,但對(duì)于人和機(jī)器人來說,其圖像仍帶有可識(shí)別的尺寸和特征。

PCGAN:更清晰的 3D 點(diǎn)云圖像

整個(gè)研究小組由 UTA 的計(jì)算機(jī)科學(xué)與工程學(xué)系助理教授 William Beksi和他的六名博士學(xué)生組成。參與這項(xiàng)研究的博士生 Mohammad Samiul Arshad 表示:“手動(dòng)設(shè)計(jì)這些對(duì)象將耗費(fèi)大量資源和人力,而如果進(jìn)行適當(dāng)?shù)呐嘤?xùn),生成網(wǎng)絡(luò)就可以在幾秒鐘之內(nèi)完成同樣的任務(wù)�！�
此次研究中的圖像數(shù)據(jù)則通過 3D 點(diǎn)云呈現(xiàn),這是一種透過 3D 掃描器所取得的物體圖像形式,它以點(diǎn)的形式記錄對(duì)象,每一個(gè)點(diǎn)包含有三維座標(biāo),強(qiáng)度信息(可以反映目標(biāo)物體的材質(zhì)、粗糙度、入射角方向等信息),還可能含有色彩信息(RGB)。

對(duì)此,Beksi 解釋道:“我們可以將它們移動(dòng)到新位置,甚至使用不同的燈光、顏色和紋理,將它們渲染為可在數(shù)據(jù)集中使用的訓(xùn)練圖像。這種方法可能會(huì)提供無限的數(shù)據(jù)來訓(xùn)練機(jī)器人�！�

圖 | PCGAN 合成的 3D 點(diǎn)云圖像,飛機(jī)、桌椅等(來源:該論文)

在實(shí)驗(yàn)中,研究人員以 ShapeNetCore 作為數(shù)據(jù)集,ShapeNetCore 是各種對(duì)象類的 CAD 模型的集合。他們選擇了椅子、桌子、沙發(fā)、飛機(jī)和摩托車圖像進(jìn)行實(shí)驗(yàn),以滿足物體形狀的多樣性;并將每個(gè)類別的數(shù)量確定為 5 個(gè),以減少訓(xùn)練時(shí)間。此外,還消除了所有沒有材料和顏色信息的 CAD 模型。

他解釋說:“我們的模型首先學(xué)習(xí)低分辨率對(duì)象的基本結(jié)構(gòu),然后逐步建立高級(jí)細(xì)節(jié)。例如對(duì)象的各個(gè)部分及其顏色之間的關(guān)系——椅子/桌子的腿是相同的顏色而座椅/車頂?shù)念伾珓t截然不同。我們建立層次結(jié)構(gòu)以進(jìn)行完整的合成場景生成,這對(duì)于機(jī)器人技術(shù)將非常有用�！�

他們?yōu)槊總�(gè)類別生成了 5,000 個(gè)隨機(jī)樣本,并使用多種不同的方法進(jìn)行了評(píng)估。他們使用該領(lǐng)域的各種常用指標(biāo)評(píng)估了點(diǎn)云的幾何形狀和顏色。結(jié)果表明,PCGAN 能夠?yàn)椴煌�種類的對(duì)象類別合成高質(zhì)量的點(diǎn)云。

One small step

盡管 PCGAN 的確優(yōu)于一些傳統(tǒng)的樣本訓(xùn)練方法,但正如 Beksi 所說:“此次研究只是朝最終目標(biāo)邁出的一小步,我們的最終目標(biāo)是生成足夠逼真的室內(nèi)全景圖,以提高機(jī)器人的感知能力�！�

此外,Beksi 還正在研究另一個(gè)問題——Sim2real。Sim2real 著眼于如何通過捕捉場景的物理特性(摩擦,碰撞,重力)以及使用射線或光子追蹤來量化細(xì)微差異,并使仿真圖像更加逼真。

他說:“如果是由于增加分辨率而包含更多的點(diǎn)和細(xì)節(jié),那么代價(jià)就是計(jì)算成本的增加�！� 除計(jì)算需求外,Beksi 還需要大量存儲(chǔ)來進(jìn)行研究。研究團(tuán)隊(duì)每秒產(chǎn)生數(shù)百兆的數(shù)據(jù),每個(gè)點(diǎn)云大約有 100 萬個(gè)點(diǎn),因此,這些訓(xùn)練數(shù)據(jù)集非常龐大,需要大量的存儲(chǔ)空間。

接下來,Beksi 團(tuán)隊(duì)希望將軟件部署在機(jī)器人上,并查看它與模擬真實(shí)的領(lǐng)域之間還存在何種差距。當(dāng)然,盡管要擁有真正強(qiáng)大的、可以長時(shí)間自主運(yùn)行的機(jī)器人還有很長一段路要走,但研究人員的工作必將有益于多個(gè)領(lǐng)域,比如醫(yī)療保健、制造業(yè)和農(nóng)業(yè)等。