作者是來自將門機(jī)器學(xué)習(xí)社群，康奈爾大學(xué)的Cornell SE（3） and Machine Learning Group，這次要介紹的是他們發(fā)表在NeurIPS 2019的工作——位置歸一化。

這項工作主要集中于發(fā)現(xiàn)對位置歸一化提取信息的含義及如何在生成網(wǎng)絡(luò)中高效利用這層信息。以往的研究大多都是認(rèn)為對特征進(jìn)行歸一化之后可以加速網(wǎng)絡(luò)訓(xùn)練和提高網(wǎng)絡(luò)準(zhǔn)確率，卻忽視了其實被normalize的信息含有特征中重要的統(tǒng)計值，如果有效應(yīng)用，可以對生成網(wǎng)絡(luò)乃至分類網(wǎng)絡(luò)產(chǎn)生關(guān)鍵性有利的影響。目前已被應(yīng)用于生成網(wǎng)絡(luò)（GAN，圖像去霧等），語義分割，圖像分類等應(yīng)用當(dāng)中。

隨著生成模型在計算機(jī)視覺中的普遍應(yīng)用，在圖像風(fēng)格遷移等方面都有了突破性的進(jìn)展。然而現(xiàn)有的技術(shù)仍然不能有效學(xué)習(xí)生成物體的結(jié)構(gòu)信息。因此在數(shù)據(jù)不足的情況下，生成模型很可能出現(xiàn)訓(xùn)練失敗的情況。在這篇文章中，研究人員基于對圖像中間特征的深入研究，提出有效利用歸一化信息從而提取圖像特征中的結(jié)構(gòu)性信息，其本質(zhì)上是要求從已有特征中提取有效信息再傳遞到神經(jīng)網(wǎng)絡(luò)后層，以減少網(wǎng)絡(luò)訓(xùn)練中的結(jié)構(gòu)信息丟失。

PositionalNormalization （PONO）

研究人員定義從另外一個維度對中間特征每個位置進(jìn)行歸一化，稱之為Positional Normalization （PONO），實驗發(fā)現(xiàn)PONO可以有效的提取特征里的結(jié)構(gòu)信息。從圖中我們可以看到由PONO提取出來的平均值mean（）和標(biāo)準(zhǔn)差std（）可以有效的表征特征中的結(jié)構(gòu)信息。研究人員認(rèn)為，這兩個重要的moment信息將在包括GAN 在內(nèi)的生成網(wǎng)絡(luò)中起著重要的作用。

Moment Shortcut （MS）

Moment Shortcut （MS） 作為和residual connection 和 concatenation 并行的一種重新利用信息的方式，與這兩個不同的是，Moment Shortcut不要求將所有信息返回到下一層，而是將部分信息返回于下一層。

上述圖展示了如何在網(wǎng)絡(luò)中使用Moment Shortcut。

該圖顯示了如何在生成網(wǎng)絡(luò)中結(jié)合PONO將前層網(wǎng)絡(luò)的結(jié)構(gòu)信息和 提取出來作為新特征的參數(shù)和 

放入后層，以有效緩解生成網(wǎng)絡(luò)的結(jié)構(gòu)信息丟失的問題。具體放回類似于denormalize的操作，見以下公式：

文中把這種算法簡稱為PONO－MS。與residual connection相似，PONO－MS不會造成額外的參數(shù)學(xué)習(xí)，計算量也十分小。PONO－MS直接將和。作為和，傳輸?shù)胶髮泳W(wǎng)絡(luò)，考慮到各種task的不同，文中也提出了優(yōu)化的版本PONO－DMS。在得到和之前，將和輸入一層ConvNet中進(jìn)行自適應(yīng)學(xué)習(xí)，以得到更符合相應(yīng)task的參數(shù)。

與各類歸一化方法之間的比較

歸一化（Normalization）算法的概念主要是將特征看作一個分布，將其中的平均值及標(biāo)準(zhǔn)差（σ）去除，根據(jù)使用不同的維度，則有不同的意義。BatchNorm是將某單一特征在整個batch中做挑整，進(jìn)而增加網(wǎng)絡(luò)學(xué)習(xí)的效率；LayerNorm是針對整層的特征一起調(diào)整，不再考慮batch中其他example的特征，特別能強化RNN與Transformer這類在NLP方面的模型；GroupNorm則是針對batch size很小、BatchNorm無法穩(wěn)定地發(fā)揮作用時，提出了解決的方案。根據(jù)研究人員的說明，InstanceNorm以往用于分離圖像中的風(fēng)格，而這次提出的PONO則是著重在提取結(jié)構(gòu)信息。 人們在使用歸一化經(jīng)常還會再進(jìn)行反歸一化（Denormalization）的操作，文中的Moment Shortcut（MS）則屬此類。這操作最早是在BatchNorm的文章中被提出，作者增加了兩個新參數(shù)β和γ用來學(xué)習(xí)新的平均值與標(biāo)準(zhǔn)差。后來的Conditional InstanceNorm則是給予網(wǎng)絡(luò)n組β和γ來學(xué)習(xí)n種圖像風(fēng)格。AdaIN則提出直接交換將一張圖片的平均值與σ當(dāng)作另一張圖片的β和γ，來達(dá)成風(fēng)格替換。這直接將平均值與σ當(dāng)作β和γ的方式與MS相似，其中的差別在于前者用于替換風(fēng)格，后者則用于直接保留結(jié)構(gòu)信息。作者在實驗中發(fā)現(xiàn)兩種方法可以相輔相成。之后的Dyanmic LayerNorm則是使用另一個網(wǎng)絡(luò)來生成β和γ，同樣的方法也使用于后來MUNIT與StyleGAN中的新版AdaIN以及SPADE。此方法在文中的Dynamic Moment Shortcut（DMS）也同樣被使用。

實驗結(jié)果

文章主要集中在對于Image Translation相關(guān)工作的探索。結(jié)果顯示，加入PONO－MS能夠有效提高GAN一類網(wǎng)絡(luò)的生成性能。

同時，PONO－MS也能有效使一些failure的case起死回生。以目前非常火的image translation的一個GAN應(yīng)用為例：我們分別提取貓和狗的結(jié)構(gòu)信息和類別信息，旨在于生成有著貓的結(jié)構(gòu)的狗和有著狗的結(jié)構(gòu)的貓（如圖所示）。當(dāng)我們用小數(shù)量級dataset來訓(xùn)練網(wǎng)絡(luò)的時候我們可以看到網(wǎng)絡(luò)無法學(xué)習(xí)到我們需要的信息，造成訓(xùn)練失敗。而令人驚訝的是，當(dāng)加入PONO－MS之后，網(wǎng)絡(luò)可以成功學(xué)習(xí)到對應(yīng)信息，使一個失敗的例子能夠起死回生。

總  結(jié)

PONO目前已被應(yīng)用于生成網(wǎng)絡(luò)（GAN，圖像去霧等），語義分割，圖像分類等應(yīng)用當(dāng)中。