一種簡單的利用方式是將Mega Detector預測的BBox 裁剪出來，同原圖一起送給網(wǎng)絡進行訓練，這樣可以有效環(huán)節(jié)ROI 尺寸過小的問題。   不過這種方案的缺陷在于，如此訓練分類網(wǎng)絡，會使得網(wǎng)絡獲得兩個scale完全不同的輸入，一個是原圖，一個是BBox裁剪出的圖像，這會對分類網(wǎng)絡學習特征帶來一定的干擾。

為此，團隊修改了策略，同時訓練兩個網(wǎng)絡。分別輸入原始圖像，和Mega detector裁剪出的置信度最高的bbox圖像。 在預測階段，再將網(wǎng)絡的輸出進行Ensemble，從而可以同時捕捉到原圖全局的信息和BBox中前景的信息。  挑戰(zhàn)二：不同背景造成的問題 除過ROI 儲存過小之外，另一個問題是訓練集的camera trap 取景位置和測試集的camera trap 不相交所導致的背景差異問題。

訓練集圖片均來自于藍色點表示的區(qū)域，它和紅色區(qū)域沒有相交。   因此這會造成domain shift的問題。即在訓練地表現(xiàn)好的模型并不一定也會在test地有同樣表現(xiàn)。因為模型有可能學到一些和location相關的信息，而它們不是可以用于分類動物的通用信息。   此外，與正常的domain adaptation不同，iWildCam 的訓練集包括很多不同domain（如果將每個camera trap地點作為一個domain，則訓練集包含441個，而測試集包含111個）。  因此，如果能利用訓練集中的位置標注來幫助網(wǎng)絡學習location invariant的特征，那么網(wǎng)絡就可捕捉更多與位置無關而和分類相關的信息。   對此，domain adaptation領域非常著名的論文Unsupervised domain adaption by backpropagation為團隊提供了啟發(fā)。

如上圖首先可以假設，如果在原來的2048維上加一個額外位置（location）的classifier，那么網(wǎng)絡提取的特征就會傾向于將不同location的特征相互推遠。如上方右圖所示（不同形狀表示不同類別，不同顏色表示不同），雖然每個類別的特征之間有分類的可分性約束，但是location之間的相互排斥也會導致一些location圖片的特征被推到一個不太有利于分類的局面，從而導致網(wǎng)絡學到的特征并不能實現(xiàn)location invariant，從而在測試集上表現(xiàn)欠佳。   對此，文章提出一個非常簡單的梯度翻轉的技巧來實現(xiàn)location invariant。

如上方左圖所示，在梯度反傳經(jīng)過location classifier時將梯度乘－1，從而實現(xiàn)翻轉梯度的方向。 

因此在右圖可以看到，原本的推開不同location之間特征的梯度經(jīng)過翻轉后，會將其一起拉近。在加上分類的約束后，可以保證網(wǎng)絡學到的特征表示實現(xiàn)location invariant，并且還能保證分類的效果，提高網(wǎng)絡對之前未見的location的泛化性能。   挑戰(zhàn)三：數(shù)據(jù)長尾分布

上方指數(shù)圖展示的是數(shù)據(jù)的分布情況，可以看到數(shù)目最多的類別有超過十萬張圖，而最少的類別可能只有不到十張圖片，一般而言，將類別數(shù)多的類別稱為head類，類別數(shù)少的類別稱為tail類 。  因此，如果直接隨機采樣batch來訓練分類模型，會見到很多head類樣本，而tail類樣本則很少見到，這樣會使得模型更偏向于預測head類而不是tail類，從而損傷網(wǎng)絡的表示能力。  因此，對于長尾分布，一般有兩種解決方案，一種是Re－Sampling， 另外一種是Re－ Weighting。