訓(xùn)練迭代2:主干網(wǎng)絡(luò):YOLOv5x模型初始化:COCO預(yù)訓(xùn)練的權(quán)重epoch:10個(gè)epoch性能0．65 mAP @ 0．50 IOU分析隨著數(shù)據(jù)集的增加,模型性能急劇提高。有些數(shù)據(jù)集具有滿足我們的一個(gè)要求的高擁擠場景,有些包含滿足另一個(gè)需求的頂角攝影機(jī)視圖。結(jié)論雖然模型的性能有所提高,但有些數(shù)據(jù)集是視頻序列,而且在某些情況下背景仍然是靜態(tài)的,可能會(huì)導(dǎo)致過擬合。很少有數(shù)據(jù)集有非常小的人體,這使得任務(wù)很難學(xué)習(xí)。清理數(shù)據(jù)下一步是清理數(shù)據(jù)。我們從訓(xùn)練和驗(yàn)證集中篩選出損失最大的圖像,或者我們可以說這些圖像具有非常少的mAP度量。我們選擇了一個(gè)0．3的閾值并將圖像可視化。我們從數(shù)據(jù)集中篩選出三種類型的錯(cuò)誤。錯(cuò)誤標(biāo)記的邊界框包含非常小的邊界框或太多人群的圖像重復(fù)幀的附近為了去除重復(fù)幀,我們只從視頻序列中選擇稀疏幀。第三個(gè)人體檢測模型有了經(jīng)過清理和整理的數(shù)據(jù)集,我們就可以進(jìn)行第三次迭代了訓(xùn)練迭代3:主干網(wǎng)絡(luò):YOLOv5x模型初始化:COCO預(yù)訓(xùn)練的權(quán)重epoch:～100個(gè)epoch性能0．69 mAP @ 0．50 IOU分析當(dāng)未清理的數(shù)據(jù)從訓(xùn)練和驗(yàn)證集中移除時(shí),模型性能略有改善。結(jié)論數(shù)據(jù)集被清理,性能得到改善。我們可以得出結(jié)論,進(jìn)一步改進(jìn)數(shù)據(jù)集可以提高模型性能。為了提高性能,我們需要確保數(shù)據(jù)集包含與測試用例相似的圖像。我們處理了人群情況和一些視角的情況,但大多數(shù)數(shù)據(jù)仍然有一個(gè)前視角。數(shù)據(jù)增強(qiáng)我們列出了在實(shí)際情況下檢測時(shí)將面臨的一些挑戰(zhàn),但是收集到的數(shù)據(jù)集分布不同,因此,我們采用了一些數(shù)據(jù)擴(kuò)充技術(shù),使訓(xùn)練分布更接近實(shí)際用例或測試分布。下面是我們對數(shù)據(jù)集進(jìn)行的擴(kuò)展。視角視角改變

照明條件亮度對比度

圖像質(zhì)量噪音圖像壓縮運(yùn)動(dòng)模糊

通過將所有這些擴(kuò)展匯總,我們可以將公共數(shù)據(jù)分布更接近實(shí)際分布,我們將原始圖像和轉(zhuǎn)換后的圖像進(jìn)行比較,可以從下面的圖像中看到。

所有這些擴(kuò)展都是通過使用“albumentation”來應(yīng)用的,這是一個(gè)易于與PyTorch數(shù)據(jù)轉(zhuǎn)換集成的python庫,他們還有一個(gè)演示應(yīng)用程序,我們用來設(shè)置不同方法的增強(qiáng)參數(shù)。庫中還有很多可以與其他用例一起使用的擴(kuò)展包。我們使用albumentation方法來實(shí)現(xiàn)這一點(diǎn)。第四個(gè)人體檢測模型現(xiàn)在有了轉(zhuǎn)換后的數(shù)據(jù)集,我們就可以進(jìn)行第四次迭代了訓(xùn)練迭代4:主干網(wǎng)絡(luò):YOLOv5x模型初始化:迭代3中的模型epoch:～100個(gè)epoch性能0．77 mAP @ 0．50 IOU分析

性能提高了近8%,該模型能夠預(yù)測大多數(shù)情況,并在攝像機(jī)視角下進(jìn)行了泛化。由于視頻序列中的背景雜波和遮擋,仍有一些誤報(bào)和漏報(bào)。結(jié)論我們試圖收集數(shù)據(jù)集并覆蓋任務(wù)中幾乎所有的挑戰(zhàn),但是仍然有一個(gè)問題仍然存在,并阻礙了我們的模型性能,我們需要收集包含此類場景下的數(shù)據(jù)。創(chuàng)建自定義批注通過數(shù)據(jù)增強(qiáng),我們創(chuàng)建了一些真實(shí)世界的樣本,但是我們的數(shù)據(jù)在圖像背景上仍然缺乏多樣性。對于零售商店來說,框架背景充滿了雜亂的東西,人體模型或衣服架子會(huì)導(dǎo)致假正例,而大面積的遮擋則會(huì)導(dǎo)致假反例。為了增加這種多樣性,我們?nèi)∠�了谷歌搜�?從商店收集閉路電視視頻,并對圖片進(jìn)行了手工注釋。首先,我們通過迭代4中的模型傳遞所有的圖像并創(chuàng)建自動(dòng)標(biāo)簽,然后使用開源注釋工具CVAT(computervision and annotation tool)進(jìn)一步修正注釋。最終人體檢測模型我們將定制存儲圖像添加到之前的數(shù)據(jù)集中,并為最終迭代訓(xùn)練模型。我們的最終數(shù)據(jù)集分布如下所示。

訓(xùn)練迭代5:主干網(wǎng)絡(luò):YOLOv5x模型初始化:迭代4中的模型epoch:～100個(gè)epoch性能0．79 mAP @ 0．50 IOU分析

我們的模型的性能顯示了大約0．2%的正增長,同時(shí),從TIDE分析可以看出,假正例在誤差中的貢獻(xiàn)也有所降低。結(jié)論額外的數(shù)據(jù)有助于使模型對背景干擾更加穩(wěn)健,但是收集到的數(shù)據(jù)量與總體數(shù)據(jù)集大小相比仍然非常少,并且模型仍然存在一些誤報(bào)。當(dāng)在隨機(jī)圖像上進(jìn)行測試時(shí),該模型能夠很好地泛化�？偨Y(jié)我們從模型選擇開始,以COCO作為基準(zhǔn),我們實(shí)現(xiàn)一系列的模型。此外,我們考慮了推理時(shí)間和模型架構(gòu),并選擇了yolov5。我們收集并清理了各種公開可用的數(shù)據(jù)集,并使用各種數(shù)據(jù)擴(kuò)充技術(shù)來轉(zhuǎn)換這些數(shù)據(jù)集,以適應(yīng)我們的用例。最后,我們收集存儲圖像,并在手工注釋后將其添加到數(shù)據(jù)集中。我們的最終模型是在這個(gè)精心設(shè)計(jì)的數(shù)據(jù)集上訓(xùn)練的,能夠從0．46map@IOU0．5提高到0．79map@IOU0．5。結(jié)論通過根據(jù)用例對數(shù)據(jù)集進(jìn)行處理,我們改進(jìn)了大約20%的對象檢測模型,該模型在映射和延遲方面仍有改進(jìn)的余地,所選的超參數(shù)是yolov5默認(rèn)給出的,我們可以使用optuna等超參數(shù)搜索庫對它們進(jìn)行優(yōu)化。當(dāng)訓(xùn)練分布和測試分布之間存在差異時(shí),域適應(yīng)是另一種可以使用的技術(shù),同樣,這種情況可能需要一個(gè)持續(xù)的訓(xùn)練循環(huán),其中包含額外的數(shù)據(jù)集,以確保模型的持續(xù)改進(jìn)。