SAM 發(fā)布之后，很多人第一時(shí)間進(jìn)行了實(shí)測，一些網(wǎng)友還結(jié)合自身的工作領(lǐng)域打開了 SAM 更廣的應(yīng)用想象空間。

自然科學(xué)研究者——將SAM和衛(wèi)星圖像結(jié)合在了一起，表示SAM能夠很好的識(shí)別和找到他標(biāo)記的風(fēng)貌類型。

神經(jīng)外科影像學(xué)從業(yè)者——將SAM用到了一個(gè)脊髓血管病的病例文件之中，認(rèn)為SAM在幫助判斷和分析病情上有很大幫助。

生物學(xué)家——輸入一張顯微鏡下的組織圖片，即使圖中形狀特征毫無規(guī)律，SAM也能夠自動(dòng)識(shí)別多細(xì)胞結(jié)構(gòu)中的腺體、導(dǎo)管、動(dòng)脈等，SAM 在未來能夠節(jié)省大量手動(dòng)注釋的時(shí)間。

騎行愛好者——將地圖和SAM結(jié)合起來，認(rèn)為能夠幫助自己未來更快更高效地給地圖做標(biāo)記。

農(nóng)場管理者——借助 SAM 監(jiān)管農(nóng)場動(dòng)物，進(jìn)行作物培植生產(chǎn)研究等。

AI研究專家——英偉達(dá)人工智能科學(xué)家 Jim Fan 表示 SAM 已經(jīng)基本能夠理解“物品”的一般概念，即使對于未知對象、不熟悉的場景（例如水下和顯微鏡里的細(xì)胞）。

SAM 之于計(jì)算機(jī)視覺，就像是 GPT 之于大語言模型。

論文解讀

在 Meta 的論文《Segment Anything》中，新模型全名為Segment Anything Model，圖像注釋集名為Segment Anything 1－Billion （SA－1B），據(jù)稱這是有史以來最大的分割數(shù)據(jù)集。

論文地址：https：／／arxiv．org／abs／2304．02643

此前解決分割問題大致有兩種方法。第一種是交互式分割，第二種是自動(dòng)分割。前者需要人通過迭代完善一個(gè)遮罩來指導(dǎo)模型，后者需要大量的手動(dòng)注釋對象來訓(xùn)練。兩種方法都無法實(shí)現(xiàn)全自動(dòng)的圖像分割。SAM 很好的概括了這兩種方法，可以輕松地執(zhí)行交互式分割和自動(dòng)分割。

本篇論文中，研發(fā)人員提到了SAM 的靈感來源于自然語言處理領(lǐng)域。在 NLP 領(lǐng)域，基礎(chǔ)模型可以使用prompting技術(shù)對新數(shù)據(jù)集和任務(wù)執(zhí)行零樣本和少樣本學(xué)習(xí)。

而在CV領(lǐng)域，具體到 SAM 中，研究人員訓(xùn)練的 SAM 可以針對任何提示返回有效的分割掩碼。提示可以是前景、背景點(diǎn)、粗框或掩碼、自由格式文本等等能指示圖像中要分割內(nèi)容的任何信息。

在Web瀏覽器中，SAM有效映射圖像特征和一組提示嵌入來生成分割掩碼

除了新模型 SAM，Meta還發(fā)布了迄今為止最大的分割數(shù)據(jù)集 SA－1B。

數(shù)據(jù)集由 SAM 收集，此數(shù)據(jù)集已是迄今為止最大的數(shù)據(jù)。注釋員使用 SAM 交互式地注釋圖像，然后新注釋的數(shù)據(jù)反過來更新 SAM，重復(fù)執(zhí)行此循環(huán)來改善模型和數(shù)據(jù)集。

SA－1B 圖像數(shù)據(jù)集包含超過11億個(gè)掩碼，這些掩碼是從1100萬張已經(jīng)獲得許可、并且保護(hù)隱私的高分辨率圖像中收集的，這些圖像的分辨率達(dá)到了1500×2250 pixels，平均每張圖像約有100個(gè)掩碼。甚至可以媲美以前規(guī)模小得多、完全手動(dòng)注釋的數(shù)據(jù)集中的掩碼。

Meta 官方稱，通過在業(yè)內(nèi)共享這項(xiàng)研究和數(shù)據(jù)集，進(jìn)一步加速對分割圖像視頻的研究，為AR／VR、內(nèi)容創(chuàng)作、科學(xué)領(lǐng)域和更普遍的 AI 系統(tǒng)等領(lǐng)域的強(qiáng)大組件，釋放出更加強(qiáng)大、通用的人工智能系統(tǒng)。