訂閱
糾錯(cuò)
加入自媒體
當(dāng)前位置： OFweek 人工智能網(wǎng)   >   機(jī)器學(xué)習(xí)   >  正文

趨勢(shì)丨設(shè)計(jì)的代價(jià)：深度學(xué)習(xí)已經(jīng)接近計(jì)算極限

前言：

關(guān)于深度學(xué)習(xí)，它正在快速接近其極限。雖然事實(shí)可能的確如此，但我們?nèi)晕茨茉谌粘Ｉ钪懈惺艿饺娌渴鹕疃葘W(xué)習(xí)的影響。

MIT：算力將探底，算法需改革

近日，MIT發(fā)出警告：深度學(xué)習(xí)正在接近現(xiàn)有芯片的算力極限，如果不變革算法，深度學(xué)習(xí)恐難再進(jìn)步。

根據(jù)麻省理工學(xué)院，MIT－IBM Watson AI實(shí)驗(yàn)室，Underwood國(guó)際學(xué)院和巴西利亞大學(xué)的研究人員在最近的研究中發(fā)現(xiàn)，持續(xù)不斷的進(jìn)步將需要通過(guò)改變現(xiàn)有技術(shù)或通過(guò)尚未發(fā)現(xiàn)的新方法來(lái)更有效地使用深度學(xué)習(xí)方法。

目前深度學(xué)習(xí)的繁榮過(guò)度依賴算力的提升，在后摩爾定律時(shí)代可能遭遇發(fā)展瓶頸，在算法改進(jìn)上還需多多努力。

AI芯天下丨趨勢(shì)丨設(shè)計(jì)的代價(jià)：深度學(xué)習(xí)已經(jīng)接近計(jì)算極限

深度學(xué)習(xí)不是偶然的計(jì)算代價(jià)，而是設(shè)計(jì)的代價(jià)。共同的靈活性使它能夠出色地建模各種現(xiàn)象，并且性能優(yōu)于專家模型，這也使其在計(jì)算上的成本大大提高。

研究人員估計(jì)，三年的算法改進(jìn)相當(dāng)于計(jì)算能力提高10倍。總體而言，在深度學(xué)習(xí)的許多領(lǐng)域中，訓(xùn)練模型的進(jìn)步取決于所使用的計(jì)算能力的大幅度提高。 另一種可能性是，要改善算法本身可能需要互補(bǔ)地提高計(jì)算能力。

在研究過(guò)程中，研究人員還對(duì)預(yù)測(cè)進(jìn)行了推斷，以了解達(dá)到各種理論基準(zhǔn)所需的計(jì)算能力以及相關(guān)的經(jīng)濟(jì)和環(huán)境成本。

即使是最樂(lè)觀的計(jì)算，要降低ImageNet上的圖像分類錯(cuò)誤率，也需要進(jìn)行10的五次方以上的計(jì)算。

根據(jù)多項(xiàng)式和指數(shù)模型的預(yù)測(cè)，通過(guò)深度學(xué)習(xí)獲得相應(yīng)性能基準(zhǔn)所需的算力（以Gflops為單位），碳排放量和經(jīng)濟(jì)成本，最樂(lè)觀的估計(jì)，ImageNet分類誤差要想達(dá)到1％，需要10＾28 Gflops的算力，這對(duì)硬件來(lái)說(shuō)是不小的壓力。

AI芯天下丨趨勢(shì)丨設(shè)計(jì)的代價(jià)：深度學(xué)習(xí)已經(jīng)接近計(jì)算極限

1  2  3  下一頁(yè)>  
聲明： 本文由入駐維科號(hào)的作者撰寫，觀點(diǎn)僅代表作者本人，不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題，請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

共0條評(píng)論，0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁，請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清，點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

    掃碼關(guān)注公眾號(hào)
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯(cuò)
    x
    *文字標(biāo)題：
    *糾錯(cuò)內(nèi)容：
    聯(lián)系郵箱：
    *驗(yàn) 證 碼：

    粵公網(wǎng)安備 44030502002758號(hào)