任何AI應(yīng)用的成功都與訓(xùn)練數(shù)據(jù)密切相關(guān)。您不僅需要合適的數(shù)據(jù)質(zhì)量和合適的數(shù)據(jù)量，還要主動(dòng)確保您的AI工程師沒有將自己的潛在偏誤傳遞到開發(fā)的產(chǎn)品上。如果工程師任由自己的世界觀和成見影響數(shù)據(jù)集——也許提供僅限于某個(gè)統(tǒng)計(jì)人群或焦點(diǎn)的數(shù)據(jù)，依賴AI解決問題的應(yīng)用系統(tǒng)將同樣有偏誤、不準(zhǔn)確、用處不大。

簡(jiǎn)而言之，我們必須不斷檢測(cè)并消除AI應(yīng)用系統(tǒng)中的人為偏誤，才能讓這項(xiàng)技術(shù)發(fā)揮潛力。我預(yù)計(jì)，隨著AI繼續(xù)從一種比較新的技術(shù)迅速變成一種完全無處不在的技術(shù)，偏誤審查力度只會(huì)有增無減。但必須克服人為偏誤才能真正實(shí)現(xiàn)這一幕。Gartner在2018年的一份報(bào)告預(yù)測(cè)，到2030年，85％的AI項(xiàng)目將提供數(shù)據(jù)或算法中內(nèi)置的偏誤或管理那些部署的團(tuán)隊(duì)中存在的偏誤所導(dǎo)致的錯(cuò)誤結(jié)果。事關(guān)重大；錯(cuò)誤的AI會(huì)導(dǎo)致聲譽(yù)嚴(yán)重受損，并給基于AI提供的錯(cuò)誤結(jié)論做出決策的企業(yè)帶來慘重的失敗后果。

AI偏誤有多種形式。源自開發(fā)人員的認(rèn)知偏誤會(huì)影響機(jī)器學(xué)習(xí)模型和訓(xùn)練數(shù)據(jù)集。實(shí)際上，偏誤固化到算法中。不完整的數(shù)據(jù)本身也會(huì)產(chǎn)生偏誤——如果信息因認(rèn)知偏誤而被忽略，尤其如此。一個(gè)在沒有偏誤的情況下訓(xùn)練和開發(fā)的AI投入使用時(shí)，其結(jié)果仍有可能受到部署偏誤的影響。匯總偏誤是另一種風(fēng)險(xiǎn)，當(dāng)針對(duì)AI項(xiàng)目做出的小選擇對(duì)結(jié)果的完整性產(chǎn)生巨大的集體影響時(shí)，就會(huì)出現(xiàn)這種情況。簡(jiǎn)而言之，任何AI環(huán)節(jié)都有許多固有的步驟會(huì)被引入偏誤。

為了實(shí)現(xiàn)可信賴的依賴AI的應(yīng)用系統(tǒng)，可以面對(duì)無數(shù)用例（和用戶）始終如一地獲得準(zhǔn)確的輸出，組織就需要有效的框架、工具包、流程和政策來識(shí)別和積極減少AI偏誤�？捎玫拈_源工具有助于測(cè)試AI應(yīng)用，看看數(shù)據(jù)中是否存在特定的偏誤、問題和盲點(diǎn)。

AI框架。旨在保護(hù)組織免受AI偏誤風(fēng)險(xiǎn)的框架可以引入制衡機(jī)制，最大限度地減少整個(gè)應(yīng)用開發(fā)和部署過程中的不當(dāng)影響�？梢允褂眠@些框架，將可信無偏誤實(shí)踐的衡量基準(zhǔn)實(shí)現(xiàn)自動(dòng)化，并植入到產(chǎn)品中。

這里有幾個(gè)例子：

工具包。組織還應(yīng)該利用可用的工具包來識(shí)別和消除機(jī)器學(xué)習(xí)模型中存在的偏誤，并識(shí)別機(jī)器學(xué)習(xí)管道中的偏誤模式。以下是一些特別有用的工具包：

流程和政策。組織可能需要引入專門設(shè)計(jì)的新流程，以消除AI的偏誤并加大對(duì)AI系統(tǒng)的信任。這些流程定義了偏誤度量指標(biāo)，并根據(jù)那些標(biāo)準(zhǔn)定期徹底地核查數(shù)據(jù)。政策應(yīng)該發(fā)揮一種類似的作用，建立治理機(jī)制，要求嚴(yán)謹(jǐn)?shù)膶?shí)踐和謹(jǐn)慎的行動(dòng)，以最大限度地減少偏誤和解決盲點(diǎn)。

那些采取措施以減少AI系統(tǒng)中偏誤的組織可以將這種潛在的危機(jī)轉(zhuǎn)化為獲取競(jìng)爭(zhēng)差異化優(yōu)勢(shì)的機(jī)會(huì)。倡導(dǎo)反偏誤措施可以使客戶對(duì)AI應(yīng)用系統(tǒng)抱有更大的信心和信任，從而使組織與眾不同。今天尤其如此，而隨著AI遍地開花，將更是如此。在追求無偏誤的AI方面確保透明度有利于企業(yè)發(fā)展。

先進(jìn)的新AI算法正將AI帶入新領(lǐng)域——從合成數(shù)據(jù)生成到遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、生成式網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)，不一而足。這每一個(gè)令人興奮的新應(yīng)用對(duì)偏誤影響都會(huì)有各自的敏感性，必須先解決這些問題，這些技術(shù)才會(huì)蓬勃發(fā)展。

就AI偏誤而言，錯(cuò)不在AI而在我們自己。應(yīng)采取所有可用的措施以消除AI中的人為偏誤，使組織能夠開發(fā)出更準(zhǔn)確、更有效、對(duì)客戶更有吸引力的應(yīng)用系統(tǒng)。

原文標(biāo)題：AI bias is prevalent but preventable — here’s how to root it  out，作者：Shomron Jacob， Iterate．a(chǎn)i

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處】

來源：51CTO布加迪