三、元學(xué)習(xí) Meta Learning

元學(xué)習(xí)也就是＂學(xué)習(xí)如何學(xué)習(xí)＂，通過對(duì)現(xiàn)有的學(xué)習(xí)任務(wù)之間的性能差異進(jìn)行系統(tǒng)的觀測，然后學(xué)習(xí)已有的經(jīng)驗(yàn)和元數(shù)據(jù)，用于更好的執(zhí)行新的學(xué)習(xí)任務(wù)。這樣做可以極大的該靜機(jī)器學(xué)習(xí)流水線或者神經(jīng)網(wǎng)絡(luò)架構(gòu)的設(shè)計(jì)，也可以用數(shù)據(jù)驅(qū)動(dòng)的方式取代手工作坊似的算法工程工作。

從某種意義上來說，元學(xué)習(xí)覆蓋了超參數(shù)優(yōu)化，因?yàn)樵獢?shù)據(jù)的學(xué)習(xí)包含了：超參數(shù)，流水線的構(gòu)成，神經(jīng)網(wǎng)絡(luò)架構(gòu)，模型構(gòu)成，元特征等等。

機(jī)器學(xué)習(xí)的算法我們又稱為‘學(xué)習(xí)器’，學(xué)習(xí)器就是假定一個(gè)模型，該模型擁有很多未知參數(shù)，利用訓(xùn)練數(shù)據(jù)和優(yōu)化算法來找到最適合這些訓(xùn)練數(shù)據(jù)的參數(shù)，生成一個(gè)新的算法，或者參數(shù)已知的模型，并利用該模型／算法來預(yù)測新的未知數(shù)據(jù)。如果說世界上只有一個(gè)模型，那么問題就簡單了，問題是模型有很多，不同的模型擁有不同的超參數(shù)，我們往往還會(huì)把模型和算法組裝在一起構(gòu)成復(fù)合模型和機(jī)器學(xué)習(xí)的流水線，這個(gè)時(shí)候，我就需要知道解決不同的問題要構(gòu)建那些不同的模型。元學(xué)習(xí)就在這個(gè)時(shí)候，我們可以把超參數(shù)，流水線，神經(jīng)網(wǎng)絡(luò)架構(gòu)這些都看成是一個(gè)新的模型的未知參數(shù)，把不同學(xué)習(xí)任務(wù)的性能指標(biāo)看成是輸入數(shù)據(jù)，這樣我們就可以利用優(yōu)化算法來找到性能最好的那組參數(shù)。這個(gè)模式可以一直嵌套，也就是說，你可以有‘元元元學(xué)習(xí)‘，當(dāng)然我希望你不要走得太遠(yuǎn)，找不到回來的路。

元學(xué)習(xí)的方法包括：

通過模型評(píng)估來學(xué)習(xí)

通過任務(wù)的屬性，元特征來學(xué)習(xí)

以下列出了一些常見的元特征

從現(xiàn)有的模型中學(xué)習(xí)，包括：

遷移學(xué)習(xí)

利用RNN在學(xué)習(xí)過程中修改自己的權(quán)重

元學(xué)習(xí)的一個(gè)很大的挑戰(zhàn)就是如果通過很少的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)一個(gè)復(fù)雜的模型，這就是one－shot或者few－shot的問題。

像人類的學(xué)習(xí)一樣，每次學(xué)習(xí)無論成功失敗，我們都收獲一定的經(jīng)驗(yàn)，人類很少從頭學(xué)習(xí)。在構(gòu)建自動(dòng)學(xué)習(xí)的時(shí)候，我們也應(yīng)該充分利用已有的每一次的學(xué)習(xí)經(jīng)驗(yàn)，逐步的改進(jìn)，使得新的學(xué)習(xí)更加有效。

四、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索

Neural Architecture Search

提起AutoML，其實(shí)大多數(shù)人都是因?yàn)镚oogle的AutoML系統(tǒng)才知道這個(gè)故事的。隨著深度學(xué)習(xí)的流行，神經(jīng)網(wǎng)絡(luò)的架構(gòu)變得越來越復(fù)雜，越來越多的手工工程也隨之而來。神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索就是為了解決這個(gè)問題。

NAS主要包含三個(gè)部分：

搜索空間 search space

搜索策略 search strategy

性能估計(jì)策略 performance estimation strategy

五、自動(dòng)化特征工程

自動(dòng)化特征工程可以幫助數(shù)據(jù)科學(xué)家基于數(shù)據(jù)集自動(dòng)創(chuàng)建能夠最好的用于訓(xùn)練的特征。

Featuretools是一個(gè)開源庫，用來實(shí)現(xiàn)自動(dòng)化特征工程。它是一個(gè)很好的工具，旨在加快特征生成的過程，從而讓大家有更多的時(shí)間專注于構(gòu)建機(jī)器學(xué)習(xí)模型的其他方面。換句話說，它使你的數(shù)據(jù)處于“等待機(jī)器學(xué)習(xí)”的狀態(tài)。

Featuretools程序包中的三個(gè)主要組件：

實(shí)體（Entities）

深度特征綜合（Deep Feature Synthesis ，DFS）

特征基元（Feature primitives）

一個(gè)Entity可以視作是一個(gè)Pandas的數(shù)據(jù)框的表示，多個(gè)實(shí)體的集合稱為Entityset。

深度特征綜合（DFS）與深度學(xué)習(xí)無關(guān)，不用擔(dān)心。實(shí)際上，DFS是一種特征工程方法，是Featuretools的主干。它支持從單個(gè)或者多個(gè)數(shù)據(jù)框中構(gòu)造新特征。

DFS通過將特征基元應(yīng)用于Entityset的實(shí)體關(guān)系來構(gòu)造新特征。這些特征基元是手動(dòng)生成特征時(shí)常用的方法。例如，基元“mean”將在聚合級(jí)別上找到變量的平均值。

六、其它自動(dòng)機(jī)器學(xué)習(xí)工具集

以下列出一些開源的自動(dòng)機(jī)器學(xué)習(xí)工具空大家參考、選擇

Auto－Sklearn

AutoKeras

TPOT

H2O AutoML

Python auto＿ml