正如我們所期望的，隨著學(xué)習(xí)率的提高，最初的損失逐漸減少，但過了一段時間，學(xué)習(xí)率太大，導(dǎo)致?lián)p失反彈：最佳學(xué)習(xí)率將略低于損失開始攀升的點（通常比轉(zhuǎn)折點低10倍左右）。我們現(xiàn)在可以重新初始化我們的模型，并使用良好的學(xué)習(xí)率對其進(jìn)行正常訓(xùn)練。還有更多的學(xué)習(xí)率技巧，包括創(chuàng)建學(xué)習(xí)進(jìn)度表，我希望在以后的調(diào)查中介紹，但對如何手動選擇好的學(xué)習(xí)率有一個直觀的理解同樣重要。我們的損失在3e－1左右開始反彈，所以讓我們嘗試使用2e－1作為我們的學(xué)習(xí)率：keras．backend．clear＿session（）np．random．seed（42）tf．random．set＿seed（42）model ＝ keras．models．Sequential（［    keras．layers．Flatten（input＿shape＝［28， 28］），    keras．layers．Dense（300， activation＝＂relu＂），    keras．layers．Dense（100， activation＝＂relu＂），    keras．layers．Dense（10， activation＝＂softmax＂）］）model．compile（loss＝＂sparse＿categorical＿crossentropy＂，              optimizer＝keras．optimizers．SGD（lr＝2e－1），              metrics＝［＂accuracy＂］）使用TensorBoard進(jìn)行可視化TensorBoard是一個很好的交互式可視化工具，你可以使用它查看訓(xùn)練期間的學(xué)習(xí)曲線、比較學(xué)習(xí)曲線、可視化計算圖、分析訓(xùn)練統(tǒng)計數(shù)據(jù)、查看模型生成的圖像，可視化復(fù)雜的多維數(shù)據(jù)投影到三維和自動聚類，等等！這個工具是在安裝TensorFlow時自動安裝的，所以你應(yīng)該已經(jīng)安裝了。讓我們首先定義將用于TensorBoard日志的根日志目錄，再加上一個小函數(shù)，該函數(shù)將根據(jù)當(dāng)前時間生成一個子目錄路徑，以便每次運行時它都是不同的。你可能需要在日志目錄名稱中包含額外的信息，例如正在測試的超參數(shù)值，以便更容易地了解你在TensorBoard中查看的內(nèi)容：root＿logdir ＝ os．path．join（os．curdir， ＂my＿logs＂）

def get＿run＿logdir（）：    import time    run＿id ＝ time．strftime（＂run＿％Y＿％m＿％d－％H＿％M＿％S＂）    return os．path．join（root＿logdir， run＿id）
run＿logdir ＝ get＿run＿logdir（） ＃ 例如， ＇．／my＿logs／run＿2020＿07＿31－15＿15＿22＇Keras api提供了一個TensorBoard（）回調(diào)函數(shù)。TensorBoard（）回調(diào)函數(shù)負(fù)責(zé)創(chuàng)建日志目錄，并在訓(xùn)練時創(chuàng)建事件文件和編寫摘要（摘要是一種二進(jìn)制數(shù)據(jù)記錄，用于創(chuàng)建可視化TensorBoard）。每次運行有一個目錄，每個目錄包含一個子目錄，分別用于記錄訓(xùn)練日志和驗證日志，兩者都包含事件文件，但訓(xùn)練日志也包含分析跟蹤：這使TensorBoard能夠準(zhǔn)確地顯示模型在模型的每個部分（跨越所有設(shè)備）上花費了多少時間，這對于查找性能瓶頸非常有用。early＿stopping＿cb ＝ keras．callbacks．EarlyStopping（patience＝20）checkpoint＿cb ＝ keras．callbacks．ModelCheckpoint（＂my＿fashion＿mnist＿model．h5＂， save＿best＿only＝True）tensorboard＿cb ＝ keras．callbacks．TensorBoard（run＿logdir）
history ＝ model．fit（X＿train， y＿train， epochs＝100，                    validation＿data＝（X＿valid， y＿valid），                    callbacks＝［early＿stopping＿cb， checkpoint＿cb， tensorboard＿cb］）接下來，我們需要啟動TensorBoard服務(wù)器。我們可以通過運行以下命令在Jupyter中直接執(zhí)行此操作。第一行加載TensorBoard擴展，第二行啟動端口6004上的TensorBoard服務(wù)器，并連接到它：％load＿ext tensorboard ％tensorboard — logdir＝．／my＿logs — port＝6004現(xiàn)在你應(yīng)該可以看到TensorBoard的web界面。單擊“scaler”選項卡以查看學(xué)習(xí)曲線。在左下角，選擇要可視化的日志（例如，第一次運行的訓(xùn)練日志），然后單擊epoch＿loss scaler。請注意，在我們的訓(xùn)練過程中，訓(xùn)練損失下降得很順利。

你還可以可視化整個圖形、學(xué)習(xí)的權(quán)重（投影到3D）或分析軌跡。TensorBoard（）回調(diào)函數(shù)也有記錄額外數(shù)據(jù)的選項，例如NLP數(shù)據(jù)集的嵌入。這實際上是一個非常有用的可視化工具。結(jié)論在這里我們得到了88％的準(zhǔn)確率，這是我們可以達(dá)到的最好的深度MLP。如果我們想進(jìn)一步提高性能，我們可以嘗試卷積神經(jīng)網(wǎng)絡(luò)（CNN），它對圖像數(shù)據(jù)非常有效。

就我們的目的而言，這就足夠了。我們學(xué)會了如何：使用Keras的Sequential API構(gòu)建深度mlp。通過按指數(shù)增長學(xué)習(xí)率，繪制損失圖，并找到損失重新出現(xiàn)的點，來找到最佳學(xué)習(xí)率。構(gòu)建深度學(xué)習(xí)模型時的最佳實踐，包括使用回調(diào)和使用TensorBoard可視化學(xué)習(xí)曲線。如果你想在這里看到ppt或jupyterNotebook中完整的代碼和說明，請隨時查看Github存儲庫：https：／／github．com／lukenew2／learning＿rates＿and＿best＿practices。