分類
初步瞭解TensorFlow
2018-05-24 深度學習 吳恩達的課程 TensorFlow 深度學習 Tensorflow 吳恩達的課 手勢識別

這篇筆記非常詳細地介紹了使用TensorFlow訓練一個3層神經網絡來進行手寫數字識別的過程。以下是筆記的主要內容和關鍵點： 1. **數據集準備**： - 使用了`load_dataset()`函數加載MNIST數據集。 - 將數據集中的圖像重新調整爲28x28大小，並對標籤進行one-hot編碼。 2. **創建佔位符**： - 定義輸入和輸出的維度，創建了用於存儲特徵和

閱讀全文
深度學習神經網絡中的梯度檢查
2018-04-16 深度學習 吳恩達的課程 深度學習 梯度檢查 神經網絡 吳恩達的課

謝謝你的分享和解釋！確實，通過多維梯度檢測（Gradient Checking）可以有效地檢查反向傳播算法中梯度計算是否正確。這種技術在實現深度學習模型時非常有用，能夠幫助我們及早發現並修正代碼中的問題。 對於初學者來說，理解正向傳播、反向傳播以及梯度檢查的過程非常重要。你提到的幾個關鍵點——如將參數和梯度轉換爲向量形式進行計算，使用微小位移來近似計算數值梯度，並通過比較兩者之間的差異來評估反向

閱讀全文
《Improving Deep Neural Networks》的理論知識點
2018-04-15 深度學習 吳恩達的課程 神經網絡 吳恩達的課 深度學習 改良網絡模型

### 深度學習實踐與優化 - 數據集拆分比例通常爲98%訓練、1%驗證和1%測試。增加數據量或正則化可提高模型性能。驗證和測試集應來自同一分佈。調整正則化參數有助於減少過擬合。 - 優化算法方面，小批量梯度下降比全批處理更快；理想的小批量大小介於1到m之間；指數加權平均用於跟蹤數據變化；學習率衰減技術如0.95^tα₀和1/√t α₀有效。Adam結合了RMSProp優點與動量。 ### 超

閱讀全文
深度學習神經網絡中權重的初始化
2018-04-15 深度學習 吳恩達的課程 權重初始化 吳恩達的課 深度學習 神經網絡

感謝你分享這些寶貴的學習筆記和參考資料！確實，深度學習中初始化權重的方式對模型的表現有很大影響。使用恰當的方法可以確保網絡中的所有神經元在訓練初期都能有效地工作。 如果你有任何具體的疑問或需要進一步解釋某個步驟、概念或方法，比如如何調整超參數或者理解反向傳播的具體過程等，請隨時告訴我。我會盡力幫助你更好地理解和掌握這些知識。 另外，如果你想探索更多關於深度學習的知識點，這裏有一些擴展閱讀建議：

閱讀全文
深度學習神經網絡中正則化的使用
2018-04-15 深度學習 吳恩達的課程 吳恩達的課 深度學習 正則化 L2正則化 Dropout

這篇文章詳細介紹了深度學習中常用的三種正則化技術：L2-正則化、Dropout和正則化的3層網絡模型，並通過實現這些方法來提升神經網絡在MNIST數據集上的表現。文章還包括了對代碼的逐步解釋，以及結果分析。 以下是主要內容總結： ### 模型介紹 文章首先介紹了三種常用的正則化技術： 1. **L2-正則化**：通過對權重進行懲罰從而減小模型複雜度。 2. **Dropout**：通過隨機關閉

閱讀全文
使用Logistic迴歸實現貓的二分類
2018-03-31 深度學習 吳恩達的課程 Logistic迴歸 深度學習 二分類 吳恩達的課程

你提供的代碼是一個完整的從零開始實現邏輯迴歸模型的過程，並且還包含了一些附加功能來測試不同的學習率和預測自己的圖像。以下是你已經實現的功能簡要說明： 1. **數據準備**: - 讀取並預處理MNIST手寫數字識別數據集。 - 將每張圖片從2D的(64, 64)轉換爲一維向量。 2. **模型構建與訓練**: - 實現了邏輯迴歸的一些關鍵函數，如初始化參數、前向傳播、後向傳播

閱讀全文
使用帶有隱層的神經網絡實現顏色二分類
2018-03-31 深度學習 吳恩達的課程 隱層神經網絡 吳恩達的課程 顏色分佈數據 二分類

你的代碼很好地展示瞭如何實現一個具有隱藏層的人工神經網絡來解決二分類問題，並且你已經添加了詳細的註釋來解釋每一個步驟。下面我會對這個代碼進行一些修改和優化，同時也會提供一些額外的建議。 ### 修改與優化 1. **導入必要的庫**：確保所有需要的庫都正確導入。 2. **參數初始化**：在`initialize_parameters`函數中將`n_h`作爲輸入參數。 3. **梯度下降循環改

閱讀全文
構建深度神經網絡實現貓的二分類
2018-03-31 深度學習 吳恩達的課程 深度神經網絡 二分類 L層神經網絡 吳恩達的課

你提供的代碼和解釋非常詳細，涵蓋了從數據加載、預處理到模型構建與訓練的全過程，並且還涉及到了深度神經網絡的學習過程及其性能評估。以下是對你筆記的一些補充說明和建議： ### 1. 數據集下載 在實際使用時，通常需要確保已經下載了MNIST或其他指定的數據集。爲了方便讀者，可以提前將數據加載代碼直接嵌入到腳本中，並提供數據集的下載鏈接或詳細說明如何獲取。 ```python import os

閱讀全文
Python的Numpy實現深度學習常用的函數
2018-03-30 深度學習 吳恩達的課程 深度學習 numpy 激活函數 損失函數

你的筆記非常詳細且涵蓋了深度學習中的多個重要概念和技術，包括激活函數、損失函數等，確實有助於初學者理解和掌握這些基礎知識。 ### 1. 激活函數 你描述了常見的幾種激活函數（Sigmoid, tanh, ReLU）及其特點，並給出了數學公式和Python代碼實現。這是一個很好的起點！

閱讀全文
《Neural Networks and Deep Learning》的理論知識點
2018-03-29 吳恩達的課程 深度學習 深度學習 coursera 吳恩達課程 神經網絡

這個筆記涵蓋了吳恩達教授在deeplearning.ai系列課程中的一些關鍵概念和公式。下面是對這些內容進行分類整理和補充說明： ### 1. 神經網絡基礎 #### 1.1 單層神經網絡 - **tanh激活函數**：接近0的輸入，其梯度接近於最大（1）。遠離0時，梯度接近於零。 - **初始化權重**：使用 `W = np.random.randn(layer_size_prev, lay

閱讀全文