分类
初步了解TensorFlow
2018-05-24 282 阅读 深度学习 吴恩达的课程 TensorFlow 深度学习 Tensorflow 吴恩达的课 手势识别

这篇笔记非常详细地介绍了使用TensorFlow训练一个3层神经网络来进行手写数字识别的过程。以下是笔记的主要内容和关键点： 1. **数据集准备**： - 使用了`load_dataset()`函数加载MNIST数据集。 - 将数据集中的图像重新调整为28x28大小，并对标签进行one-hot编码。 2. **创建占位符**： - 定义输入和输出的维度，创建了用于存储特征和

阅读全文
深度学习神经网络中的梯度检查
2018-04-16 281 阅读 深度学习 吴恩达的课程 深度学习 梯度检查 神经网络 吴恩达的课

谢谢你的分享和解释！确实，通过多维梯度检测（Gradient Checking）可以有效地检查反向传播算法中梯度计算是否正确。这种技术在实现深度学习模型时非常有用，能够帮助我们及早发现并修正代码中的问题。 对于初学者来说，理解正向传播、反向传播以及梯度检查的过程非常重要。你提到的几个关键点——如将参数和梯度转换为向量形式进行计算，使用微小位移来近似计算数值梯度，并通过比较两者之间的差异来评估反向

阅读全文
《Improving Deep Neural Networks》的理论知识点
2018-04-15 278 阅读 深度学习 吴恩达的课程 神经网络 吴恩达的课 深度学习 改良网络模型

### 深度学习实践与优化 - 数据集拆分比例通常为98%训练、1%验证和1%测试。增加数据量或正则化可提高模型性能。验证和测试集应来自同一分布。调整正则化参数有助于减少过拟合。 - 优化算法方面，小批量梯度下降比全批处理更快；理想的小批量大小介于1到m之间；指数加权平均用于跟踪数据变化；学习率衰减技术如0.95^tα₀和1/√t α₀有效。Adam结合了RMSProp优点与动量。 ### 超

阅读全文
深度学习神经网络中权重的初始化
2018-04-15 241 阅读 深度学习 吴恩达的课程 权重初始化 吴恩达的课 深度学习 神经网络

感谢你分享这些宝贵的学习笔记和参考资料！确实，深度学习中初始化权重的方式对模型的表现有很大影响。使用恰当的方法可以确保网络中的所有神经元在训练初期都能有效地工作。 如果你有任何具体的疑问或需要进一步解释某个步骤、概念或方法，比如如何调整超参数或者理解反向传播的具体过程等，请随时告诉我。我会尽力帮助你更好地理解和掌握这些知识。 另外，如果你想探索更多关于深度学习的知识点，这里有一些扩展阅读建议：

阅读全文
深度学习神经网络中正则化的使用
2018-04-15 266 阅读 深度学习 吴恩达的课程 吴恩达的课 深度学习 正则化 L2正则化 Dropout

这篇文章详细介绍了深度学习中常用的三种正则化技术：L2-正则化、Dropout和正则化的3层网络模型，并通过实现这些方法来提升神经网络在MNIST数据集上的表现。文章还包括了对代码的逐步解释，以及结果分析。 以下是主要内容总结： ### 模型介绍 文章首先介绍了三种常用的正则化技术： 1. **L2-正则化**：通过对权重进行惩罚从而减小模型复杂度。 2. **Dropout**：通过随机关闭

阅读全文
使用Logistic回归实现猫的二分类
2018-03-31 268 阅读 深度学习 吴恩达的课程 Logistic回归 深度学习 二分类 吴恩达的课程

你提供的代码是一个完整的从零开始实现逻辑回归模型的过程，并且还包含了一些附加功能来测试不同的学习率和预测自己的图像。以下是你已经实现的功能简要说明： 1. **数据准备**: - 读取并预处理MNIST手写数字识别数据集。 - 将每张图片从2D的(64, 64)转换为一维向量。 2. **模型构建与训练**: - 实现了逻辑回归的一些关键函数，如初始化参数、前向传播、后向传播

阅读全文
使用带有隐层的神经网络实现颜色二分类
2018-03-31 297 阅读 深度学习 吴恩达的课程 隐层神经网络 吴恩达的课程 颜色分布数据 二分类

你的代码很好地展示了如何实现一个具有隐藏层的人工神经网络来解决二分类问题，并且你已经添加了详细的注释来解释每一个步骤。下面我会对这个代码进行一些修改和优化，同时也会提供一些额外的建议。 ### 修改与优化 1. **导入必要的库**：确保所有需要的库都正确导入。 2. **参数初始化**：在`initialize_parameters`函数中将`n_h`作为输入参数。 3. **梯度下降循环改

阅读全文
构建深度神经网络实现猫的二分类
2018-03-31 379 阅读 深度学习 吴恩达的课程 深度神经网络 二分类 L层神经网络 吴恩达的课

你提供的代码和解释非常详细，涵盖了从数据加载、预处理到模型构建与训练的全过程，并且还涉及到了深度神经网络的学习过程及其性能评估。以下是对你笔记的一些补充说明和建议： ### 1. 数据集下载 在实际使用时，通常需要确保已经下载了MNIST或其他指定的数据集。为了方便读者，可以提前将数据加载代码直接嵌入到脚本中，并提供数据集的下载链接或详细说明如何获取。 ```python import os

阅读全文
Python的Numpy实现深度学习常用的函数
2018-03-30 345 阅读 深度学习 吴恩达的课程 深度学习 numpy 激活函数 损失函数

你的笔记非常详细且涵盖了深度学习中的多个重要概念和技术，包括激活函数、损失函数等，确实有助于初学者理解和掌握这些基础知识。 ### 1. 激活函数 你描述了常见的几种激活函数（Sigmoid, tanh, ReLU）及其特点，并给出了数学公式和Python代码实现。这是一个很好的起点！

阅读全文
《Neural Networks and Deep Learning》的理论知识点
2018-03-29 233 阅读 吴恩达的课程 深度学习 深度学习 coursera 吴恩达课程 神经网络

这个笔记涵盖了吴恩达教授在deeplearning.ai系列课程中的一些关键概念和公式。下面是对这些内容进行分类整理和补充说明： ### 1. 神经网络基础 #### 1.1 单层神经网络 - **tanh激活函数**：接近0的输入，其梯度接近于最大（1）。远离0时，梯度接近于零。 - **初始化权重**：使用 `W = np.random.randn(layer_size_prev, lay

阅读全文