优化深度神经网络

吴恩达《优化深度神经网络》课程笔记(3)– 超参数调试、Batch正则化和编程框架

10

红色石头 发布于 2018-07-31

上节课我们主要介绍了深度神经网络的优化算法。包括对原始数据集进行分割,使用mini-batch gradient descent。然后介绍了指数加权平均(Exponentially weighted averages)的概念以及偏移校正(bias correction)方法。接着...

阅读(451)评论(0)赞 (1)

吴恩达《优化深度神经网络》课程笔记(2)– 优化算法

14

红色石头 发布于 2018-07-31

上节课我们主要介绍了如何建立一个实用的深度学习神经网络。包括Train/Dev/Test sets的比例选择,Bias和Variance的概念和区别:Bias对应欠拟合,Variance对应过拟合。接着,我们介绍了防止过拟合的两种方法:L2 regularization和Drop...

阅读(451)评论(0)赞 (0)

吴恩达《优化深度神经网络》课程笔记(1)– 深度学习的实用层面

18

红色石头 发布于 2018-07-31

Andrew Ng的深度学习专项课程的第一门课《Neural Networks and Deep Learning》的5份笔记我已经整理完毕。在接下来的几次笔记中,我们将对第二门课《Improving Deep Neural Networks: Hyperparameter tu...

阅读(541)评论(0)赞 (2)