林轩田机器学习技法课程学习笔记16(完结) — Finale
17红色石头 发布于 2018-07-29
本节课主要从三个方面来对机器学习技法课程做个总结:Feature Exploitation Techniques,Error Optimization Techniques和Overfitting Elimination Techniques。最后介绍了林轩田老师带领的台大团队是...
阅读(8032)评论(1)赞 (8)
红色石头 发布于 2018-07-29
本节课主要从三个方面来对机器学习技法课程做个总结:Feature Exploitation Techniques,Error Optimization Techniques和Overfitting Elimination Techniques。最后介绍了林轩田老师带领的台大团队是...
阅读(8032)评论(1)赞 (8)
红色石头 发布于 2018-07-29
本节课主要介绍了Matrix Factorization。从电影推荐系统模型出发,首先,我们介绍了Linear Network。它从用户ID编码后的向量中提取出有用的特征,这是典型的feature extraction。然后,我们介绍了基本的Matrix Factorizatio...
阅读(7219)评论(0)赞 (3)
红色石头 发布于 2018-07-29
本节课主要介绍了Radial Basis Function Network。RBF Network Hypothesis就是计算样本之间distance similarity的Gaussian函数,这类原型替代了神经网络中的神经元。RBF Network的训练学习过程,其实就是对...
阅读(8810)评论(0)赞 (1)
红色石头 发布于 2018-07-29
本节课主要介绍了深度学习(deep learning)的数学模型,也是上节课讲的神经网络的延伸。由于深度学习网络的复杂性,其建模优化是比较困难的。通常,我们可以从pre-training和regularization的角度来解决这些困难。首先,autoencoder可以得到比较不...
阅读(8344)评论(0)赞 (0)
红色石头 发布于 2018-07-28
本节课主要介绍了Neural Network模型。首先,我们通过使用一层甚至多层的perceptrons来获得更复杂的非线性模型。神经网络的每个神经元都相当于一个Neural Network Hypothesis,训练的本质就是在每一层网络上进行pattern extractio...
阅读(7451)评论(0)赞 (2)
红色石头 发布于 2018-07-28
本节课主要介绍了Gradient Boosted Decision Tree。首先讲如何将AdaBoost与Decision Tree结合起来,即通过sampling和pruning的方法得到AdaBoost-D Tree模型。然后,我们从optimization的角度来看Ada...
阅读(8174)评论(0)赞 (8)
红色石头 发布于 2018-07-28
本节课主要介绍了Random Forest算法模型。RF将bagging与decision tree结合起来,通过把众多的决策树组进行组合,构成森林的形式,利用投票机制让G表现最佳,分类模型更稳定。其中为了让decision tree的随机性更强一些,可以采用randomly p...
阅读(8834)评论(0)赞 (1)
红色石头 发布于 2018-07-28
本节课主要介绍了Decision Tree。首先将decision tree hypothesis对应到不同分支下的矩gt。然后再介绍决策树算法是如何通过递归的形式建立起来。接着详细研究了决策树C&RT算法对应的数学模型和算法架构流程。最后通过一个实际的例子来演示决策树C&RT算...
阅读(8010)评论(0)赞 (1)
红色石头 发布于 2018-07-28
本节课主要介绍了Adaptive Boosting。首先通过讲一个老师教小学生识别苹果的例子,来引入Boosting的思想,即把许多“弱弱”的hypotheses合并起来,变成很强的预测模型。然后重点介绍这种算法如何实现,关键在于每次迭代时,给予样本不同的系数u,宗旨是放大错误样...
阅读(9130)评论(3)赞 (3)
红色石头 发布于 2018-07-28
本节课主要介绍了blending和bagging的方法,它们都属于aggregation,即将不同的gt合并起来,利用集体的智慧得到更加优化的G(t)。Blending通常分为三种情况:Uniform Blending,Linear Blending和Any Blending。其...
阅读(7991)评论(0)赞 (7)