林轩田机器学习技法课程学习笔记15 — Matrix Factorization
26红色石头 发布于 2018-07-29
本节课主要介绍了Matrix Factorization。从电影推荐系统模型出发,首先,我们介绍了Linear Network。它从用户ID编码后的向量中提取出有用的特征,这是典型的feature extraction。然后,我们介绍了基本的Matrix Factorizatio...
阅读(7180)评论(0)赞 (3)
红色石头 发布于 2018-07-29
本节课主要介绍了Matrix Factorization。从电影推荐系统模型出发,首先,我们介绍了Linear Network。它从用户ID编码后的向量中提取出有用的特征,这是典型的feature extraction。然后,我们介绍了基本的Matrix Factorizatio...
阅读(7180)评论(0)赞 (3)
红色石头 发布于 2018-07-28
本节课主要介绍了Gradient Boosted Decision Tree。首先讲如何将AdaBoost与Decision Tree结合起来,即通过sampling和pruning的方法得到AdaBoost-D Tree模型。然后,我们从optimization的角度来看Ada...
阅读(8133)评论(0)赞 (8)
红色石头 发布于 2018-07-28
本节课主要介绍了Random Forest算法模型。RF将bagging与decision tree结合起来,通过把众多的决策树组进行组合,构成森林的形式,利用投票机制让G表现最佳,分类模型更稳定。其中为了让decision tree的随机性更强一些,可以采用randomly p...
阅读(8769)评论(0)赞 (1)
红色石头 发布于 2018-07-28
本节课主要介绍了Decision Tree。首先将decision tree hypothesis对应到不同分支下的矩gt。然后再介绍决策树算法是如何通过递归的形式建立起来。接着详细研究了决策树C&RT算法对应的数学模型和算法架构流程。最后通过一个实际的例子来演示决策树C&RT算...
阅读(7972)评论(0)赞 (1)
红色石头 发布于 2018-07-28
本节课主要介绍了Adaptive Boosting。首先通过讲一个老师教小学生识别苹果的例子,来引入Boosting的思想,即把许多“弱弱”的hypotheses合并起来,变成很强的预测模型。然后重点介绍这种算法如何实现,关键在于每次迭代时,给予样本不同的系数u,宗旨是放大错误样...
阅读(9065)评论(3)赞 (3)
红色石头 发布于 2018-07-28
本节课主要介绍了blending和bagging的方法,它们都属于aggregation,即将不同的gt合并起来,利用集体的智慧得到更加优化的G(t)。Blending通常分为三种情况:Uniform Blending,Linear Blending和Any Blending。其...
阅读(7948)评论(0)赞 (7)
红色石头 发布于 2018-07-25
本节课主要介绍了SVR,我们先通过representer theorem理论,将ridge regression转化为kernel的形式,即kernel ridge regression,并推导了SVR的解。但是得到的解是dense的,大部分为非零值。所以,我们定义新的tube ...
阅读(7971)评论(0)赞 (4)
红色石头 发布于 2018-07-25
本节课主要介绍了Kernel Logistic Regression。首先把Soft-Margin SVM解释成Regularized Model,建立二者之间的联系,其实Soft-Margin SVM就是一个L2-regularization,对应着hinge error me...
阅读(7748)评论(0)赞 (2)
红色石头 发布于 2018-07-25
本节课主要介绍了Soft-Margin SVM。我们的出发点是与Hard-Margin SVM不同,不一定要将所有的样本点都完全分开,允许有分类错误的点,而使margin比较宽。然后,我们根据之前介绍的Dual SVM,推导出了Soft-Margin SVM的QP形式。接着介绍了...
阅读(8715)评论(1)赞 (4)
红色石头 发布于 2018-07-25
本节课主要介绍了Kernel Support Vector Machine。首先,我们将特征转换和计算内积的操作合并到一起,消除了矩阵内积复杂的影响,提高了计算速度。然后,分别推导了Polynomial Kernel和Gaussian Kernel,并列举了各自的优缺点并做了比较...
阅读(8409)评论(0)赞 (3)