红色石头的个人博客林轩田机器学习技法课程学习笔记11 — Gradient Boosted Decision Tree
37红色石头 发布于 2018-07-28
本节课主要介绍了Gradient Boosted Decision Tree。首先讲如何将AdaBoost与Decision Tree结合起来，即通过sampling和pruning的方法得到AdaBoost-D Tree模型。然后，我们从optimization的角度来看Ada...
阅读(264)评论(0)赞 (1)
标签：机器学习 第3页
林轩田机器学习技法课程学习笔记10 — Random Forest
40红色石头 发布于 2018-07-28
本节课主要介绍了Random Forest算法模型。RF将bagging与decision tree结合起来，通过把众多的决策树组进行组合，构成森林的形式，利用投票机制让G表现最佳，分类模型更稳定。其中为了让decision tree的随机性更强一些，可以采用randomly p...
阅读(268)评论(0)赞 (0)
林轩田机器学习技法课程学习笔记9 — Decision Tree
26红色石头 发布于 2018-07-28
本节课主要介绍了Decision Tree。首先将decision tree hypothesis对应到不同分支下的矩gt。然后再介绍决策树算法是如何通过递归的形式建立起来。接着详细研究了决策树C&RT算法对应的数学模型和算法架构流程。最后通过一个实际的例子来演示决策树C&RT算...
阅读(323)评论(0)赞 (0)
林轩田机器学习技法课程学习笔记8 — Adaptive Boosting
33红色石头 发布于 2018-07-28
本节课主要介绍了Adaptive Boosting。首先通过讲一个老师教小学生识别苹果的例子，来引入Boosting的思想，即把许多“弱弱”的hypotheses合并起来，变成很强的预测模型。然后重点介绍这种算法如何实现，关键在于每次迭代时，给予样本不同的系数u，宗旨是放大错误样...
阅读(224)评论(2)赞 (0)
林轩田机器学习技法课程学习笔记7 — Blending and Bagging
25红色石头 发布于 2018-07-28
本节课主要介绍了blending和bagging的方法，它们都属于aggregation，即将不同的gt合并起来，利用集体的智慧得到更加优化的G(t)。Blending通常分为三种情况：Uniform Blending，Linear Blending和Any Blending。其...
阅读(281)评论(0)赞 (2)
林轩田机器学习技法课程学习笔记6 — Support Vector Regression
25红色石头 发布于 2018-07-25
本节课主要介绍了SVR，我们先通过representer theorem理论，将ridge regression转化为kernel的形式，即kernel ridge regression，并推导了SVR的解。但是得到的解是dense的，大部分为非零值。所以，我们定义新的tube ...
阅读(251)评论(0)赞 (0)
林轩田机器学习技法课程学习笔记5 — Kernel Logistic Regression
20红色石头 发布于 2018-07-25
本节课主要介绍了Kernel Logistic Regression。首先把Soft-Margin SVM解释成Regularized Model，建立二者之间的联系，其实Soft-Margin SVM就是一个L2-regularization，对应着hinge error me...
阅读(247)评论(0)赞 (0)
林轩田机器学习技法课程学习笔记4 — Soft-Margin Support Vector Machine
19红色石头 发布于 2018-07-25
本节课主要介绍了Soft-Margin SVM。我们的出发点是与Hard-Margin SVM不同，不一定要将所有的样本点都完全分开，允许有分类错误的点，而使margin比较宽。然后，我们根据之前介绍的Dual SVM，推导出了Soft-Margin SVM的QP形式。接着介绍了...
阅读(352)评论(0)赞 (1)
林轩田机器学习技法课程学习笔记3 — Kernel Support Vector Machine
23红色石头 发布于 2018-07-25
本节课主要介绍了Kernel Support Vector Machine。首先，我们将特征转换和计算内积的操作合并到一起，消除了矩阵内积复杂的影响，提高了计算速度。然后，分别推导了Polynomial Kernel和Gaussian Kernel，并列举了各自的优缺点并做了比较...
阅读(285)评论(0)赞 (0)
林轩田机器学习技法课程学习笔记2 — Dual Support Vector Machine
23红色石头 发布于 2018-07-25
本节课主要介绍了SVM的另一种形式：Dual SVM。Dual SVM的推导过程是通过引入拉格朗日因子，将SVM转化为新的非条件形式；然后，利用QP，得到最佳解的拉格朗日因子；再通过KKT条件，计算得到对应的w和b。最终求得fattest hyperplane。
阅读(300)评论(0)赞 (1)
