林轩田机器学习技法课程学习笔记7 — Blending and Bagging
25红色石头 发布于 2018-07-28
本节课主要介绍了blending和bagging的方法,它们都属于aggregation,即将不同的gt合并起来,利用集体的智慧得到更加优化的G(t)。Blending通常分为三种情况:Uniform Blending,Linear Blending和Any Blending。其...
阅读(7138)评论(0)赞 (7)
红色石头 发布于 2018-07-28
本节课主要介绍了blending和bagging的方法,它们都属于aggregation,即将不同的gt合并起来,利用集体的智慧得到更加优化的G(t)。Blending通常分为三种情况:Uniform Blending,Linear Blending和Any Blending。其...
阅读(7138)评论(0)赞 (7)
红色石头 发布于 2018-07-25
本节课主要介绍了SVR,我们先通过representer theorem理论,将ridge regression转化为kernel的形式,即kernel ridge regression,并推导了SVR的解。但是得到的解是dense的,大部分为非零值。所以,我们定义新的tube ...
阅读(7046)评论(0)赞 (4)
红色石头 发布于 2018-07-25
本节课主要介绍了Kernel Logistic Regression。首先把Soft-Margin SVM解释成Regularized Model,建立二者之间的联系,其实Soft-Margin SVM就是一个L2-regularization,对应着hinge error me...
阅读(7034)评论(0)赞 (2)
红色石头 发布于 2018-07-25
本节课主要介绍了Soft-Margin SVM。我们的出发点是与Hard-Margin SVM不同,不一定要将所有的样本点都完全分开,允许有分类错误的点,而使margin比较宽。然后,我们根据之前介绍的Dual SVM,推导出了Soft-Margin SVM的QP形式。接着介绍了...
阅读(7991)评论(1)赞 (4)
红色石头 发布于 2018-07-25
本节课主要介绍了Kernel Support Vector Machine。首先,我们将特征转换和计算内积的操作合并到一起,消除了矩阵内积复杂的影响,提高了计算速度。然后,分别推导了Polynomial Kernel和Gaussian Kernel,并列举了各自的优缺点并做了比较...
阅读(7653)评论(0)赞 (3)
红色石头 发布于 2018-07-25
本节课主要介绍了SVM的另一种形式:Dual SVM。Dual SVM的推导过程是通过引入拉格朗日因子,将SVM转化为新的非条件形式;然后,利用QP,得到最佳解的拉格朗日因子;再通过KKT条件,计算得到对应的w和b。最终求得fattest hyperplane。...
阅读(9284)评论(0)赞 (4)
红色石头 发布于 2018-07-25
本节课主要介绍了线性支持向量机(Linear Support Vector Machine)。我们先从视觉角度出发,希望得到一个比较“胖”的分类面,即满足所有的点距离分类面都尽可能远。然后,我们通过一步步推导和简化,最终把这个问题转换为标准的二次规划(QP)问题。二次规划问题可以...
阅读(14650)评论(0)赞 (17)