林轩田机器学习技法课程学习笔记2 — Dual Support Vector Machine
23红色石头 发布于 2018-07-25
本节课主要介绍了SVM的另一种形式:Dual SVM。Dual SVM的推导过程是通过引入拉格朗日因子,将SVM转化为新的非条件形式;然后,利用QP,得到最佳解的拉格朗日因子;再通过KKT条件,计算得到对应的w和b。最终求得fattest hyperplane。...
阅读(10108)评论(0)赞 (4)
红色石头 发布于 2018-07-25
本节课主要介绍了SVM的另一种形式:Dual SVM。Dual SVM的推导过程是通过引入拉格朗日因子,将SVM转化为新的非条件形式;然后,利用QP,得到最佳解的拉格朗日因子;再通过KKT条件,计算得到对应的w和b。最终求得fattest hyperplane。...
阅读(10108)评论(0)赞 (4)
红色石头 发布于 2018-07-25
本节课主要介绍了线性支持向量机(Linear Support Vector Machine)。我们先从视觉角度出发,希望得到一个比较“胖”的分类面,即满足所有的点距离分类面都尽可能远。然后,我们通过一步步推导和简化,最终把这个问题转换为标准的二次规划(QP)问题。二次规划问题可以...
阅读(15714)评论(0)赞 (18)
红色石头 发布于 2018-07-25
本节课主要介绍了机器学习三个重要的锦囊妙计:Occam's Razor, Sampling Bias, Data Snooping。并对《机器学习基石》课程中介绍的所有知识和方法进行“三的威力”这种形式的概括与总结,“三的威力”也就构成了坚固的机器学习基石。...
阅读(10112)评论(0)赞 (13)
红色石头 发布于 2018-07-24
本节课主要介绍了Validation验证。先从如何选择一个好的模型开始切入,例如使用Ein、Etest都是不太好的,最终使用Eval来进行模型选择。然后详细介绍了Validation的过程。最后,介绍了Leave-One-Out和V-Fold Cross两种验证方法,比较它们各自...
阅读(8900)评论(0)赞 (5)
红色石头 发布于 2018-07-24
本节课主要介绍了Regularization。首先,原来的hypothesis set加上一些限制条件,就成了Regularized Hypothesis Set。加上限制条件之后,我们就可以把问题转化为Eaug最小化问题,即把w的平方加进去。这种过程,实际上回降低VC Dime...
阅读(9515)评论(0)赞 (5)
红色石头 发布于 2018-07-24
本节课主要介绍了过拟合的概念,即当E_in很小,E_out很大的时候,会出现overfitting。详细介绍了overfitting发生的四个常见原因data size N、stochastic noise、deterministic noise和excessive power。...
阅读(7995)评论(0)赞 (2)
红色石头 发布于 2018-07-24
这节课主要介绍了非线性分类模型,通过非线性变换,将非线性模型映射到另一个空间,转换为线性模型,再来进行线性分类。本节课完整介绍了非线性变换的整体流程,以及非线性变换可能会带来的一些问题:时间复杂度和空间复杂度的增加。最后介绍了在要付出代价的情况下,使用非线性变换的最安全的做法,尽...
阅读(8386)评论(0)赞 (5)
红色石头 发布于 2018-07-24
本节课主要介绍了分类问题的三种线性模型:linear classification、linear regression和logistic regression。首先介绍了这三种linear models都可以来做binary classification。然后介绍了比梯度下降算法...
阅读(9091)评论(1)赞 (4)
红色石头 发布于 2018-07-24
我们今天介绍了Logistic Regression。首先,从逻辑回归的问题出发,将P(+1|x)作为目标函数。接着,我们定义了logistic regression的err function,称之为cross-entropy error交叉熵误差。然后,我们计算logistic...
阅读(10783)评论(0)赞 (3)
红色石头 发布于 2018-07-24
本节课,我们主要介绍了Linear Regression。首先,我们从问题出发,想要找到一条直线拟合实际数据值;然后,我们利用最小二乘法,用解析形式推导了权重w的closed-form解;证明了linear regression是可以进行机器学习的;最后,我们证明linear r...
阅读(9934)评论(0)赞 (5)