红色石头的个人博客林轩田机器学习技法课程学习笔记5 — Kernel Logistic Regression
20红色石头 发布于 2018-07-25
本节课主要介绍了Kernel Logistic Regression。首先把Soft-Margin SVM解释成Regularized Model，建立二者之间的联系，其实Soft-Margin SVM就是一个L2-regularization，对应着hinge error me...
阅读(4841)评论(0)赞 (2)
标签：机器学习 第10页
林轩田机器学习技法课程学习笔记4 — Soft-Margin Support Vector Machine
19红色石头 发布于 2018-07-25
本节课主要介绍了Soft-Margin SVM。我们的出发点是与Hard-Margin SVM不同，不一定要将所有的样本点都完全分开，允许有分类错误的点，而使margin比较宽。然后，我们根据之前介绍的Dual SVM，推导出了Soft-Margin SVM的QP形式。接着介绍了...
阅读(5625)评论(0)赞 (3)
林轩田机器学习技法课程学习笔记3 — Kernel Support Vector Machine
23红色石头 发布于 2018-07-25
本节课主要介绍了Kernel Support Vector Machine。首先，我们将特征转换和计算内积的操作合并到一起，消除了矩阵内积复杂的影响，提高了计算速度。然后，分别推导了Polynomial Kernel和Gaussian Kernel，并列举了各自的优缺点并做了比较...
阅读(5422)评论(0)赞 (3)
林轩田机器学习技法课程学习笔记2 — Dual Support Vector Machine
23红色石头 发布于 2018-07-25
本节课主要介绍了SVM的另一种形式：Dual SVM。Dual SVM的推导过程是通过引入拉格朗日因子，将SVM转化为新的非条件形式；然后，利用QP，得到最佳解的拉格朗日因子；再通过KKT条件，计算得到对应的w和b。最终求得fattest hyperplane。...
阅读(6978)评论(0)赞 (4)
轩田机器学习技法课程学习笔记1 — Linear Support Vector Machine
22红色石头 发布于 2018-07-25
本节课主要介绍了线性支持向量机（Linear Support Vector Machine）。我们先从视觉角度出发，希望得到一个比较“胖”的分类面，即满足所有的点距离分类面都尽可能远。然后，我们通过一步步推导和简化，最终把这个问题转换为标准的二次规划（QP）问题。二次规划问题可以...
阅读(11140)评论(0)赞 (17)
林轩田机器学习基石课程学习笔记16（完结） — Three Learning Principles
12红色石头 发布于 2018-07-25
本节课主要介绍了机器学习三个重要的锦囊妙计：Occam's Razor, Sampling Bias, Data Snooping。并对《机器学习基石》课程中介绍的所有知识和方法进行“三的威力”这种形式的概括与总结，“三的威力”也就构成了坚固的机器学习基石。...
阅读(6892)评论(0)赞 (11)
林轩田机器学习基石课程学习笔记15 — Validation
18红色石头 发布于 2018-07-24
本节课主要介绍了Validation验证。先从如何选择一个好的模型开始切入，例如使用Ein、Etest都是不太好的，最终使用Eval来进行模型选择。然后详细介绍了Validation的过程。最后，介绍了Leave-One-Out和V-Fold Cross两种验证方法，比较它们各自...
阅读(5246)评论(0)赞 (5)
林轩田机器学习基石课程学习笔记14 — Regularization
17红色石头 发布于 2018-07-24
本节课主要介绍了Regularization。首先，原来的hypothesis set加上一些限制条件，就成了Regularized Hypothesis Set。加上限制条件之后，我们就可以把问题转化为Eaug最小化问题，即把w的平方加进去。这种过程，实际上回降低VC Dime...
阅读(5952)评论(0)赞 (4)
林轩田机器学习基石课程学习笔记13 — Hazard of Overfitting
14红色石头 发布于 2018-07-24
本节课主要介绍了过拟合的概念，即当E_in很小，E_out很大的时候，会出现overfitting。详细介绍了overfitting发生的四个常见原因data size N、stochastic noise、deterministic noise和excessive power。...
阅读(5057)评论(0)赞 (2)
林轩田机器学习基石课程学习笔记12 — Nonlinear Transformation
17红色石头 发布于 2018-07-24
这节课主要介绍了非线性分类模型，通过非线性变换，将非线性模型映射到另一个空间，转换为线性模型，再来进行线性分类。本节课完整介绍了非线性变换的整体流程，以及非线性变换可能会带来的一些问题：时间复杂度和空间复杂度的增加。最后介绍了在要付出代价的情况下，使用非线性变换的最安全的做法，尽...
阅读(5149)评论(0)赞 (4)
