红色石头的个人博客红色石头的个人博客

notice GitChat 深度学习极简教程正式上线!《深度学习 Python 入门与实战》

所有文章 第10页

林轩田机器学习技法

林轩田机器学习技法课程学习笔记8 — Adaptive Boosting

33

红色石头 发布于 2018-07-28

本节课主要介绍了Adaptive Boosting。首先通过讲一个老师教小学生识别苹果的例子,来引入Boosting的思想,即把许多“弱弱”的hypotheses合并起来,变成很强的预测模型。然后重点介绍这种算法如何实现,关键在于每次迭代时,给予样本不同的系数u,宗旨是放大错误样...

阅读(1564)评论(3)赞 (0)

林轩田机器学习技法

林轩田机器学习技法课程学习笔记4 — Soft-Margin Support Vector Machine

19

红色石头 发布于 2018-07-25

本节课主要介绍了Soft-Margin SVM。我们的出发点是与Hard-Margin SVM不同,不一定要将所有的样本点都完全分开,允许有分类错误的点,而使margin比较宽。然后,我们根据之前介绍的Dual SVM,推导出了Soft-Margin SVM的QP形式。接着介绍了...

阅读(1745)评论(0)赞 (1)

林轩田机器学习技法

林轩田机器学习技法课程学习笔记3 — Kernel Support Vector Machine

23

红色石头 发布于 2018-07-25

本节课主要介绍了Kernel Support Vector Machine。首先,我们将特征转换和计算内积的操作合并到一起,消除了矩阵内积复杂的影响,提高了计算速度。然后,分别推导了Polynomial Kernel和Gaussian Kernel,并列举了各自的优缺点并做了比较...

阅读(1999)评论(0)赞 (1)

林轩田机器学习技法

林轩田机器学习技法课程学习笔记2 — Dual Support Vector Machine

23

红色石头 发布于 2018-07-25

本节课主要介绍了SVM的另一种形式:Dual SVM。Dual SVM的推导过程是通过引入拉格朗日因子,将SVM转化为新的非条件形式;然后,利用QP,得到最佳解的拉格朗日因子;再通过KKT条件,计算得到对应的w和b。最终求得fattest hyperplane。...

阅读(1622)评论(0)赞 (1)

林轩田机器学习技法

轩田机器学习技法课程学习笔记1 — Linear Support Vector Machine

22

红色石头 发布于 2018-07-25

本节课主要介绍了线性支持向量机(Linear Support Vector Machine)。我们先从视觉角度出发,希望得到一个比较“胖”的分类面,即满足所有的点距离分类面都尽可能远。然后,我们通过一步步推导和简化,最终把这个问题转换为标准的二次规划(QP)问题。二次规划问题可以...

阅读(4986)评论(0)赞 (4)

林轩田机器学习基石

林轩田机器学习基石课程学习笔记16(完结) — Three Learning Principles

12

红色石头 发布于 2018-07-25

本节课主要介绍了机器学习三个重要的锦囊妙计:Occam's Razor, Sampling Bias, Data Snooping。并对《机器学习基石》课程中介绍的所有知识和方法进行“三的威力”这种形式的概括与总结,“三的威力”也就构成了坚固的机器学习基石。...

阅读(2127)评论(0)赞 (3)

林轩田机器学习基石

林轩田机器学习基石课程学习笔记15 — Validation

18

红色石头 发布于 2018-07-24

本节课主要介绍了Validation验证。先从如何选择一个好的模型开始切入,例如使用Ein、Etest都是不太好的,最终使用Eval来进行模型选择。然后详细介绍了Validation的过程。最后,介绍了Leave-One-Out和V-Fold Cross两种验证方法,比较它们各自...

阅读(1594)评论(0)赞 (2)