机器学习基础篇:支持向量机(SVM)理论与实践
6红色石头 发布于 2021-08-20
什么是支持向量机(SVM)? 支持向量机 (SVM) 是一种相对简单的监督机器学习算法,用于解决分类或回归问题。它更适合分类,但有时对回归也非常有用。 SVM算法的本质是在不同的数据类型之间找到一个超平面来创建边界。在二维空间中,这个超平面是一条直线。 在 SVM算法中,我们在 ...
阅读(73197)评论(0)赞 (9)
红色石头 发布于 2021-08-20
什么是支持向量机(SVM)? 支持向量机 (SVM) 是一种相对简单的监督机器学习算法,用于解决分类或回归问题。它更适合分类,但有时对回归也非常有用。 SVM算法的本质是在不同的数据类型之间找到一个超平面来创建边界。在二维空间中,这个超平面是一条直线。 在 SVM算法中,我们在 ...
阅读(73197)评论(0)赞 (9)
红色石头 发布于 2018-12-03
支持向量机 SVM,是常见的一种判别方法。在机器学习领域,是一个有监督的学习模型,通常用来进行模式识别、分类以及回归分析。但是想完全掌握 SVM 的理论知识包括 SMO 算法并不容易!红色石头之前在整理 SVM 内容的时候做了一个 PPT,比较清晰完整地介绍了 SVM。主要内容包...
阅读(8730)评论(2)赞 (17)
红色石头 发布于 2018-09-03
谷歌的自动驾驶汽车和机器人研发之路受到很多阻碍,但该公司真正的未来是机器学习,这种技术使计算机变得更加智能和个性化。 —— Eric Schmidt (谷歌主席) 我们可能生活在人类历史上最具决定性的时期。计算机正从大型主机过渡到 PC 再过渡到云计算。但它的定义不是发生了什么,...
阅读(19976)评论(0)赞 (15)
红色石头 发布于 2018-07-25
本节课主要介绍了SVR,我们先通过representer theorem理论,将ridge regression转化为kernel的形式,即kernel ridge regression,并推导了SVR的解。但是得到的解是dense的,大部分为非零值。所以,我们定义新的tube ...
阅读(8008)评论(0)赞 (4)
红色石头 发布于 2018-07-25
本节课主要介绍了Kernel Logistic Regression。首先把Soft-Margin SVM解释成Regularized Model,建立二者之间的联系,其实Soft-Margin SVM就是一个L2-regularization,对应着hinge error me...
阅读(7781)评论(0)赞 (2)
红色石头 发布于 2018-07-25
本节课主要介绍了Soft-Margin SVM。我们的出发点是与Hard-Margin SVM不同,不一定要将所有的样本点都完全分开,允许有分类错误的点,而使margin比较宽。然后,我们根据之前介绍的Dual SVM,推导出了Soft-Margin SVM的QP形式。接着介绍了...
阅读(8772)评论(1)赞 (4)
红色石头 发布于 2018-07-25
本节课主要介绍了Kernel Support Vector Machine。首先,我们将特征转换和计算内积的操作合并到一起,消除了矩阵内积复杂的影响,提高了计算速度。然后,分别推导了Polynomial Kernel和Gaussian Kernel,并列举了各自的优缺点并做了比较...
阅读(8447)评论(0)赞 (3)
红色石头 发布于 2018-07-25
本节课主要介绍了SVM的另一种形式:Dual SVM。Dual SVM的推导过程是通过引入拉格朗日因子,将SVM转化为新的非条件形式;然后,利用QP,得到最佳解的拉格朗日因子;再通过KKT条件,计算得到对应的w和b。最终求得fattest hyperplane。...
阅读(10146)评论(0)赞 (4)
红色石头 发布于 2018-07-25
本节课主要介绍了线性支持向量机(Linear Support Vector Machine)。我们先从视觉角度出发,希望得到一个比较“胖”的分类面,即满足所有的点距离分类面都尽可能远。然后,我们通过一步步推导和简化,最终把这个问题转换为标准的二次规划(QP)问题。二次规划问题可以...
阅读(15762)评论(0)赞 (18)