标签：SVM

红色石头 发布于 2021-08-20

什么是支持向量机（SVM）？ 支持向量机 (SVM) 是一种相对简单的监督机器学习算法，用于解决分类或回归问题。它更适合分类，但有时对回归也非常有用。 SVM算法的本质是在不同的数据类型之间找到一个超平面来创建边界。在二维空间中，这个超平面是一条直线。 在 SVM算法中，我们在 ...

阅读(72804)评论(0)赞 (9)标签：SVM / 机器学习

红色石头 发布于 2018-12-03

支持向量机 SVM，是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。但是想完全掌握 SVM 的理论知识包括 SMO 算法并不容易！红色石头之前在整理 SVM 内容的时候做了一个 PPT，比较清晰完整地介绍了 SVM。主要内容包...

阅读(8301)评论(2)赞 (17)标签：SVM / 机器学习 / 资源

红色石头 发布于 2018-09-03

谷歌的自动驾驶汽车和机器人研发之路受到很多阻碍，但该公司真正的未来是机器学习，这种技术使计算机变得更加智能和个性化。 —— Eric Schmidt (谷歌主席) 我们可能生活在人类历史上最具决定性的时期。计算机正从大型主机过渡到 PC 再过渡到云计算。但它的定义不是发生了什么，...

阅读(19521)评论(0)赞 (15)标签：CatBoost / GBM / k-Means / kNN / LightGBM / SVM / XGBoost / 决策树 / 朴素贝叶斯 / 线性回归 / 逻辑回归 / 随机森林

红色石头 发布于 2018-07-25

本节课主要介绍了SVR，我们先通过representer theorem理论，将ridge regression转化为kernel的形式，即kernel ridge regression，并推导了SVR的解。但是得到的解是dense的，大部分为非零值。所以，我们定义新的tube ...

阅读(7563)评论(0)赞 (4)标签：SVM / 机器学习 / 林轩田 / 逻辑回归

红色石头 发布于 2018-07-25

本节课主要介绍了Kernel Logistic Regression。首先把Soft-Margin SVM解释成Regularized Model，建立二者之间的联系，其实Soft-Margin SVM就是一个L2-regularization，对应着hinge error me...

阅读(7458)评论(0)赞 (2)标签：SVM / 机器学习 / 林轩田 / 逻辑回归

红色石头 发布于 2018-07-25

本节课主要介绍了Soft-Margin SVM。我们的出发点是与Hard-Margin SVM不同，不一定要将所有的样本点都完全分开，允许有分类错误的点，而使margin比较宽。然后，我们根据之前介绍的Dual SVM，推导出了Soft-Margin SVM的QP形式。接着介绍了...

阅读(8391)评论(1)赞 (4)标签：SVM / 机器学习 / 林轩田

红色石头 发布于 2018-07-25

本节课主要介绍了Kernel Support Vector Machine。首先，我们将特征转换和计算内积的操作合并到一起，消除了矩阵内积复杂的影响，提高了计算速度。然后，分别推导了Polynomial Kernel和Gaussian Kernel，并列举了各自的优缺点并做了比较...

阅读(8052)评论(0)赞 (3)标签：SVM / 机器学习 / 林轩田 / 核函数

红色石头 发布于 2018-07-25

本节课主要介绍了SVM的另一种形式：Dual SVM。Dual SVM的推导过程是通过引入拉格朗日因子，将SVM转化为新的非条件形式；然后，利用QP，得到最佳解的拉格朗日因子；再通过KKT条件，计算得到对应的w和b。最终求得fattest hyperplane。...

阅读(9789)评论(0)赞 (4)标签：SVM / 机器学习 / 林轩田

红色石头 发布于 2018-07-25

本节课主要介绍了线性支持向量机（Linear Support Vector Machine）。我们先从视觉角度出发，希望得到一个比较“胖”的分类面，即满足所有的点距离分类面都尽可能远。然后，我们通过一步步推导和简化，最终把这个问题转换为标准的二次规划（QP）问题。二次规划问题可以...

阅读(15330)评论(0)赞 (18)标签：SVM / 机器学习 / 林轩田