标签：林轩田 第3页

红色石头 发布于 2018-07-24

本节课主要介绍了Regularization。首先，原来的hypothesis set加上一些限制条件，就成了Regularized Hypothesis Set。加上限制条件之后，我们就可以把问题转化为Eaug最小化问题，即把w的平方加进去。这种过程，实际上回降低VC Dime...

阅读(9837)评论(0)赞 (5)标签：机器学习 / 林轩田 / 正则化 / 过拟合

红色石头 发布于 2018-07-24

本节课主要介绍了过拟合的概念，即当E_in很小，E_out很大的时候，会出现overfitting。详细介绍了overfitting发生的四个常见原因data size N、stochastic noise、deterministic noise和excessive power。...

阅读(8267)评论(0)赞 (2)标签：机器学习 / 林轩田 / 过拟合

红色石头 发布于 2018-07-24

这节课主要介绍了非线性分类模型，通过非线性变换，将非线性模型映射到另一个空间，转换为线性模型，再来进行线性分类。本节课完整介绍了非线性变换的整体流程，以及非线性变换可能会带来的一些问题：时间复杂度和空间复杂度的增加。最后介绍了在要付出代价的情况下，使用非线性变换的最安全的做法，尽...

阅读(8673)评论(0)赞 (5)标签：机器学习 / 林轩田 / 特征转换

红色石头 发布于 2018-07-24

本节课主要介绍了分类问题的三种线性模型：linear classification、linear regression和logistic regression。首先介绍了这三种linear models都可以来做binary classification。然后介绍了比梯度下降算法...

阅读(9378)评论(1)赞 (4)标签：机器学习 / 林轩田 / 逻辑回归

红色石头 发布于 2018-07-24

我们今天介绍了Logistic Regression。首先，从逻辑回归的问题出发，将P(+1|x)作为目标函数。接着，我们定义了logistic regression的err function，称之为cross-entropy error交叉熵误差。然后，我们计算logistic...

阅读(11050)评论(0)赞 (3)标签：机器学习 / 林轩田 / 逻辑回归

红色石头 发布于 2018-07-24

本节课，我们主要介绍了Linear Regression。首先，我们从问题出发，想要找到一条直线拟合实际数据值；然后，我们利用最小二乘法，用解析形式推导了权重w的closed-form解；证明了linear regression是可以进行机器学习的；最后，我们证明linear r...

阅读(10265)评论(0)赞 (5)标签：机器学习 / 林轩田 / 线性回归

红色石头 发布于 2018-07-24

本节课主要讲了在有Noise的情况下，即数据集按照P(y|x)概率分布，那么VC Dimension仍然成立，机器学习算法推导仍然有效。机器学习cost function常用的Error有0/1 error和squared error两类。实际问题中，对false accept和...

阅读(11363)评论(0)赞 (6)标签：机器学习 / 林轩田

红色石头 发布于 2018-07-24

本节课主要介绍了VC Dimension的概念就是最大的non-break point。然后，我们得到了Perceptrons在d维度下的VC Dimension是d+1。接着，我们在物理意义上，将VC Dimension与自由度联系起来。最终得出结论VC Dimension不能...

阅读(11350)评论(0)赞 (6)标签：机器学习 / 林轩田

红色石头 发布于 2018-07-24

上一节课，我们主要探讨了当M的数值大小对机器学习的影响。如果M很大，那么就不能保证机器学习有很好的泛化能力，所以问题转换为验证M有限，即最好是按照多项式成长。然后通过引入了成长函数m_H(N)和dichotomy以及break point的概念，提出2D perceptrons的...

阅读(14585)评论(0)赞 (10)标签：机器学习 / 林轩田

红色石头 发布于 2018-07-23

本节课，我们更深入地探讨了机器学习的可行性。我们把机器学习拆分为两个核心问题。对于第一个问题，我们探讨了M个hypothesis到底可以划分为多少种，也就是成长函数。并引入了break point的概念，给出了break point的计算方法。下节课，我们将详细论证对于2D pe...

阅读(13846)评论(4)赞 (8)标签：机器学习 / 林轩田