课程笔记 第6页

红色石头 发布于 2018-07-24

这节课主要介绍了非线性分类模型，通过非线性变换，将非线性模型映射到另一个空间，转换为线性模型，再来进行线性分类。本节课完整介绍了非线性变换的整体流程，以及非线性变换可能会带来的一些问题：时间复杂度和空间复杂度的增加。最后介绍了在要付出代价的情况下，使用非线性变换的最安全的做法，尽...

阅读(7794)评论(0)赞 (5)标签：机器学习 / 林轩田 / 特征转换

红色石头 发布于 2018-07-24

本节课主要介绍了分类问题的三种线性模型：linear classification、linear regression和logistic regression。首先介绍了这三种linear models都可以来做binary classification。然后介绍了比梯度下降算法...

阅读(8430)评论(1)赞 (4)标签：机器学习 / 林轩田 / 逻辑回归

红色石头 发布于 2018-07-24

我们今天介绍了Logistic Regression。首先，从逻辑回归的问题出发，将P(+1|x)作为目标函数。接着，我们定义了logistic regression的err function，称之为cross-entropy error交叉熵误差。然后，我们计算logistic...

阅读(10151)评论(0)赞 (3)标签：机器学习 / 林轩田 / 逻辑回归

红色石头 发布于 2018-07-24

本节课，我们主要介绍了Linear Regression。首先，我们从问题出发，想要找到一条直线拟合实际数据值；然后，我们利用最小二乘法，用解析形式推导了权重w的closed-form解；证明了linear regression是可以进行机器学习的；最后，我们证明linear r...

阅读(9220)评论(0)赞 (5)标签：机器学习 / 林轩田 / 线性回归

红色石头 发布于 2018-07-24

本节课主要讲了在有Noise的情况下，即数据集按照P(y|x)概率分布，那么VC Dimension仍然成立，机器学习算法推导仍然有效。机器学习cost function常用的Error有0/1 error和squared error两类。实际问题中，对false accept和...

阅读(10482)评论(0)赞 (6)标签：机器学习 / 林轩田

红色石头 发布于 2018-07-24

本节课主要介绍了VC Dimension的概念就是最大的non-break point。然后，我们得到了Perceptrons在d维度下的VC Dimension是d+1。接着，我们在物理意义上，将VC Dimension与自由度联系起来。最终得出结论VC Dimension不能...

阅读(10456)评论(0)赞 (6)标签：机器学习 / 林轩田

红色石头 发布于 2018-07-24

上一节课，我们主要探讨了当M的数值大小对机器学习的影响。如果M很大，那么就不能保证机器学习有很好的泛化能力，所以问题转换为验证M有限，即最好是按照多项式成长。然后通过引入了成长函数m_H(N)和dichotomy以及break point的概念，提出2D perceptrons的...

阅读(13693)评论(0)赞 (10)标签：机器学习 / 林轩田

红色石头 发布于 2018-07-23

本节课，我们更深入地探讨了机器学习的可行性。我们把机器学习拆分为两个核心问题。对于第一个问题，我们探讨了M个hypothesis到底可以划分为多少种，也就是成长函数。并引入了break point的概念，给出了break point的计算方法。下节课，我们将详细论证对于2D pe...

阅读(12593)评论(4)赞 (8)标签：机器学习 / 林轩田

红色石头 发布于 2018-07-23

上节课，我们主要介绍了根据不同的设定，机器学习可以分为不同的类型。其中，监督式学习中的二元分类和回归分析是最常见的也是最重要的机器学习问题。本节课，我们将介绍机器学习的可行性，讨论问题是否可以使用机器学习来解决。 一、Learning is Impossible 首先，考虑这样一...

阅读(11799)评论(0)赞 (25)标签：机器学习 / 林轩田

红色石头 发布于 2018-07-23

本节课主要介绍了机器学习的类型，包括Out Space、Data Label、Protocol、Input Space四种类型。...

阅读(10964)评论(0)赞 (8)标签：机器学习 / 林轩田