深度学习基础学习笔记深度学习的引出

课程：中国大学Mooc《深度学习基础》哈尔滨工业大学，刘远超

深度学习的引出

目录

1. 什么是机器学习

2. 从简单线性分类器到深度学习（一）

3. 从简单线性分类器到深度学习（二）

4. 什么是深度学习？

1. 什么是机器学习

举例：假设有两类数据，分别对应下图中两种不同类型的点，每个点的横纵坐标x和y已知，每个点对应的类别也已知，那么我们能否找到一种自动的方法来将两类数据分开呢？这是一个分类问题。

（1）首先会考虑找到一条直线将其分开，直线表达式为y = f(x) = w1x+w0，则这个直线就是我们为这个分类问题所假设的模型，（机器学习中的模型可以通俗的理解为函数）；

（2）下一步要确定其中的两个权重w1,w0的具体取值，这样这条直线的位置才能确定，

（本例中的权重通常在机器学习中被称为模型参数，简称参数，参数是指模型可以根据训练数据通过学习自动确定其取值的变量）

本例中这条直线怎么画取决于图中两类数据点的分布情况，因此需要利用图中这些数据点来确定w1和w0的取值，这个过程在机器学习中被称为模型的训练。

（可见训练过程通常要利用到已明确分类结果的样本数据集（训练集），训练的过程实质上是求解模型的参数的过程）

（3）最后假设已经通过训练学习得到了权重w1和w0的最终的取值，从而这条直线的位置得以最终确定。

这就相当于经过训练为机器学习中模型的每个参数都找到了最终的明确的取值。

最终训练好的模型的用途：

假设有一个新的未知分类结果的数据点，我们就需要利用最终训练好的模型来对该测试数据进行分类/判别得到结果，就可以判断其属于哪一个类

还可以用曲线来进行分类，函数的表达式可能是类似多项式的表达式；在更为复杂的高维空间中还可能用曲面来进行分类；但机器学习过程大体类似。

机器学习一般性定义如下：

机器学习是对研究问题进行模型假设，利用计算机从训练数据中学习得到模型参数。并最终对数据进行预测和分析的一门学科。

2. 从简单线性分类器到深度学习（一）

问题：根据繁华程度(x1)、交通便利度(x2)、与市中心距离(x3)、楼层(x4)预测房价的高低：

以下就是采用简单线性分类器的方法。

我们可以采用简单的线性分类器及简单的加权计算的方式来判断房价高低，可以画出如下关系图：

其中x1,x2,x3,x4表示输入，W表示由各个分量的权重w1,w2,w3,w4构成的向量，y为输出

根据此图，可以写出如下公式：

公式中f函数的作用是如果括号内的加权求和的结果大于或等于阈值预期，则输出1，表示房价较高，否则输出0，表示房价较低；

以上就是采用简单线性分类器的方法。

3. 从简单线性分类器到深度学习（二）

对于同样的问题，如果采用深度学习的方法解决，

以最简单的深度学习模型为例，通常是在线性模型中间加上若干中间层，比如下图增加了一个中间层。

（1）这个中间层有三个节点，h1,h2,h3，此时对于输入样本X的四个分量x1,x2,x3,x4，中间层三个节点取值的计算方法分别如上图右边三个公式所示，

其中U是参数，其含义是从输入层节点到中间层节点之间连线的权重，我们看到U实际上是一个参数矩阵，例如其中的元素U12表示h1和x2之间的连线的权重。

（2）然后从中间层的三个节点来计算y，该公式和上面线性分类器的公式很类似，可见深度学习的特点是增加了中间层；

可以看到本例中样本X在输入时有四个特征，经过中间层处理变成了三个特征，因此深度学习的另外一个特点是通过组合低层特征形成了更加抽象的高层特征；

而这个模型中的U，W等参数的取值需要在训练中通过反向传播来进行多次的迭代调整，以便使得整体的分类误差最小；

此外，本例中给出的只有一个中间层，多数的深度学习网络往往具有多个中间层（隐藏层），且网络结构更复杂。

4. 什么是深度学习？

• 一种实现机器学习的技术，是机器学习重要的分支
• 源于人工神经网络的研究，深度学习的模型结构是一种含多隐藏层的神经网络。
• 通过组合低层特征形成更加抽象的高层特征