python链式计算框架_深度之眼《李飞飞斯坦福CS231n计算机视觉课训练营》第七期】第三周【任务4】学习反向传播...

任务时长&＃xff1a;12/13任务标题&＃xff1a;学习反向传播学习任务&＃xff1a;
1.先观看老师录制的第四讲导学视频&＃xff0c;简单了解斯坦福231n中第四讲所讲内容
2.观看斯坦福CS231n第四讲课程&＃xff08;反向传播部分&＃xff09;任务详解&＃xff1a;
第四讲&＃xff1a;介绍神经网络
9反向传播
计算复杂函数的梯度

• 使用计算图表示复杂的函数&＃xff0c;然后使用链式求导法则求变量的导数(对于简单的复合含数 足够熟悉求求导步骤之后没必要画计算图&＃xff0c;但对于复杂的函数画计算图计算梯度的反向传播会更清晰

举例子求复合函数的导数

• 计算图的优点就是对于很复杂的函数&＃xff0c;可以使用反向传播和链式法则求任何我们需要计算的梯度值

Sigmoid函数求导
Add门&＃xff0c;Max门&＃xff08;梯度路由器&＃xff09;&＃xff0c;Mul门(梯度交换器)

• 梯度在分支汇合的地方会相加
• 向量的梯度与标量有什么不同( 梯度变成了雅克比矩阵)
• F(x)&＃61;Wx的求导
• 乘法运算的前向传播反向传播的api

caffe深度学习框架

• Caffe使用了前向传播和反向传播的框架来定义
• Eg:Caffe中sigmoid convolutional 层的定义

总结&＃xff1a;神经网络非常复杂和庞大&＃xff0c;计算每一个变量的导数写下来是不现实的&＃xff0c;所以使用反向传播算法计算&＃xff0c;反向传播是神经网络的核心技术。
Ps&＃xff1a;计算图 梯度方向传播&＃xff0c;链式求导法则 Add门&＃xff0c;Max门&＃xff0c;Mul门对梯度进行的操作 向量的梯度与标量有什么不同
2017版CS231n课程学习视频B站参考学习地址&＃xff1a;p4:Introduction to Neural Networkhttps://www.bilibili.com/video/av13260183?p&＃61;4&＃xff08;反向传播部分&＃xff09;
老师第四讲导读视频打卡内容:
1. 什么是计算图 &＃xff0c;画出函数(x&＃43;y)z的计算图
1.1计算图被定义为有向图&＃xff0c;其中节点对应于数学运算。 计算图是表达和评估数学表达式的一种方式。
1.2函数g&＃61;(x&＃43;y)z的计算图&＃xff1a;

2. 写出g&＃61;(x&＃43;y)z的链式求导公式
目标&＃xff1a;

令q&＃61;(x&＃43;y)

所以&＃xff1a;

4. sigmoid求导 向量的梯度与标量的梯度有什么不同 F(x)&＃61;Wx的求导

sigmoid求导:

向量梯度&＃xff1a;jacobian matrix

标量梯度&＃xff1a;表达式

5. 编写x*y forward backward函数并运行

作业提交形式:
截图&＃xff08;不少于1张图片&＃xff09;和学习笔记&＃xff08;可以是图片、文字、或者博客链接形式等&＃xff09;打卡截止时间:12/13