作者:中青33期_840 | 来源:互联网 | 2023-05-17 14:22
觉得有用的话,欢迎一起讨论相互学习~参考文献***上tensorflow实现BN的不同函数的解释最近在运行程序时需要使用到Batchnormalization方法,虽然网上有很多资
觉得有用的话,欢迎一起讨论相互学习~
参考文献
***上tensorflow实现BN的不同函数的解释
最近在运行程序时需要使用到Batch normalization方法,虽然网上有很多资料,但是说法各异而且没有完全准确的,很多使用了Tensorflow中TF.slim高层封装,自己不是很明白。现在我将自己搜集的资料进行整理,便于以后查阅。
关于Batch normalization
Tensorflow中实现BN算法的各种函数
- 在tensorflow中给出了几种实现batch-norm的方法:
-
tf.nn.batch_normalization 是一个低级的操作函数,调用者需要自己处理张量的平均值和方差。
-
tf.nn.fused_batch_norm 是另一个低级的操作函数,和前者十分相似。不同之处在于它针对四维输入张量进行了优化,这是卷积神经网络中的常见情况。而前者tf.nn.batch_normalization则接受任何等级大于1的张量。
-
tf.layers.batch_normalization 是对先前操作的高级包装。最大的不同在于它负责创建和管理运行张量的均值和方差,并尽可能地调用快速融合运算。通常,这个函数应该是你的默认选择。
-
tf.contrib.layers.batch_norm 是 batch norm 的早期实现,其升级的核心API版本为(tf.layers.batch_normalization)。不推荐使用它,因为它可能会在未来的版本中丢失。
-
tf.nn.batch_norm_with_global_normalization 是另一个被弃用的操作,现在这个函数会委托给tf.nn.batch_normalization执行,在未来这个函数会被放弃。
-
keras.layers.BatchNormalization 是BN算法的Keras实现,这个函数在后端会调用Tensorflow中的tf.nn.batch_normalization函数。