功能：层的批量标准化
定义：
tf.layers.batch_normalization(
inputs,
axis=-1,
momentum=0.99,
epsilon=0.001,
center=True,
scale=True,
beta_initializer=tf.zeros_initializer(),
gamma_initializer=tf.ones_initializer(),
moving_mean_initializer=tf.zeros_initializer(),
moving_variance_initializer=tf.ones_initializer(),
beta_regularizer=None,
gamma_regularizer=None,
beta_constraint=None,
gamma_constraint=None,
training=False,
trainable=True,
name=None,
reuse=None,
renorm=False,
renorm_clipping=None,
renorm_momentum=0.99,
fused=None,
virtual_batch_size=None,
adjustment=None
)
参数：
- inputs：张量输入.
- axis：一个int,应该是规范化的轴(通常是特征轴)；例如,在使用data_format="channels_first"的Convolution2D图层之后,在BatchNormalization中设置axis=1为.
- momentum：移动平均线的动量.
- epsilon：小浮点数添加到方差以避免除以零.
- center：如果为True,则添加beta到规范化张量的偏移量；如果为False,则忽略beta.
- scale：如果为True,则乘以gamma；如果为False,则不使用gamma.当下一层是线性的(例如,nn.relu)时,这可以被禁用,因为缩放可以由下一层完成.
- beta_initializer：beta权重的初始化程序.
- gamma_initializer：gamma权重的初始化程序.
- moving_mean_initializer：移动平均值的初始化程序.
- moving_variance_initializer：移动方差的初始化程序.
- beta_regularizer：β权量的可选正规化器.
- gamma_regularizer：gamma权重的可选正规化器.
- beta_constraint：由Optimizer更新后应用于beta权重的可选投影函数(例如,用于实现层权重的范数约束或值约束).该函数必须将未投影的变量作为输入,并且必须返回投影变量(必须具有相同的形状).在进行异步分布式培训时,使用约束是不安全的.
- gamma_constraint：由Optimizer更新后应用于gamma权量的可选投影功能.
- training：可以是Python布尔值或TensorFlow布尔标量张量(例如,占位符)；表示是否在训练模式下返回输出(使用当前批次的统计数据进行规范化)或在推理模式下(使用移动统计数据规范化)；注意：确保正确设置此参数,否则您的训练/推理将无法正常工作.
- trainable：Boolean,如果为True,也会将变量添加到图集合GraphKeys.TRAINABLE_VARIABLES中(请参阅tf.Variable).
- name：String,图层的名称.
- reuse：Boolean,是否以同一名称重用前一层的权重.
- renorm：是否使用批量重整化(https://arxiv.org/abs/1702.03275).这会在培训期间增加额外的变量 对于此参数的任一值,推断都是相同的.
- renorm_clipping：一个字典,可以将键'rmax','rmin','dmax'映射到用于剪辑重新校正的Tensors标量.校正(r, d)被用作corrected_value = normalized_value * r + d,以r限幅为[RMIN,RMAX],和d为[-dmax,DMAX]；丢失的rmax,rmin,dmax分别设定为inf,0,inf.
- renorm_momentum：动量被用于更新移动平均值和标准偏差,使用renorm；不同于momentum,这会影响训练,既不会太小(会增加噪音)也不会太大(这会产生过时的估计)；请注意,momentum仍然应用于获取推理的均值和方差.
- fused：如果为None或者True,则使用更快、更融合的实现；如果为False,请使用系统推荐的实现.
- virtual_batch_size：一个int,默认情况下,virtual_batch_size是None,这表示在整个批次中执行批量规范化；如果virtual_batch_size不是None,则执行“Ghost Batch Normalization”,创建虚拟子批次,每个子批次分别进行规范化(具有共享的gamma,beta和移动统计数据)；必须在执行期间划分实际批量大小.
- adjustment：一个函数,它包含输入张量(动态)形状的Tensor,并返回一对(scale, bias)以应用于规范化值(在gamma和β之前),仅在训练期间.例如,如果axis == - 1,adjustment = lambda shape: ( tf.random_uniform(shape[-1:], 0.93, 1.07), tf.random_uniform(shape[-1:], -0.1, 0.1))则将规范化值向上或向下缩放7％,然后将结果移动到最多0.1(对每个特征进行独立缩放和偏移,但在所有示例中共享),最后应用gamma或beta；如果为None,不应用调整；如果指定了virtual_batch_size,则无法指定.
返回：
输出张量.
可能引发的异常：
- ValueError：如果启用了急切(eager)执行.
评论 (0)