特征建模之FiBiNet

FiBiNet: Combine Feature importance and Bilinear feature Interaction for Click-Through Rate Prediction https://arxiv.org/abs/1905.0943

一、特征建模的重要性

推荐领域的深度CTR模型中的参数主要由两部分构成&＃xff1a;特征Embedding参数和MLP层参数&＃xff0c;假设模型中有1亿个特征&＃xff0c;Embedding的维度是10维&＃xff0c;MLP包括三层FC&＃xff0c;神经元个数是1024/512/256&＃xff0c;那么我们可以算出两部分的参数量分别是&＃xff1a;

• 特征Embedding参数: 1亿*10 &＃61; 10亿
• MLP的参数: 1024*512*256 &＃61; 1.3亿

可以看出特征Embeding参数占比达到90%&＃43;&＃xff0c;巨大的特征参数量是导致CTR模型容易过拟合的主要原因。同时值得考虑的是&＃xff0c;这10亿个参数都是有用的么&＃xff1f;不同的特征Embedding的重要程度一样么&＃xff1f;如果答案是否定的&＃xff0c;那应该如何入筛选对模型更有益的特征&＃xff0c;如何度量每个特征的重要程度&＃xff1f;

微博提出的FiBiNet系列模型就给出了解决上述问题的一种可行方案。

二、FiBiNet理论

为了解决业界现有模型存在的两个问题(一是没有度量CTR模型中特征的重要性&＃xff0c;二是简单的使用inner product 或者 Hadamard product 无法很好的进行特征交叉)&＃xff0c;FiBiNet中设计了两个子网络&＃xff0c;分别是建模特征重要性的SENet模块和建模特征交叉的Bilinear-Interaction Layer。

(一)、SENet

SENet: Squeeze-and-Excitation Networks &＃xff0c;https://arxiv.org/abs/1709.01507

SENet最初是在CV领域被提出&＃xff0c;因其轻量化且具备显著的有效性被广泛应用。该模块重点关注了不同channel之间的关系&＃xff0c;学习不同channel对最终预测的重要程度&＃xff0c;对于CNN网络过程中的特征图U&＃xff0c;SENet模块主要进行以下三步操作&＃xff1a;

1. Squeeze: 输入通道数为C的U&＃xff0c;对每个cnannel 进行max pooling&＃xff0c;选取最大值这一统计特征表征一个channel, 最终输出1 X 1 X C的张量。
2. Excitation: 类似门控机制&＃xff0c;使用两个FC层学习通道级别的权重&＃xff0c;每个weight的含义可以理解维对应通道在最终预测时的重要度。
3. Re-scale: 将求解的权重与最初的输入U相乘&＃xff0c;得到加权后的输出。

借鉴该模块的设计思想&＃xff0c;在推荐任务中考虑引入一个类似的门控系统&＃xff0c;能够实现"系统预测不重要的特征的权重趋近于0&＃xff0c;预测重要特征的权重越大越好"&＃xff0c;通过这种方式对特征重要性建模&＃xff0c;使模型可以忽略掉低频特征、不重要特征的负面影响&＃xff0c;对高频特征进行更好的建模。

下图是FiBiNet中的SENet模块&＃xff0c;模块输入是所有的特征embedding [e1 e2 ... ef]&＃xff0c;输出是乘以特征权重后的weighted embeding [v1 v2 ... vf]&＃xff0c;具体过程为:

1. Squeeze: 这一步的目的是得到每个特征embedding的统计值特征。采用mean pooling的方式选取每个特征的统计值特征zi&＃xff0c;假设输入有f个slot&＃xff0c;那么这一步输出shape为1 X f的张量。
2. Excitation&＃xff1a;这一步的目的是学习每个特征的权重。通过双层MLP网络对第一步输出的张量进行变换&＃xff0c;将其映射到最终的权重特征空间&＃xff0c;为了避免过拟合&＃xff0c;往往会通过超参数r将第一个FC层设计为窄网络&＃xff0c;将第二个FC设计为宽网络。同时采用ReLU激活函数打压不重要的特征&＃xff0c;最终输出权重张量 [w1 w2 ... wf] 。 

根据上述原理可以看出&＃xff0c;推荐系统中SENet的本质是对离散特征做field-wise加权。

(二)、Bilinear-Interaction Layer

为了更好的建模特征交叉&＃xff0c;FiBiNet在任意两个特征进行交互时引入一个新的参数矩阵W&＃xff0c;通过这个参数矩阵更精细地表征交互过程。具体来说&＃xff0c;先计算特征vi和W的内积得到中间结果z&＃xff0c;然后计算z与vj的哈达玛乘积(逐元素相乘)得到双线性交叉的结果。

假设有f个slot/field, 特征embedding的维度是k, 实现Bilinear-Interaction Layer时有三种不同形式。

 1.Field-All Type

• 

  借用王树森老师的图总结一下FiBiNet的设计&＃xff1a;

  1. RecSys中&＃xff0c;首先将离散特征embed化&＃xff0c;每个离散特征对应一个K维的embedding向量&＃xff0c;得到embeding矩阵M&＃xff1b;

  2. 在原有DNN结构基础上&＃xff0c;FiBiNet新增了红框中的子网络结构&＃xff1a;

    a. 直接把M所有的特征Embeding拼接&＃xff0c;产出张量A;

    b. 对M中所有特征进行Bilinear运算&＃xff0c;产出张量B;

    c. 先将M中所有特征进行SENet运算&＃xff0c;然后再通过Bilinear运算&＃xff0c;产出张量C。

  3. 将A、B、C与连续特征拼接到一起&＃xff0c;作为上层网络的输入。

  三、FiBiNet实践

  基于paddle框架实现了FiBiNet&＃xff0c;这里主要给出SENet和Bilinear interaction Layer两个模块的的实现代码。

  (一)、SENet

  def _senet(self, all_emb, reduction_ratio&＃61;3):"""Func:implementation of senetArgs:all_emb: a lod tensor, shape is (-1 slot_nums, embed_dim)reduction_ratio: integer, the ratio of fcOutput:a lod tensor, shape is (-1 slot_nums, embed_dim)"""slot_nums &＃61; all_emb.shape[1] # 获取特征个数fc_unit &＃61; max(1, slot_nums // reduction_ratio) # 计算FC层的神经元个数################## squeeze ##################squeeze_emb &＃61; layers.reduce_mean(all_emb, dim&＃61;-1) # (-1, slot_nums, 1)falten_emb &＃61; layers.flatten(squeeze_emb) # (-1, slot_nums) print(&＃39;feature nums is &＃39; &＃43; str(slot_nums))print(&＃39;falten_emb shape is:&＃39; &＃43; str(falten_emb.shape))################## excitation ##################weight &＃61; layers.fc(input&＃61;falten_emb, size&＃61;fc_unit, act&＃61;&＃39;relu&＃39;,param_attr &＃61;fluid.ParamAttr(learning_rate&＃61;1.0,initializer&＃61;fluid.initializer.NormalInitializer(loc&＃61;0.0, scale&＃61;self._init_range / (slot_nums ** 0.5)),name&＃61;"se_w_1"),bias_attr &＃61;fluid.ParamAttr(learning_rate&＃61;1.0,initializer&＃61;fluid.initializer.NormalInitializer(loc&＃61;0.0, scale&＃61;self._init_range / (slot_nums ** 0.5)),name&＃61;"se_b_1")) # (-1, fc_unit)weight &＃61; layers.fc(input&＃61;weight, size&＃61;slot_nums, act&＃61;&＃39;relu&＃39;,param_attr &＃61;fluid.ParamAttr(learning_rate&＃61;1.0,initializer&＃61;fluid.initializer.NormalInitializer(loc&＃61;0.0, scale&＃61;self._init_range / (fc_unit ** 0.5)),name&＃61;"se_w_2"),bias_attr &＃61;fluid.ParamAttr(learning_rate&＃61;1.0,initializer&＃61;fluid.initializer.NormalInitializer(loc&＃61;0.0, scale&＃61;self._init_range / (fc_unit ** 0.5)),name&＃61;"se_b_2")) # (-1, slot_nums)################## re_weight ##################out &＃61; layers.elementwise_mul(all_emb, layers.unsqueeze(weight, axes&＃61;[2])) # (-1, slot_nums, embed_dim) * (-1, slot_nums, 1)print(&＃39;senet out shape is: &＃39; &＃43; str(out.shape)) # (-1 slot_nums embed_dim)return out

  (二)、Bilinear Interaction Layer

  def _bilinear_interaction_layer(self, all_emb, mode):"""Func:implementation of bilinear interaction layerArgs:all_emb: an embedding which has concated all embed , shape is (-1, slot_nums, embed_dim)"""slot_nums &＃61; all_emb.shape[1]embed_dim &＃61; all_emb.shape[2]emb_list &＃61; layers.split(all_emb, num_or_sections&＃61;slot_nums, dim&＃61;1)emb_list &＃61; [layers.squeeze(emb, axes&＃61;[1]) for emb in emb_list] # list, ele shape is (-1 embed_dim)if mode &＃61;&＃61; "field_all":# 构建一个共享的参数矩阵W &＃61; layers.create_parameter(shape&＃61;[embed_dim, embed_dim], dtype&＃61;&＃39;float32&＃39;)# 先计算点积vidots &＃61; [layers.matmul(emb, W) for emb in emb_list] # (-1 embed_dim)# 计算Hadamard Productp_ij &＃61; [fluid.layers.elementwise_mul(vidots[i], emb_list[j])for i, j in itertools.combinations(range(slot_nums), 2)] # (-1 embed_dim)output &＃61; layers.concat(p_ij, axis&＃61;-1) # (-1 embed_dim * slot_nums)return outputelif mode &＃61;&＃61; "field_each":# 构建参数矩阵&＃xff0c;数量与slot_nums保持一致W_list &＃61; [layers.create_parameter(shape&＃61;[embed_dim, embed_dim], dtype&＃61;&＃39;float32&＃39;) for _ in range(slot_nums)]# 计算点积vidots &＃61; [layers.matmul(emb_list[1], W_list[i]) for i in range(slot_nums)]# 计算 Hadamard productp_ij &＃61; [layers.elementwise_mul(vidots[i], emb_list[j])for i, j in itertools.combinations(range(slot_nums), 2)] # (-1 embed_dim)output &＃61; layers.concat(p_ij, axis&＃61;-1) # (-1 embed_dim * slot_nums)return outputelif mode &＃61;&＃61; "field_interaction":W_list &＃61; [layers.create_parameter(shape&＃61;[embed_dim, embed_dim], dtype&＃61;&＃39;float32&＃39;) for _, _ in itertools.combinations(range(slot_nums), 2)]p_ij &＃61; [layers.elementwise_mul(layers.matmul(v[0], w), v[1])for v, w in zip(itertools.combinations(emb_list, 2), self.W_list)]else:raise NotImplementedError
  

  三、FiBiNet存在的问题

         原文中把所有的特征embedding都进行双线性特征交叉&＃xff0c;这一部分会带来巨大的参数量&＃xff0c;也导致线上推理时长和内存存储的增加&＃xff0c;因此在实现时&＃xff0c;可以根据具体业务&＃xff0c;选择出必要的特征进行交叉。