Deep & Cross Network for Ad Click Predictions

Arxiv: 1708.05123

这篇文章由Google与Standford合作发表于2017年, 主要贡献在于提出了一个新的CTR预估网络架构, 可以通过网络高效地学习特征的多层交叉表示。

网络结构如下图示:

网络可以看成是分别通过Cross Network和Deep Network来抽取特征, 最后做一个线性融合。两个网络共享相同的输入, 即将离散特征做Embedding之后, 与归一化后的连续特征做Concat, 再分别输入到Cross Network和Deep Network中。Deep Network是常规的前馈网络。Cross Network则包含一层或多层Cross Layer, Cross Layer可以看成是以下函数:

作者证明, l层的Cross Network, 可以拟合特征的任意l+1阶关系。(证明过程符号太多, 看不下去了。

此外, DCN可以看成是对FM的扩展, FM出于性能限制,只能建模两阶的特征交叉关系。

在实现上, Cross Layer的计算效率非常高。 从公式中可以看出,计算复杂度为O(d), 其中d为特征的维度。

Numpy笔记

Комментарии

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×