魔改结构什么时候有效
2024 知乎
刚接触精排模型时总觉得它过于简单：一个多头注意力模块提取行为序列信息，然后与User，Query，Item侧特征Concat后输入一个多层MLP。但是这样一个简单模型，每天却服务于数亿用户。这让刚出校园的我感到很困惑，为什么不试试那些复杂的方法呢，例如DeepCross，xDeepFM，CAN等特征交叉结构；多峰兴趣，长短兴趣，周期兴趣，微观兴趣，异构兴趣等序列建模方法；胶囊网络，记忆网络，层次注意力，循环神经网络等序列抽取结构，类似的博客论文如汗牛充栋，总有一款能取得明显收益吧。在熟悉精排代码的过程中又发现，学习率，优化器，批大小，激活函数，隐层大小等超参数已数年无人修改了，但是在校跑GNN实验这些超参对最终效果的影响还是挺大的。与之相反，诸多小场景的模型却很炫酷，汇报中的效果提升也很显著。