双塔模型 自监督学习 :双塔模型存在的问题 :推荐系统的头部效应严重 :大部分物品的点击次数不高 ;少部分物品占据大部分点击 ;高点击物品的表征学得好 , 长尾物品(曝光和点击次数太少 , 训练的数目不够) 的表征学的不好 .比较好的解决方法 : 自监督学习做date augmentation , 更好地学习长尾物品的向量表征 .自监督学习 : (训练物品塔)两个不同的物品 i , j , 经过两种不同的变换方式 , 得到两种特征 , 之后经过同一个物品塔(共享参数) 的处理 , 每个物品最终输出两个向量表征 . (由于使用了不同的向量变换 , 因此输出的两个向量表征并不是完全相同的 , ) 因为两个向量是同一个物品的表征 , 因此若物品塔足够好 , 两个向量应该有很高的相似度 , 因此在训练时 , 会鼓励两个向量的余弦相似度尽可能高, 而不同物品的向量的相似度则要尽可能的离得远 , 也就是说不同物品的向量要尽可能地分散开 , 处在不同的区域 .自监督学习使用的特征变换 :1.Random Mask : 随机选出一些离散特征(比如类目) , 把他们遮住 .例如 :某物品的类目特征是 u {数码 , 摄影 }经过Mask后的类目特征是 u {default} . ( 即整个类目的特征被直接丢掉 )2.Dropout ( 仅对多值离散特征生效)一个物品可以有多个类目 , 那么类目是一个多值离散特征 .Dropput是指 随机丢弃特征中的50%的值 .例如 :某物品的类目特征是 u { 美妆 , 摄影}Dropout后的类目特征是 u { 美妆 }3. 互补特征(complementary)假设物品一共有4种特征 :ID , 类目 , 关键词 , 城市之后会随机分成两组 :{ID , 关键词 } 和{类目 ,城市}{ID , default , 关键词 , default} - 物品表征{default , 类目 , default , 城市} - 物品表征 ; 鼓励这两个向量相似 ;4. Mask一组关联的特征 :P(u) : 某特征取值为u的概率 ;P(u ,v) : 某特征取值为u , 另一个特征取值为v , 同时发生的概率 ;通过离线计算特征两两之间的关联 , 用互信息衡量 ;设一共有k种特征 . 离线计算特征两两之间MI , 得到k*k的矩阵 ;随机选择一个特征作为种子 , 找到与该种子最相关的k/2种特征 ;之后会Mask种子及其相关的k/2种 , 保留其余的k/2 种特征 .好处 : 比Random mask , dropout , 互补特征等方法效果更好 ;坏处 : 方法复杂 , 实现的难度大 , 不容易维护 .