内积模型的性质
内积模型 p ( y ∣ x ) ∝ e m b ( y ) ⋅ e m b ( x ) p(y|x)\propto emb(y) \cdot emb(x) p(y∣x)∝emb(y)⋅emb(x) 是一种在嵌入学习领域常使用的模型,模型首先得到物品的嵌入,然后通过最大似然估计训练模型参数,模型的学习结果是在嵌入空间中存在共现关系(条件概率较大)的物品相互靠近,不存在共现关系的物品相互远离。
此模型具有以下性质:
- 对称性:
p ( y ∣ x ) = p ( x ∣ y ) p(y|x) = p(x|y) p(y∣x)=p(x∣y)
- 传递性:
当 p ( y 1 ∣ x ) , p ( y 2 ∣ x ) p(y_1|x),p(y_2|x) p(y1∣x),p(y2∣x)取值较大时, p ( y 2 ∣ y 1 ) , p ( y 1 ∣ y 2 ) p(y_2|y_1),p(y_1|y_2) p(y2∣y1),p(y1∣y2)取值也较大;当 p ( y ∣ x 1 ) , p ( y ∣ x 2 ) p(y|x_1),p(y|x_2) p(y∣x1),p(y∣x2)取值较大时, p ( x 2 ∣ x 1 ) , p ( x 1 ∣ x 2 ) p(x_2|x_1),p(x_1|x_2) p(x2∣x1),p(x1∣x2)取值也较大
但一般情况下条件概率并不具有对称性和传递性,因此这是采用内积模型的时候需要重点考虑的问题。