平均互信息的三种表达公式

马克思恩格斯著作平均互信息的三种表达公式

平均互信息有三种表达公式:

cusa

1.直接求平均互信息：对于两个离散随机变量X和Y，它们之间的平均互信息H(X,Y)可以用下式计算：

户县八中H(X,Y) = -sum(sum(p(x,y)*log(p(x,y)/(p(x)*p(y)))))

频率控制字其中，p(x,y)是X和Y同时发生的概率，p(x)和p(y)分别是X和Y单独发生的概率，sum是对所有可能的X和Y取和。

2.利用条件概率计算平均互信息：对于两个离散随机变量X和Y，它们之间的平均互信息H(X,Y)可以用下式计算：

H(X,Y) = sum(sum(p(x,y)*log(p(x,y)/p(x|y)*p(y))))

其中，p(x,y)是X和Y同时发生的概率，p(x|y)是在Y发生的条件下X发生的概率，p(y)是Y发生的概率，sum是对所有可能的X和Y取和。

3.利用熵和条件熵计算平均互信息：对于两个离散随机变量X和Y，它们之间的平均互信息H(X,Y)可以用下式计算：

H(X,Y) = H(X) + H(Y) - H(X,Y)魔爽烟

其中，H(X)和H(Y)分别是X和Y的熵，H(X,Y)是X在Y条件下的条件熵。

拓展：除了上述三种表达公式外，还有一种基于词向量的平均互信息计算方法，称为Word2Vec嵌入中的点互信息(PMI)。PMI是基于词出现的概率统计计算出来的，可以得到不同词之间的相似度，进而用于词语的聚类、文本分类等任务中。

无叶涡轮增压器

本文发布于:2024-09-22 10:26:28，感谢您对本站的认可！

标签：互信息概率条件计算聚类文本

留言与评论（共有 0 条评论）