联合熵
物理学术语
联合熵是一集变量之间不确定性的衡量手段。
定义
两个变量 和 的联合信息熵定义为：
其中 和 是 和 的特定值，相应地， 是这些值一起出现的联合概率, 若为0，则定义为0。
对于两个以上的变量，该式的一般形式为：
其中是 的特定值，相应地， 是这些变量同时出现的概率，若为0，则 被定义为0.
性质
大于每个独立的熵
一集变量的联合熵大于或等于这集变量中任一个的独立熵。
少于独立熵的和
一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在和均为统计独立的时候相等。
相关关系
在条件熵的定义中，使用了联合熵
互信息的定义中也出现了联合熵的身影：
在量子信息理论中， 联合熵被扩展到联合量子熵。
参考资料
最新修订时间：2022-08-25 16:02
条目作者
小编
目录
概述
定义
性质
相关关系
参考资料

Copyright©2024 闽ICP备2024072939号-1