一种基于互信息的规则约简方法
1) 计算 C 的 D 约简 得到 C0={solar，volcanic}是 C 的 D 约简。 2)提取规则： (1)
通过计算决策属性等价类相对于 U/ C0 的下近似，得到不确定性规则。 ① (Solar
Energy，medium) (Volcanic Activity，high) → (Temperature，high) /1； ② (Solar
Energy，high) (Volcanic Activity，high) → (Temperature，high) /2，5； ③ (Solar
Energy，high) (Volcanic Activity，low) →(Temperature，high) /7； ④ (Solar Energy，
low) (Volcanic Activity，low) →(Temperature，low) /4； ⑤ (Solar Energy，
low) (Volcanic Activity，high) →(Temperature，low) /8。 (2)通过计算决策属性等价类
相对于约简 U/C0 的边界，得到不确定性规则。 ① (Solar Energy，medium) (Volcanic
Activity，low) →(Temperature，high)；/3 ② (Solar Energy，medium) (Volcanic
Activity，low) →(Temperature，low)；/6。 3)计算表 1 中决策属性 Temperature 的信息
熵 约简属性 solar，volcanic 的互信息： H(D)=-1* (130/270 *
log2(130/270)+140/270* log2(140/270)) = 属性 Solar Energy 的条件熵：
H(D|C1)=-1 * (110/270) * ( 110/110)* log2(110/110) -1 * (20/270)* 20/20*
log2(20/20) -1*(140/270)*(140/140) * log2(140/140) =0 属性 Volcanic Activity 的条
件熵： H(D|C2)=-1 * 140/270 * (120/140 * log2(120/140)+ 20/140 *
log2(20/140))-1 * 130/270 * (120/130 log2(120/130)+ 10/130 * log2(10/130)
)= 两属性的互信息为： Gain(Solar Energy )=(Volcanic Activity)=
因为 solar 互信息大，相对决策重要，Volcanic 小，所以先考虑规则中删除 Volcanic 属
性值，当删除 Volcanic，若 Solar Energy 为 high 时，规则集合中没有产生冲突规则；若
Solar Energy 为 low 也没有产生冲突规则，所以对应的规则简化为： (Solar Energy，
high) →(Temperature，high)； (Solar Energy，low) →(Temperature，low)； 当删除
Volcanic，若 Solar Energy 为 medium，决策属性 d 值是 high 和 low，产生冲突规则，所
以当 Solar Energy，medium，Volcanic Activity 值不能删除。 由此最终得到的简化规则
集： ① (Solar Energy，medium) (Volcanic Activity，high) →(Temperature，
high) ② (Solar Energy，high) →(Temperature，high) ③ (Solar Energy，low)
→(Temperature，low) ④ (Solar Energy，medium) (Volcanic Activity，low)
→(Temperature，high) ⑤ (Solar Energy，medium) (Volcanic Activity，low)
→(Temperature，low) 5 结论 本文介绍了粗糙集与信息熵之间的关系，给出
了一种基于粗糙集 理论 和信息论相结合的数据挖掘 方法 ，把信息论 应用 于决策信息系
统简化规则集中，实验表明该算法能够获得令人满意的最简规则集。 参考 文献 [1]
Pawlak Z. Rough sets(J). International Journal of Computer and Information Science，
1982，11 (5)：341～356 [2] SHANNON CE. The mathematical theory of
communication [J ]. The Bell System Technical Journal，1948，27 (3 /4)：373 - 423.[3]
L IANG JY，CH IN KS，DANG CY，et al. A new method for measuring uncertainty and
fuzziness in rough set theory [ J ]. International Journal of General Systems，2002，31
(4)：331 - 342.[4] 张文修，吴伟志. 粗糙集理论介绍和 研究 综述[J ] . 模糊系统与数学
，2000，15 (4)：1-12. [5] Pawlak Z. Rough sets and intelligent data analysis (J).
International Journal of Computer and Information Science，2002，147：1-12
