Opening the black box of Deep Neural Networks via Information Ravid Schwartz-Ziv, Naftali Tishby 本文部分内容待优化重写 引言 互信息(Mutual Information)：是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性，由表示。 如上图所示，是一个完整的DNN内部层关于输入X的马尔科夫链。其中，任何一个输入的表示T，…