我们常常希望将表征知识从一个神经网络转移到另一个神经网络。示例包括将大型网络提炼为较小的网络、将知识从一种感觉模态转移到第二种感觉模态、或者将模型集合集成到单个估计器中。知识蒸馏是解决这些问题的标准方法，它可以最大限度地减少教师和学生网络的概率输出之间的 KL 散度 ...