在炼丹过程中，为了减少训练所需资源，MLer 有时会将大型复杂的大模型蒸馏为较小的模型，同时还要保证与压缩前相当的结果。这就是知识蒸馏，一种模型压缩 / 训练方法。 不过随着技术发展，大家也逐渐将蒸馏的对象扩展到了数据集上。这不，谷歌最近就提出了