补偿性专题
pytorch dropout 置零 + 补偿性放缩
一句话概括：（训练过程中）Dropout 操作 = 随机置零 + 非置零元素进行后补偿性放缩。以保证dropout前后数据scale不变。 详细解释(来自chatgpt): 在 PyTorch 中，dropout 的操作不仅仅是将某些元素置零。为了确保期望输出在训练和测试时保持一致，当应用 dropout 时，被保留的元素会按 (1 / (1 - p)) 进行缩放，其中 p 是 dropout
pytorch dropout 置零 + 补偿性放缩
一句话概括：（训练过程中）Dropout 操作 = 随机置零 + 非置零元素进行后补偿性放缩。以保证dropout前后数据scale不变。 详细解释(来自chatgpt): 在 PyTorch 中，dropout 的操作不仅仅是将某些元素置零。为了确保期望输出在训练和测试时保持一致，当应用 dropout 时，被保留的元素会按 (1 / (1 - p)) 进行缩放，其中 p 是 dropout