bpw专题

[论文笔记] BPC(bits per character)和BPW(bits per word)

BPC和BPW都是评估语言模型性能的指标: BPC (Bits-Per-Character)         BPC表示 每个字符的平均编码长度,计算公式为: BPC = 交叉熵损失失/ log(2)         其中交叉熵损失是模型在数据集上的平均负对数似然。 BPC越小,表示模型对数据集的建模能力越强。 BPW (Bits-Per-Word))         BPW表示 每个单