##  import torch import torch.nn as nn import torch.nn.functional as F import logging logging.basicConfig(level=logging.INFO, format='%(asctime)s %(levelname)s: %(message)s') # 定义FFN层 class FeedFo

文章目录 前言前馈神经网络数据组织Dataset网络结构训练超参设置 RNN数据组织&Dataset网络结构训练超参设置 注意力网络数据组织&Dataset网络结构Attention部分完整模型 训练部分超参设置 结果与分析训练集Loss测试集PPL 前言 本次实验主要针对前馈神经网络，RNN，以及基于注意力机制的网络学习语言建模任务，并在测试集上计算不同语言模型的PPL P

一、Linear（线性层） 即神经网络的线性层，用于将输入映射到下一层的特征空间。它接受一个输入并与该层的权重的转置相乘。线性层没有激活函数。 公式： y = x*W^T + b，其中 W 是权重矩阵，b 是偏置向量。 pytorch的线性层代码示例如下： import torchimport torch.nn as nn# 定义线性层linear_layer = nn.Linear(in_