目录 单机多卡并行 数据并行 VS 模型并行 总结 代码实现 从零开始实现 简单网络 向多个设备分发参数 allreduce函数 将一个小批量数据均匀地分布在多个GPU上 训练 简洁实现 训练 单机多卡并行 一台机器可以安装多个GPU（1~16个）在训练和预测时，我们将一个小批量计算切分大多个GPU来达到加速目的常用切分方案有 数据并行模型并行通道并行（数据 + 模

目录 残差网络——ResNet 残差块思想 ResNet块细节 ResNet架构 总结 代码实现 残差块 两种 ResNet 块的情况  ResNet 模型 QA 由上图发现，只有当较复杂的函数类包含较小的函数类时，才能确保提高它们的性能。 对于深度神经网络，如果我们能将新添加的层训练成恒等映射（identity function）f(x)=x，新模型和原模型将同样

目录 GoogLeNet —— 含并行连结的网络 卷积层超参数 Inception块：小学生才做选择，我全要！ 为什么要用Inception块？ GoogLeNet架构 详细展开每个Stage Stage 1 & 2 Stage 3 Stage 4 & 5 Inception 有各种后续变种 总结  代码实现 Inception Block 逐步实现每个Stage

目录 VGG VGG块 VGG架构 总结 模型演变进度 代码实现 QA VGG 上文讲的 AlexNet 虽然证明了深层神经网络卓有成效，但它没有提供一个通用的模板来指导后续的研究人员设计新的网络。  与芯片设计中工程师从放置晶体管到逻辑元件再到逻辑块的过程类似，神经网络架构的设计也逐渐变得更加抽象。研究人员开始从单个神经元的角度思考问题，发展到整个层，现在又转向块，重复层

目录 LeNet  MNIST数据集 LeNet模型图 ​编辑 总结 代码实现：卷积神经网络 LeNet LeNet（LeNet-5）由两个部分组成：卷积编码器核全连接层密集块  检查模型 LeNet  卷积神经网络里面最为著名的一个网络，80年代末提出来的，被广泛应用在银行、邮递行业 用于手写数字识别的一个模型 MNIST数据集 50000个训练数据（在80年