Francois Chollet：Keras与Tensorflow，下一个5年计划（NVIDIA GTC 21演讲）

本文主要是介绍Francois Chollet：Keras与Tensorflow，下一个5年计划（NVIDIA GTC 21演讲），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在GTC 21上，Keras的创建者Francois Chollet推出了了Keras和Tensorflow的下一个5年计划。我们观看了演讲，将其中的要点摘录如下。

进度循环(Loop of Progress)

AI模型的改善遵循一个循环进步的模型，如下图所示。加速技术进步的最有效方式，是消除循环中的瓶颈。
Loop of Progress
我们仔细考虑一下这个循环中的细节。从构想阶段开始，研究人员需要阅读文献，使用示例代码或自行复现结果，根据现有结果去提出新的假设，选择和调整模型。当模型部署在生产环境中，需要数据工程师版本化代码和模型，检测模型漂移，维护DevOps流水线，实现推理和监视性能。此阶段生成的高速数据，必须存储在实时数据库中，并使用Tensorboard等工具进行可视化，根据结果去修订之前的假设。这个过程不仅非常繁琐，而且还需要多领域的专业知识，对于较小的团队而言，这可能是不现实的。

Keras

Keras and TF

Keras是旨在使深度学习框架更易于访问的一个前端工具。它最初是为Tensorflow编写的，但今天也可以兼容Pytorch，Theano等。与软件业中常见的，以牺牲访问较低级别的API的自由为代价的封装方式不同，Keras应用了Chollet的“渐进的复杂性披露(Progressive Disclosure of Complexity)”哲学：逐渐提高的抽象层级服务不同角色和专业水平的用户。机器学习工作流程的不同阶段也可以分别定制不同的复杂度，例如，数据科学家可以选择使用自定义运算符来在较低级别上构建模型，但是只需调用model.fit（）方法即可对其进行训练。
在这里插入图片描述

Chollet将从事机器学习工作的用户大致分为三类：基本用户，工程师，研究人员；传统上他们仍然在各自的孤岛中工作，不便于思想的交流。Keras这个渐进的复杂性模式，为不同技能水平的用户提供了相对平滑的学习曲线。
Silos

可重用性(Reusability)

为了促进跨学科合作。 Keras将领域知识提炼成可重用的模块，例如用于计算机视觉的KerasCV和用于自然语言处理的KerasNLP。终端用户也没有被忘记，Keras Applications，一个具有权重的预训练模型库将来也将被扩充。

自动化

自动化程度的提高同样遵循“复杂性的逐步披露”的座右铭，按复杂度由低到高顺序，Keras将会提供以下自动功能：

超参数优化(KerasTuner)
神经网络架构搜索
功能库和终身学习
AutoML(AutoKeras)

KerasTuner

作为Keras超参数优化工具，KerasTuner是机器学习专家智慧的一个结晶，从一定程度上可以代替专家团队的不足：

运行时自定义(define-by-run)动态搜索空间
内置搜索策略：超频带(Hyperband)，贝叶斯，随机搜索
自定义搜索策略
大规模分布式搜索
内置“可调模型”：应用程序模板，只需要添加用户数据就可以自动实现超参数调优。

AutoKeras

上述的改进的升华产物，是一个叫做AutoKeras的AutoML工具，使得端到端机器学习工作流程像运行单个Python脚本一样便捷。
AutoKeras训练文本分类模型

生产化方面的改善

Loop of Progress，在云服务上的体现

Keras Preprocessing Layers(Keras 预处理层)

在现实环境中，常常会遇见生产数据与训练数据存在偏差，但是可以通过预处理的方式矫正的情形。这种预处理会引入训练/处理偏斜(training/serving skew)，Keras对这个问题的回答是Keras Preprocessing Layers，这个处理层将预处理操作变成了模型的一部分，提高了模型的集成度。业界已经存在专业的图像预处理服务Roboflow，Keras除了图像处理之外，还引入了：

文字向量化
- 字符串的标准化(standardization)/清理
- 标记化(Tokenization)
- 索引(Indexing)
- ngrams，TF-IDF(词频-反文档频率)
图像预处理和增强
结构化数据预处理
- 索引
- 哈希(Hashing)
- 离散化(Discretization)

TensorFlow云

理想情况下，深度学习专业知识和基础架构等资源应该被包装成便于重用的形式。为了使Tensorflow更加接近这个理想，Chollet和团队开发了Tensorflow Cloud（TFC）。 TFC提供了一个方便的run方法，无需用户干预即可执行以下操作：将脚本或笔记本转换为可用于生产和发布的代码；构建具有所需依赖项的容器，并将容器映像存储在容器注册表中；部署容器，使用Tensorflow分发策略运行培训工作；使用Tensorboard传输日志并监控性能。