本文主要是介绍67、AI 模型性能评估指标：吞吐和延时，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
在前面几节，完成一个图片的正确推理识别之后，下一步我们要关注的就是模型的性能。
神经网络的性能很重要，可以看下这一节：神经网络的性能以及那些框架存在的意义。
在我们进行模型性能评估之前，介绍一下两个对于性能评估非常重要的概念——吞吐和延时。
很多同学对这两个概念的理解是存在误区的，一般的误区会集中在：认为高吞吐就等于低延时，低吞吐就等于高延时。这样理解是有问题的。
下面我会详细介绍下这两个概念，帮助大家更深入的理解其区别，后面所有涉及模型性能的地方，都会依据这两个指标来做评估。
1、吞吐
吞吐或吞吐量，英文名叫 Throughput，指的是完成一个特定任务的速率，也可以理解为在单位时间内完成的任务量。
对于计算机网络而言，吞吐量的衡量单位一般是 bits / second 或者 Bytes / second。
举个例子，如果说一条数据通路的吞吐量是 40Gbps，那么意味着，如果你往这个数据通路中注入40Gb 的数据量，那么它可以在1秒内流过这条数据通路。
对于神经网络而言，我们可以把吞吐量的设置为每秒处理的图片数量（如果是图像任务）或token数量（如果是NLP任务）。
2、延时
延时，英文名为 Latency，指的是完成一个任务所花费的时间。
举个例子，如
这篇关于67、AI 模型性能评估指标：吞吐和延时的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
