本文主要是介绍triton inference server翻译之Metrics,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
link
Metrics
Triton Inference服务器提供Prometheus度量标准,指示GPU和请求统计信息。 默认情况下,这些指标可从http://localhost:8002/metrics
获得。 度量标准仅可通过访问端点来使用,而不会推送或发布到任何远程服务器。
推理服务器的--allow-metrics=false
选项可用于禁用度量标准报告,而--metrics-port
选项可用于选择其他端口。
下表描述了可用指标。
这篇关于triton inference server翻译之Metrics的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!