首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
managment专题
triton inference server翻译之model managment
link Model Management 推理服务器以以下三种模型控制模式之一进行操作:NONE,POLL或EXPLICIT。 Model Control Mode NONE 服务器尝试在启动时加载模型存储库中的所有模型。 服务器无法加载的模型在服务器状态中将标记为UNAVAILABLE,并且不可用于推理。 服务器运行时对模型存储库的更改将被忽略。 使用模型控制API的模型控制请求将不
阅读更多...