本文主要是介绍Docker使用tensorflow/serving镜像部署模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Docker使用tensorflow/serving镜像部署模型
环境
简单梳理一下使用tensorflow/serving镜像在服务器上部署模型。
首先要保证在linux环境上已经安装好了docker,之后下载tensorflow/serving镜像:
#下载镜像
docker pull tensorflow/serving
#查看下载的镜像
docker images
下载官方的模型文件
tensorflow-serving源码中有很多官方训练好的模型,git地址:https://github.com/tensorflow/serving
#创建一个文件夹
mkdir tensorflow-test
#在上面的文件下执行clone
git clone https://github.com/tensorflow/serving
单模型部署
这里用官方提供的saved_model_half_plus_two_cpu作为示例,这个模型在/home/tensorflow/serving/tensorflow_serving/servables/tensorflow/testdata这个路径下,前面的地址根据自己的服务器地址改一下。
运行下面的命令:
docker run -p 8501:8501
--mount type=bind,source=/home/saved_model_half_plus_two_cpu,target=/tensorflow/models/half_plus_two -e MODEL_NAME=half_plus_two -t tensorflow/serving --model_base_path=/tensorflow/models/half_plus_two &
说明:
docker run:这不用多解释,docker运行镜像的命令
-p 8501:8501:-p是绑定端口的参数,第一个8501代表着现在用的这台机器的8501端口,第二个8501代表着通过这个镜像启动的容器的8501端口,所以这里的意思就是将本地的8501端口和通过这个镜像启动的容器的8501端口绑定,访问本地的8501端口就相当于访问了该容器的8501端口。当然第一个8501可以修改任意本地空闲的端口,第二个8501不可以随便修改,tensorflow/serving镜像默认对外提供两个端口,8501:http请求的端口,用去提供restful服务;8500:grpc请求的端口,提供grpc服务,这里要注意。
–mount type=bind,source=/home/saved_model_half_plus_two_cpu,target=/tensorflow/models/half_plus_two:source后面的地址是本地的地址,后面的是容器上的地址,这里是将本地的这个地址挂载到容器上这个地址
-e MODEL_NAME=half_plus_two:设置环境变量,设置模型名称为half_plus_two
-t tensorflow/serving:通过tensorflow/serving这个镜像来启动容器
–model_base_path=/tensorflow/models/half_plus_two:指定模型的基础路径,这里的路径最好和target后面的路径保持一致。
&:后面运行
执行上述命令之后输出如下信息,代表启动成功了:
这时候就可以ctrl+c退出这个页面,然后使用http请求测试一下
curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_two:predict
输出如下:
多模型部署
这里说的多模型部署的意思是在一个容器里启动多个模型,也可以启动多个容器,每个容器里启动一个模型。多模型部署,要先创建一个models.config文件,内容如下
model_config_list:{config:{name:"half_plus_two"base_path:"/tensorflow/multiModel/two"model_platform:"tensorflow"model_version_policy {specific {versions: 123}}},config:{name:"tf"base_path:"/tensorflow/multiModel/two_tf2"model_platform:"tensorflow"model_version_policy {specific {versions: 123}}}
}
创建好这个文件之后执行下面的命令:
docker run -p 8500:8500 -p 8501:8501 -v /home/tensorflow/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu:/tensorflow/multiModel/two -v /home/tensorflow/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_tf2_cpu:/tensorflow/multiModel/two_tf2 -v /home/tensorflow/models.config:/tensorflow/models.config -t tensorflow/serving --model_config_file=/tensorflow/models.config &
说明:
docker run:不多说
-p 8500:8500 -p 8501:8501:这里就是将本机的8500和8501绑定到容器上的8500和8501端口,这两个端口分别提供http请求和grpc请求,这个上面详细讲了,这里也不多说了。
-v /home/tensorflow/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu:/tensorflow/multiModel/two:这里也是挂载目录的意思,冒号前面的地址是本机地址(绝对路径),冒号后面是容器上的地址(绝对路径)。接下来两个-v后面跟的内容都是这个意思。就不说了
–model_config_file=/tensorflow/models.config:设置config文件的地址,注意这里后面跟着的地址是容器上的地址,最好也和挂载的地址保持一致
&:后台运行
执行命令之后输出和测试和单模型部署一样,这里就不贴图了。
问题
博主对于docker和模型,还有这个tensorflow/serving镜像就是个小白,但是工作中要用到,所以在本地虚拟机测了一下要用到的内容,遇到的问题挺多的,也记不清了,下面这俩还有记录。
Could not find base path /models/half_plus_two for servable half_plus_two with error NOT_FOUND:
Failed to start server. Error: NOT_FOUND: /tensorflow/models.config; No such file or directory
主要弄懂每个地址是对应的本地地址,还是对应的容器上的地址,我遇到的问题应该就很好解决了,没什么要写的了,结束!
参考文档:https://blog.csdn.net/xxm524/article/details/128060790
https://blog.csdn.net/xiedelong/article/details/122044005
是不是一定要有所失,才能有所悟
这篇关于Docker使用tensorflow/serving镜像部署模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!