在docker中安装paddle serving @FreeBSD(待续)

2024-04-29 02:36

本文主要是介绍在docker中安装paddle serving @FreeBSD(待续),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

因为FreeBSD本身不能装paddle serving,所以我们要在docker里面装。

Paddle Serving官网:GitHub - PaddlePaddle/Serving: A flexible, high-performance carrier for machine learning models(『飞桨』服务化部署框架)

wheel包下载:Serving/doc/Latest_Packages_CN.md at develop · PaddlePaddle/Serving · GitHub

 真装起来才发现问题多多,待后面再解决问题。

FreeBSD启动docker

启动boot2docker

查找paddle serving

docker search paddle

paddlepaddle/serving

pull下载

docker pull paddlepaddle/serving

如果不成功,就用飞桨的镜像:

docker pull registry.baidubce.com/paddlepaddle/serving

创建容器并进入linux系统

docker run -p 9292:9292 --name test -dit registry.baidubce.com/paddlepaddle/serving:0.7.0-devel
docker exec -it test bash

安装Paddle Serving

不管在FreeBSD的docker里面,还是普通的linux里面,Paddle Serving的安装步骤都是一样的。

安装

pip安装paddle-serving-server是个技术活,有点难度,比如grpcio等就不好装。

安装Paddle Serving服务器端
为了减小镜像的体积,镜像中没有安装Serving包,要执行下面命令进行安装。

pip install paddle-serving-server -i https://pypi.tuna.tsinghua.edu.cn/simple

安装客户端

pip install paddle-serving-client  -i https://mirror.baidu.com/pypi/simple

安装工具组件

pip install paddle-serving-app -i https://mirror.baidu.com/pypi/simple

 

测试推理服务

先下载Paddle Serving代码

git clone https://github.com/PaddlePaddle/Serving

 启动房价预测服务

cd ~/Serving/examples/C++/fit_a_line
sh get_data.sh
python -m paddle_serving_server.serve --model uci_housing_model --thread 10 --port 9393 --gpu_id 0

在其它远程调用该服务器

curl -XPOST http://0.0.0.0:9393/GeneralModelService/inference -d ' {"tensor":[{"float_data":[0.0137,-0.1136,0.2553,-0.0692,0.0582,-0.0727,-0.1583,-0.0584,0.6283,0.4919,0.1856,0.0795,-0.0332],"elem_type":1,"name":"x","alias_name":"x","shape":[1,13]}],"fetch_var_names":["price"],"log_id":0}'

部署在线推理服务进阶流程

所谓进阶流程,其实还是那三个步骤,获取可用于部署的在线服务的模型、启动服务端和使用客户端访问服务端进行推理。只是每个步骤将会详细介绍一下,有的地方还要编写少量的代码。将逐一介绍具体过程及原理,此外为了保证读者理解上的连贯性,我们将把启动服务端和使用客户端访问服务端进行推理两个步骤合成一个步骤进行介绍。

1. 获取可用于部署在线服务的模型

模型转换API接口的应用示例代码如下所示,

python -m paddle_serving_client.convert --dirname $MODEL_DIR --model_filename $MODEL_FILENAME --params_filename PARAMS_FILENAME --serving_server $SERVING_SERVER_DIR --serving_client $SERVING_CLIENT_DIR

其中各个参数解释如下所示:

  • dirname (str) – 需要转换的模型文件存储路径,Program结构文件和参数文件均保存在此目录。
  • serving_server (str, 可选) - 转换后的模型文件和配置文件的存储路径。默认值为serving_server。
  • serving_client (str, 可选) - 转换后的客户端配置文件存储路径。默认值为serving_client。
  • model_filename (str,可选) – 存储需要转换的模型Inference Program结构的文件名称。如果设置为None,则使用 model 作为默认的文件名。默认值为None。
  • params_filename (str,可选) – 存储需要转换的模型所有参数的文件名称。当且仅当所有模型参数被保存在一个单独的二进制文件中,它才需要被指定。如果模型参数是存储在各自分离的文件中,设置它的值为None。默认值为None。

案例

 启动服务端

请在终端-1执行如下命令启动服务端。

cd ~/Serving/examples/C++/PaddleDetection/faster_rcnn_r50_fpn_1x_coco
wget --no-check-certificate https://paddle-serving.bj.bcebos.com/pddet_demo/2.0/faster_rcnn_r50_fpn_1x_coco.tar
tar xf faster_rcnn_r50_fpn_1x_coco.tar
# python -m paddle_serving_server.serve --model serving_server --port 9494 --gpu_id 0
python -m paddle_serving_server.serve --model serving_server --port 9494 

2. 启动客户端

终端-2中启动客户端

cd ~/Serving/examples/C++/PaddleDetection/faster_rcnn_r50_fpn_1x_coco
python test_client.py 000000570688.jpg

调试

报错distutils.errors.CompileError: command '/usr/bin/gcc' failed with exit code 1

        File "/tmp/pip-install-brtc79ep/grpcio_d048c90f8c614ad4809a63239d7761a0/src/python/grpcio/commands.py", line 247, in new_compile
          return old_compile(obj, src, ext, cc_args, extra_postargs,
        File "/home/linuxskywalk/py310/lib/python3.10/distutils/unixccompiler.py", line 120, in _compile
          raise CompileError(msg)
      distutils.errors.CompileError: command '/usr/bin/gcc' failed with exit code 1
      
      [end of output]
 
  note: This error originates from a subprocess, and is likely not a problem with pip.
  ERROR: Failed building wheel for grpcio
  Running setup.py clean for grpcio
  Building wheel for grpcio-tools (setup.py) ...

grpcio的编译是个坎....

可以尝试先这样安装:

pip install grpcio grpcio-tools --upgrade --user

报错:required to install pyproject.toml-based projects

执行:cd Serving/python && pip install -r requirements.txtFailed to build av
ERROR: Could not build wheels for av, which is required to install pyproject.toml-based projects

安装即可:pip install pyproject

报错:Could not build wheels for av

      pkg-config is required for building PyAV[end of output]note: This error originates from a subprocess, and is likely not a problem with pip.ERROR: Failed building wheel for avRunning setup.py clean for av
Failed to build av
ERROR: Could not build wheels for av, which is required to install pyproject.toml-based projects

可以单独安装上av或者pyav,但是还是不行,这步暂时过不去

这篇关于在docker中安装paddle serving @FreeBSD(待续)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/944907

相关文章

python管理工具之conda安装部署及使用详解

《python管理工具之conda安装部署及使用详解》这篇文章详细介绍了如何安装和使用conda来管理Python环境,它涵盖了从安装部署、镜像源配置到具体的conda使用方法,包括创建、激活、安装包... 目录pytpshheraerUhon管理工具:conda部署+使用一、安装部署1、 下载2、 安装3

龙蜥操作系统Anolis OS-23.x安装配置图解教程(保姆级)

《龙蜥操作系统AnolisOS-23.x安装配置图解教程(保姆级)》:本文主要介绍了安装和配置AnolisOS23.2系统,包括分区、软件选择、设置root密码、网络配置、主机名设置和禁用SELinux的步骤,详细内容请阅读本文,希望能对你有所帮助... ‌AnolisOS‌是由阿里云推出的开源操作系统,旨

Ubuntu系统怎么安装Warp? 新一代AI 终端神器安装使用方法

《Ubuntu系统怎么安装Warp?新一代AI终端神器安装使用方法》Warp是一款使用Rust开发的现代化AI终端工具,该怎么再Ubuntu系统中安装使用呢?下面我们就来看看详细教程... Warp Terminal 是一款使用 Rust 开发的现代化「AI 终端」工具。最初它只支持 MACOS,但在 20

mysql-8.0.30压缩包版安装和配置MySQL环境过程

《mysql-8.0.30压缩包版安装和配置MySQL环境过程》该文章介绍了如何在Windows系统中下载、安装和配置MySQL数据库,包括下载地址、解压文件、创建和配置my.ini文件、设置环境变量... 目录压缩包安装配置下载配置环境变量下载和初始化总结压缩包安装配置下载下载地址:https://d

LinuxMint怎么安装? Linux Mint22下载安装图文教程

《LinuxMint怎么安装?LinuxMint22下载安装图文教程》LinuxMint22发布以后,有很多新功能,很多朋友想要下载并安装,该怎么操作呢?下面我们就来看看详细安装指南... linux Mint 是一款基于 Ubuntu 的流行发行版,凭借其现代、精致、易于使用的特性,深受小伙伴们所喜爱。对

Linux(Centos7)安装Mysql/Redis/MinIO方式

《Linux(Centos7)安装Mysql/Redis/MinIO方式》文章总结:介绍了如何安装MySQL和Redis,以及如何配置它们为开机自启,还详细讲解了如何安装MinIO,包括配置Syste... 目录安装mysql安装Redis安装MinIO总结安装Mysql安装Redis搜索Red

python安装完成后可以进行的后续步骤和注意事项小结

《python安装完成后可以进行的后续步骤和注意事项小结》本文详细介绍了安装Python3后的后续步骤,包括验证安装、配置环境、安装包、创建和运行脚本,以及使用虚拟环境,还强调了注意事项,如系统更新、... 目录验证安装配置环境(可选)安装python包创建和运行Python脚本虚拟环境(可选)注意事项安装

gradle安装和环境配置全过程

《gradle安装和环境配置全过程》本文介绍了如何安装和配置Gradle环境,包括下载Gradle、配置环境变量、测试Gradle以及在IntelliJIDEA中配置Gradle... 目录gradle安装和环境配置1 下载GRADLE2 环境变量配置3 测试gradle4 设置gradle初始化文件5 i

Jsoncpp的安装与使用方式

《Jsoncpp的安装与使用方式》JsonCpp是一个用于解析和生成JSON数据的C++库,它支持解析JSON文件或字符串到C++对象,以及将C++对象序列化回JSON格式,安装JsonCpp可以通过... 目录安装jsoncppJsoncpp的使用Value类构造函数检测保存的数据类型提取数据对json数

mac安装redis全过程

《mac安装redis全过程》文章内容主要介绍了如何从官网下载指定版本的Redis,以及如何在自定义目录下安装和启动Redis,还提到了如何修改Redis的密码和配置文件,以及使用RedisInsig... 目录MAC安装Redis安装启动redis 配置redis 常用命令总结mac安装redis官网下