一、Window

1.1 主机环境准备

1.1.1 CPU版本

确保CPU支持AVX指令集,可以使用CPU-Z进行查询。或到对应芯片官网查询

1.1.2 Nvidia GPU版本

输入nvidia-smi,查看显卡支持的最高CUDA版本,目前paddel最高支持CUDA12.0

  • 使用版本:
    • GPU:Tesla-A10-24G
    • cuda:cuda_11.7.0_516.01_windows.exe
    • cudnn:cudnn-windows-x86_64-8.9.6.50_cuda11-archive.zip
  • 下载对应版本CUDA:https://developer.nvidia.com/cuda-toolkit-archive 安装后输入nvcc --version,查看cuda安装版本
  • 下载对应CUDA版本的CUDNN:https://developer.nvidia.com/cudnn-archive 解压后的cudnn,复制到:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\XXX版本路径下替换即可 您可参考 NVIDIA 官方文档了解 CUDA 和 CUDNN 的安装流程和配置方法,请见CUDAcuDNN

1.1.3 其余主机环境准备

  • 下载zlib123dllx64,解压后将zlibwapi.dll复制CUDA安装路径的bin目录下

  • 安装Shapely-1.8.2-cp39-cp39-win_amd64,在Shapely文件所在路径打开命令提示符

pip install Shapely-1.8.2-cp39-cp39-win_amd64

通过pip安装的shapely库可能出现[winRrror 126] 找不到指定模块的问题。建议从这里下载shapely安装包完成安装。

1.2 Python环境搭建

1.2.1 方式一:python独立安装,推荐3.8版本

1.2.2 方式二:安装Anaconda

  • 说明:使用paddlepaddle需要先安装python环境,这里我们选择python集成环境Anaconda工具包
    • Anaconda是1个常用的python包管理程序
    • 安装完Anaconda后,可以安装python环境,以及numpy等所需的工具包环境。
  • Anaconda下载:
  • 创建新的conda环境
# 在命令行输入以下命令,创建名为paddle_env的环境
# 该命令会创建1个名为paddle_env、python版本为3.8的可执行环境,根据网络状态,需要花费一段时间
# 此处为加速下载,使用清华源
conda create --name paddle_env python=3.8 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  • 激活刚创建的conda环境,在命令行中输入以下命令:
# 激活paddle_env环境
conda activate paddle_env
# 查看当前python的位置
where python

1.3 安装paddlepaddle

1.3.1 安装PaddlePaddle

请参照飞桨官网安装文档中的说明进行操作:

  • 您的机器安装的是CUDA9或CUDA10,请运行以下命令安装
# CUDA9或CUDA10
python3 -m pip install paddlepaddle-gpu -i https://mirror.baidu.com/pypi/simple
  • 您的机器是CPU,请运行以下命令安装
python3 -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
  • 本次选择CUDA11.7,对于 CUDA 11.7,需要搭配 cuDNN 8.4.1,安装命令为:
conda install paddlepaddle-gpu==2.6.1 cudatoolkit=11.7 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge

1.3.2 验证安装

安装完成后您可以使用 python 或 python3 进入 python 解释器,输入import paddle ,再输入 paddle.utils.run_check() 如果出现PaddlePaddle is installed successfully!,说明您已成功安装。

1.4 安装PaddleOCR whl包

1.4.1 安装paddleOCR

pip install "paddleocr==2.7.2" -i https://mirror.baidu.com/pypi/simple

1.4.2 验证安装

# 使用GPU
paddleocr --image_dir ./test/img/imgs_words/en/word_1.png --det false --use_gpu true

# 使用CPU
paddleocr --image_dir ./test/img/imgs_words/en/word_1.png --det false --use_gpu false

二、基于PaddleHub Serving服务部署

下载推理模型

安装服务模块前,需要准备推理模型并放到正确路径。默认使用的是PP-OCRv3模型,默认模型路径为:

检测模型:./inference/ch_PP-OCRv3_det_infer/
识别模型:./inference/ch_PP-OCRv3_rec_infer/
方向分类器:./inference/ch_ppocr_mobile_v2.0_cls_infer/
版面分析模型:./inference/picodet_lcnet_x1_0_fgd_layout_infer/
表格结构识别模型:./inference/ch_ppstructure_mobile_v2.0_SLANet_infer/
关键信息抽取SER模型:./inference/ser_vi_layoutxlm_xfund_infer/
关键信息抽取RE模型:./inference/re_vi_layoutxlm_xfund_infer/

模型路径可在params.py中查看和修改。 更多模型可以从PaddleOCR提供的模型库PP-OCRPP-Structure下载,也可以替换成自己训练转换好的模型。 超轻量OCR系列更多模型下载(包括多语言),可以参考PP-OCR系列模型下载,文档分析相关模型参考PP-Structure系列模型下载

导入模型和模型配置

根目录下新建inference文件夹,将解压好的模型文件放入其中 修改params.py的配置项,与inference实际模型路径一致,使用百度提供的训练好的模型

安装服务模块

PaddleOCR提供5种服务模块,根据需要安装所需模块。 在Linux环境(Windows环境请将/替换为\)下,安装模块命令如下表:

服务模块 命令
检测 hub install deploy/hubserving/ocr_det
分类 hub install deploy/hubserving/ocr_cls
识别 hub install deploy/hubserving/ocr_rec
检测+识别串联 hub install deploy/hubserving/ocr_system
表格识别 hub install deploy/hubserving/structure_table
PP-Structure hub install deploy/hubserving/structure_system
版面分析 hub install deploy/hubserving/structure_layout
关键信息抽取SER hub install deploy/hubserving/kie_ser
关键信息抽取SER+RE hub install deploy/hubserving/kie_ser_re

修改windows环境变量,指定GPU(GPU版)

在windows环境变量中增加系统变量,CUDA_VISIBLE_DEVICES = 0

优化默认显存占用(可选)

由于本机显存仅有6G,因此修改了默认显存占用为3G。
修改./deploy/hubserving/ocr_system/module.py
cfg.gpu_mem =3000

安装paddleocr相关依赖

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r requirements.txt -i https://mirror.baidu.com/pypi/simple

安装paddlehub

pip3 install paddlehub --upgrade -i https://mirror.baidu.com/pypi/simple

启动服务

命令行命令启动(仅支持CPU)

启动命令:

hub serving start --modules Module1==Version1, Module2==Version2, ... \
                  --port 8866 \
                  --use_multiprocess \
                  --workers \

参数:

参数 用途
--modules/-m PaddleHub Serving预安装模型,以多个Module==Version键值对的形式列出
当不指定Version时,默认选择最新版本
--port/-p 服务端口,默认为8866
--use_multiprocess 是否启用并发方式,默认为单进程方式,推荐多核CPU机器使用此方式
Windows操作系统只支持单进程方式
--workers 在并发方式下指定的并发任务数,默认为2*cpu_count-1,其中cpu_count为CPU核数
如启动串联服务:
hub serving start -m ocr_system

这样就完成了一个服务化API的部署,使用默认端口号8866。

配置文件启动(支持CPU、GPU)

启动命令:

hub serving start -c config.json

其中,config.json格式如下:

{
    "modules_info": {
        "ocr_system": {
            "init_args": {
                "version": "1.0.0",
                "use_gpu": true
            },
            "predict_args": {
            }
        }
    },
    "port": 8868,
    "use_multiprocess": false,
    "workers": 2
}
  • init_args中的可配参数与module.py中的_initialize函数接口一致。 use_gputrue时,表示使用GPU启动服务。

  • predict_args中的可配参数与module.py中的predict函数接口一致。 注意:

  • 使用配置文件启动服务时,其他参数会被忽略。

  • 如果使用GPU预测(即,use_gpu置为true),则需要在启动服务之前,设置CUDA_VISIBLE_DEVICES环境变量,如:

    export CUDA_VISIBLE_DEVICES=0
    
  • use_gpu不可与use_multiprocess同时为true。 如,使用GPU 3号卡启动串联服务:

export CUDA_VISIBLE_DEVICES=3
hub serving start -c deploy/hubserving/ocr_system/config.jso

发送测试请求

配置好服务端,可使用以下命令发送预测请求,获取预测结果:

python tools/test_hubserving.py --server_url=server_url --image_dir=image_path

需要给脚本传递2个参数:

  • server_url:服务地址,格式为http://[ip_address]:[port]/predict/[module_name] 例如,如果使用配置文件启动分类,检测、识别,检测+分类+识别3阶段,表格识别和PP-Structure服务并为每个服务修改了port,那么发送请求的url将分别是:

    http://127.0.0.1:8865/predict/ocr_det
    http://127.0.0.1:8866/predict/ocr_cls
    http://127.0.0.1:8867/predict/ocr_rec
    http://127.0.0.1:8868/predict/ocr_system
    http://127.0.0.1:8869/predict/structure_table
    http://127.0.0.1:8870/predict/structure_system
    http://127.0.0.1:8870/predict/structure_layout
    http://127.0.0.1:8871/predict/kie_ser
    http://127.0.0.1:8872/predict/kie_ser_re
    
  • image_dir:测试图像路径,可以是单张图片路径,也可以是图像集合目录路径

  • visualize:是否可视化结果,默认为False

  • output:可视化结果保存路径,默认为./hubserving_result 访问示例:

python tools/test_hubserving.py --server_url=http://127.0.0.1:8868/predict/ocr_system --image_dir=./doc/imgs/ --visualize=false

python tools/test_hubserving.py --server_url=http://127.0.0.1:8868/predict/ocr_system --image_dir=./test/img/imgs_words/en/word_1.png

自定义修改服务模块

如果需要修改服务逻辑,你一般需要操作以下步骤(以修改ocr_system为例):

  • 1、 停止服务
    hub serving stop --port/-p XXXX
  • 2、 到相应的module.pyparams.py等文件中根据实际需求修改代码。
    例如,如果需要替换部署服务所用模型,则需要到params.py中修改模型路径参数det_model_dirrec_model_dir,如果需要关闭文本方向分类器,则将参数use_angle_cls置为False,当然,同时可能还需要修改其他相关参数,请根据实际情况修改调试。 强烈建议修改后先直接运行module.py调试,能正确运行预测后再启动服务测试。 注意 PPOCR-v3识别模型使用的图片输入shape为3,48,320,因此需要修改params.py中的cfg.rec_image_shape = "3, 48, 320",如果不使用PPOCR-v3识别模型,则无需修改该参数。
  • 3、 卸载旧服务包
    hub uninstall ocr_system
  • 4、 安装修改后的新服务包
    hub install deploy/hubserving/ocr_system/
  • 5、重新启动服务
    hub serving start -m ocr_system

常见问题

1050TI适配版本,否则出现乱码

  • cuda=11.2
  • cudnn=8.1.1.33
  • paddlepaddle-gpu=2.3.2
  • python -m pip install paddlepaddle-gpu==2.3.2.post112 -f https://www.paddlepaddle.org.cn/whl/windows/mkl/avx/stable.html

如果conda install在线安装超时失败,可以下载到本地安装bz2包

报错如:

CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/win-64/paddlepaddle-gpu-2.6.1-py38_gpu_cuda11.7_windows.tar.bz2>
Elapsed: -

手动本地安装:

conda install --use-local paddlepaddle-gpu-2.6.1-py38_gpu_cuda11.7_windows.tar.bz2
conda install --use-local cudnn-8.4.1.50-hf5f08ae_0.tar.bz2

相关文档