一、Window
1.1 主机环境准备
1.1.1 CPU版本
确保CPU支持AVX指令集,可以使用CPU-Z进行查询。或到对应芯片官网查询
1.1.2 Nvidia GPU版本
输入nvidia-smi
,查看显卡支持的最高CUDA版本,目前paddel最高支持CUDA12.0
- 使用版本:
- GPU:Tesla-A10-24G
- cuda:cuda_11.7.0_516.01_windows.exe
- cudnn:cudnn-windows-x86_64-8.9.6.50_cuda11-archive.zip
- 下载对应版本CUDA:https://developer.nvidia.com/cuda-toolkit-archive
安装后输入
nvcc --version
,查看cuda安装版本 - 下载对应CUDA版本的CUDNN:https://developer.nvidia.com/cudnn-archive
解压后的cudnn,复制到:
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\XXX版本
路径下替换即可 您可参考 NVIDIA 官方文档了解 CUDA 和 CUDNN 的安装流程和配置方法,请见CUDA,cuDNN
1.1.3 其余主机环境准备
-
下载zlib123dllx64,解压后将zlibwapi.dll复制CUDA安装路径的bin目录下
-
安装Shapely-1.8.2-cp39-cp39-win_amd64,在Shapely文件所在路径打开命令提示符
pip install Shapely-1.8.2-cp39-cp39-win_amd64
通过pip安装的shapely库可能出现[winRrror 126] 找不到指定模块的问题
。建议从这里下载shapely安装包完成安装。
- 安装Visual C++, 点此下载
- pip
- 升级pip
- 配置清华镜像源:pypi | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
- pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
1.2 Python环境搭建
1.2.1 方式一:python独立安装,推荐3.8版本
1.2.2 方式二:安装Anaconda
- 说明:使用paddlepaddle需要先安装python环境,这里我们选择python集成环境Anaconda工具包
- Anaconda是1个常用的python包管理程序
- 安装完Anaconda后,可以安装python环境,以及numpy等所需的工具包环境。
- Anaconda下载:
- 地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D
- 大部分win10电脑均为64位操作系统,选择x86_64版本;若电脑为32位操作系统,则选择x86.exe
- 创建新的conda环境
# 在命令行输入以下命令,创建名为paddle_env的环境
# 该命令会创建1个名为paddle_env、python版本为3.8的可执行环境,根据网络状态,需要花费一段时间
# 此处为加速下载,使用清华源
conda create --name paddle_env python=3.8 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- 激活刚创建的conda环境,在命令行中输入以下命令:
# 激活paddle_env环境
conda activate paddle_env
# 查看当前python的位置
where python
1.3 安装paddlepaddle
1.3.1 安装PaddlePaddle
请参照飞桨官网安装文档中的说明进行操作:
- 您的机器安装的是CUDA9或CUDA10,请运行以下命令安装
# CUDA9或CUDA10
python3 -m pip install paddlepaddle-gpu -i https://mirror.baidu.com/pypi/simple
- 您的机器是CPU,请运行以下命令安装
python3 -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
- 如果使用Conda,会出现镜像过慢的情况,可以参考:anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
修改
C:\Users\Administrator\.condarc
文件
channels:
- defaults
show_channel_urls: true
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
- 本次选择
CUDA11.7
,对于CUDA 11.7
,需要搭配 cuDNN 8.4.1,安装命令为:
conda install paddlepaddle-gpu==2.6.1 cudatoolkit=11.7 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge
1.3.2 验证安装
安装完成后您可以使用 python
或 python3
进入 python 解释器,输入import paddle
,再输入 paddle.utils.run_check()
如果出现PaddlePaddle is installed successfully!
,说明您已成功安装。
1.4 安装PaddleOCR whl包
1.4.1 安装paddleOCR
pip install "paddleocr==2.7.2" -i https://mirror.baidu.com/pypi/simple
1.4.2 验证安装
# 使用GPU
paddleocr --image_dir ./test/img/imgs_words/en/word_1.png --det false --use_gpu true
# 使用CPU
paddleocr --image_dir ./test/img/imgs_words/en/word_1.png --det false --use_gpu false
二、基于PaddleHub Serving服务部署
下载推理模型
安装服务模块前,需要准备推理模型并放到正确路径。默认使用的是PP-OCRv3模型,默认模型路径为:
检测模型:./inference/ch_PP-OCRv3_det_infer/
识别模型:./inference/ch_PP-OCRv3_rec_infer/
方向分类器:./inference/ch_ppocr_mobile_v2.0_cls_infer/
版面分析模型:./inference/picodet_lcnet_x1_0_fgd_layout_infer/
表格结构识别模型:./inference/ch_ppstructure_mobile_v2.0_SLANet_infer/
关键信息抽取SER模型:./inference/ser_vi_layoutxlm_xfund_infer/
关键信息抽取RE模型:./inference/re_vi_layoutxlm_xfund_infer/
模型路径可在params.py
中查看和修改。
更多模型可以从PaddleOCR提供的模型库PP-OCR和PP-Structure下载,也可以替换成自己训练转换好的模型。
超轻量OCR系列更多模型下载(包括多语言),可以参考PP-OCR系列模型下载,文档分析相关模型参考PP-Structure系列模型下载
导入模型和模型配置
根目录下新建inference文件夹,将解压好的模型文件放入其中 修改params.py的配置项,与inference实际模型路径一致,使用百度提供的训练好的模型
安装服务模块
PaddleOCR提供5种服务模块,根据需要安装所需模块。
在Linux环境(Windows环境请将/
替换为\
)下,安装模块命令如下表:
服务模块 | 命令 |
---|---|
检测 | hub install deploy/hubserving/ocr_det |
分类 | hub install deploy/hubserving/ocr_cls |
识别 | hub install deploy/hubserving/ocr_rec |
检测+识别串联 | hub install deploy/hubserving/ocr_system |
表格识别 | hub install deploy/hubserving/structure_table |
PP-Structure | hub install deploy/hubserving/structure_system |
版面分析 | hub install deploy/hubserving/structure_layout |
关键信息抽取SER | hub install deploy/hubserving/kie_ser |
关键信息抽取SER+RE | hub install deploy/hubserving/kie_ser_re |
修改windows环境变量,指定GPU(GPU版)
在windows环境变量中增加系统变量,CUDA_VISIBLE_DEVICES = 0
优化默认显存占用(可选)
由于本机显存仅有6G,因此修改了默认显存占用为3G。
修改./deploy/hubserving/ocr_system/module.py
cfg.gpu_mem =3000
安装paddleocr相关依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
或
pip install -r requirements.txt -i https://mirror.baidu.com/pypi/simple
安装paddlehub
pip3 install paddlehub --upgrade -i https://mirror.baidu.com/pypi/simple
启动服务
命令行命令启动(仅支持CPU)
启动命令:
hub serving start --modules Module1==Version1, Module2==Version2, ... \
--port 8866 \
--use_multiprocess \
--workers \
参数:
参数 | 用途 |
---|---|
--modules /-m |
PaddleHub Serving预安装模型,以多个Module==Version键值对的形式列出 当不指定Version时,默认选择最新版本 |
--port /-p |
服务端口,默认为8866 |
--use_multiprocess |
是否启用并发方式,默认为单进程方式,推荐多核CPU机器使用此方式 Windows操作系统只支持单进程方式 |
--workers |
在并发方式下指定的并发任务数,默认为2*cpu_count-1 ,其中cpu_count 为CPU核数 |
如启动串联服务: |
hub serving start -m ocr_system
这样就完成了一个服务化API的部署,使用默认端口号8866。
配置文件启动(支持CPU、GPU)
启动命令:
hub serving start -c config.json
其中,config.json
格式如下:
{
"modules_info": {
"ocr_system": {
"init_args": {
"version": "1.0.0",
"use_gpu": true
},
"predict_args": {
}
}
},
"port": 8868,
"use_multiprocess": false,
"workers": 2
}
-
init_args
中的可配参数与module.py
中的_initialize
函数接口一致。 当use_gpu
为true
时,表示使用GPU启动服务。 -
predict_args
中的可配参数与module.py
中的predict
函数接口一致。 注意: -
使用配置文件启动服务时,其他参数会被忽略。
-
如果使用GPU预测(即,
use_gpu
置为true
),则需要在启动服务之前,设置CUDA_VISIBLE_DEVICES环境变量,如:export CUDA_VISIBLE_DEVICES=0
-
use_gpu
不可与use_multiprocess
同时为true
。 如,使用GPU 3号卡启动串联服务:
export CUDA_VISIBLE_DEVICES=3
hub serving start -c deploy/hubserving/ocr_system/config.jso
发送测试请求
配置好服务端,可使用以下命令发送预测请求,获取预测结果:
python tools/test_hubserving.py --server_url=server_url --image_dir=image_path
需要给脚本传递2个参数:
-
server_url
:服务地址,格式为http://[ip_address]:[port]/predict/[module_name]
例如,如果使用配置文件启动分类,检测、识别,检测+分类+识别3阶段,表格识别和PP-Structure服务并为每个服务修改了port,那么发送请求的url将分别是:http://127.0.0.1:8865/predict/ocr_det http://127.0.0.1:8866/predict/ocr_cls http://127.0.0.1:8867/predict/ocr_rec http://127.0.0.1:8868/predict/ocr_system http://127.0.0.1:8869/predict/structure_table http://127.0.0.1:8870/predict/structure_system http://127.0.0.1:8870/predict/structure_layout http://127.0.0.1:8871/predict/kie_ser http://127.0.0.1:8872/predict/kie_ser_re
-
image_dir
:测试图像路径,可以是单张图片路径,也可以是图像集合目录路径 -
visualize
:是否可视化结果,默认为False -
output
:可视化结果保存路径,默认为./hubserving_result
访问示例:
python tools/test_hubserving.py --server_url=http://127.0.0.1:8868/predict/ocr_system --image_dir=./doc/imgs/ --visualize=false
python tools/test_hubserving.py --server_url=http://127.0.0.1:8868/predict/ocr_system --image_dir=./test/img/imgs_words/en/word_1.png
自定义修改服务模块
如果需要修改服务逻辑,你一般需要操作以下步骤(以修改ocr_system
为例):
- 1、 停止服务
hub serving stop --port/-p XXXX
- 2、 到相应的
module.py
和params.py
等文件中根据实际需求修改代码。
例如,如果需要替换部署服务所用模型,则需要到params.py
中修改模型路径参数det_model_dir
和rec_model_dir
,如果需要关闭文本方向分类器,则将参数use_angle_cls
置为False
,当然,同时可能还需要修改其他相关参数,请根据实际情况修改调试。 强烈建议修改后先直接运行module.py
调试,能正确运行预测后再启动服务测试。 注意 PPOCR-v3识别模型使用的图片输入shape为3,48,320
,因此需要修改params.py
中的cfg.rec_image_shape = "3, 48, 320"
,如果不使用PPOCR-v3识别模型,则无需修改该参数。 - 3、 卸载旧服务包
hub uninstall ocr_system
- 4、 安装修改后的新服务包
hub install deploy/hubserving/ocr_system/
- 5、重新启动服务
hub serving start -m ocr_system
常见问题
1050TI适配版本,否则出现乱码
- cuda=11.2
- cudnn=8.1.1.33
- paddlepaddle-gpu=2.3.2
python -m pip install paddlepaddle-gpu==2.3.2.post112 -f https://www.paddlepaddle.org.cn/whl/windows/mkl/avx/stable.html
如果conda install在线安装超时失败,可以下载到本地安装bz2包
报错如:
CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/win-64/paddlepaddle-gpu-2.6.1-py38_gpu_cuda11.7_windows.tar.bz2>
Elapsed: -
手动本地安装:
conda install --use-local paddlepaddle-gpu-2.6.1-py38_gpu_cuda11.7_windows.tar.bz2
conda install --use-local cudnn-8.4.1.50-hf5f08ae_0.tar.bz2
...