latest/version3.x/pipeline_usage/PaddleOCR-VL

[giscus[bot]]

latest/version3.x/pipeline_usage/PaddleOCR-VL

Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)

https://www.paddleocr.ai/latest/version3.x/pipeline_usage/PaddleOCR-VL.html

[MrBug1024]

The recognition accuracy seems to have some hints, but there is an obvious flaw. The recognition speed seems to be much slower than PP-STuctureV3 or PP-OCRv5. When using PP-STuctureV3 or PP-OCRv5, the RTX 4090 48GB consumes only 5-7GB of video memory. However, although PaddleOCR-VL-0.9B does have some hints about accuracy and consumes the same amount of video memory resources as PP-STuctureV3, its speed has decreased by at least 20-25 times. This is a common problem with Ai models and other visual models on the market today. Overall, we are not missing a model, but a "short and efficient" model that consumes GPU. A model with fewer resources, higher recognition accuracy, and faster speed must be a model that can transcend time

[ITFisher9201]

支持的cuda版本最小是多少

[MrBug1024]

最小版本没仔细看，但是我现的版本是12.9，好像11.x的有几个版本也可以，具体的查看官网首页安装选择提供一些官方认为最好的版本支持

[luoxzhg]

使用官方镜像：ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddle:3.2.0-gpu-cuda12.6-cudnn9.5
安装： pip install paddleocr[doc-parser]
运行命令：paddleocr doc_parser -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/paddleocr_vl_demo.png

报错：
（1）ImportError: libGL.so.1: cannot open shared object file: No such file or directory
（2）ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
解决之后，无法运行：

/usr/local/lib/python3.10/dist-packages/paddle/utils/decorator_utils.py:420: Warning: 
Non compatible API. Please refer to https://www.paddlepaddle.org.cn/documentation/docs/en/develop/guides/model_convert/convert_from_pytorch/api_difference/torch/torch.split.html first.
  warnings.warn(
Traceback (most recent call last):
  File "/usr/local/bin/paddleocr", line 7, in <module>
    sys.exit(console_entry())
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/__main__.py", line 26, in console_entry
    main()
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_cli.py", line 192, in main
    _execute(args)
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_cli.py", line 181, in _execute
    args.executor(args)
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_pipelines/paddleocr_vl.py", line 363, in execute_with_args
    perform_simple_inference(
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_utils/cli.py", line 62, in perform_simple_inference
    wrapper = wrapper_cls(**init_params)
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_pipelines/paddleocr_vl.py", line 63, in __init__
    super().__init__(**kwargs)
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_pipelines/base.py", line 67, in __init__
    self.paddlex_pipeline = self._create_paddlex_pipeline()
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_pipelines/base.py", line 105, in _create_paddlex_pipeline
    return create_pipeline(config=self._merged_paddlex_config, **kwargs)
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/pipelines/__init__.py", line 167, in create_pipeline
    pipeline = BasePipeline.get(pipeline_name)(
  File "/usr/local/lib/python3.10/dist-packages/paddlex/utils/deps.py", line 206, in _wrapper
    return old_init_func(self, *args, **kwargs)
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/pipelines/_parallel.py", line 103, in __init__
    self._pipeline = self._create_internal_pipeline(config, self.device)
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/pipelines/_parallel.py", line 158, in _create_internal_pipeline
    return self._pipeline_cls(
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/pipelines/paddleocr_vl/pipeline.py", line 127, in __init__
    self.vl_rec_model = self.create_model(vl_rec_config)
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/pipelines/base.py", line 106, in create_model
    model = create_predictor(
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/models/__init__.py", line 87, in create_predictor
    return BasePredictor.get(model_name)(
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/models/doc_vlm/predictor.py", line 66, in __init__
    self.infer, self.processor = self._build(**kwargs)
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/models/doc_vlm/predictor.py", line 152, in _build
    model = PaddleOCRVLForConditionalGeneration.from_pretrained(
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/models/common/vlm/transformers/model_utils.py", line 1941, in from_pretrained
    state_dict = load_state_dict(
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/models/common/vlm/transformers/model_utils.py", line 254, in load_state_dict
    with safe_open(checkpoint_file, framework="paddle") as f:
safetensors_rust.SafetensorError: framework paddle is invalid

[luoxzhg]

需要安装第三条命令里的 "safetensors"

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[sunsssyc]

本地部署推理服务后，怎么增加前端并连通后端服务呢，有例子吗

[johnymoo]

it works for me by using client, not sure how to achieve it using http api..

pipeline = PaddleOCRVL(
            vl_rec_backend="vllm-server", 
            vl_rec_server_url="http://127.0.0.1:8118/v1"
        )
result = pipeline.predict(image_path)
res = result[0]
 save_path = "client_output_1"
            
            # 保存为 JSON 格式
            if hasattr(res, 'save_to_json'):
                res.save_to_json(save_path=save_path)
                print(f"💾 JSON 结果已保存到: {save_path}/")
            
            # 保存为 Markdown 格式
            if hasattr(res, 'save_to_markdown'):
                res.save_to_markdown(save_path=save_path)
                print(f"📝 Markdown 结果已保存到: {save_path}/")
            ```

[xiaohan815]

我试过这个命令是ok的:

curl -X POST http://127.0.0.1:8118/v1/chat/completions
-H "Content-Type: application/json"
-d '{
"model": "PaddleOCR-VL-0.9B",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "请识别这张图片中的文字内容"
},
{
"type": "image_url",
"image_url": {
"url": "https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/pp_ocr_vl_demo.png"
}
}
]
}
],
"max_tokens": 1000,
"temperature": 0.1
}'

[wanshichenguang]

客户端调用是这个意思吗？
ModuleNotFoundError: No module named 'paddle'

[coffee3699]

客户端调用需要安装paddle环境，和服务端是两套环境

[johnymoo]

need to install :
"paddleocr[doc-parser]>=3.0.0",
"paddlepaddle>=3.1.1",

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[seraph900112]

这目前只支持页面作为输入？ 没有支持单个元素识别的方法吗？

[Fanzaijun]

docker run
-it
--rm
--gpus all
--network host
ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddlex-genai-vllm-server
paddlex_genai_server --model_name PaddleOCR-VL-0.9B --host 0.0.0.0 --port 8118 --backend vllm 这个部署之后，我怎么对接api，不通过客户端的方式

[HUbinand]

你不会想像VLLM部署模型一样提供一个url吧

[Fanzaijun]

这是标准的open ai，不能返回图片和文字结合md

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[HUbinand]

太难部署了
1）通过docker部署官方镜像，第一官方镜像12GB为什么那么大，第二，dokcer的官方镜像需要NVIDIA Container Toolkit工具，才能让容器和宿主机互通，这个NVIDIA Container Toolkit工具又很难安装，我看官方是不支持很多操作系统。
2）通过 PaddleOCR CLI 安装的话，没有说明清楚python版本和cuda版本vllm版本，这样下来完全是盲猜，比如我的云服务器是cuda是11.8版本，但是执行paddleocr install_genai_server_deps vllm 命令，自动去下载了12.x版本cuda的且vllm版本是10.2的这样导致各种报错。非常难本地部署。。。。。。。
建议：
文档写清楚前置条件
1）GUP算力需要多少
2）python版本需要多少
3）vllm版本需要多少
4）cuda版本需要多少
5）paddlepaddle-gpu怎么来的

最好的方法就是把官方的dokcer.yaml文件发出来给大家参考一下

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[xj-github528]

用这个方法https://zhuanlan.zhihu.com/p/669281604手动下载ctk（toolkit）成功了。

[neutron-L]

请问怎么用paddlex部署本地下载的PaddleOCR-VL模型，没有参数可以指定模型路径，修改配置文件好像也不行

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[YJX-01]

registry.baidubce.com/paddlepaddle/paddle:3.2.0-gpu-cuda12.9-cudnn9.9 （及其他安装指南推荐）的3.2.0镜像是否支持3.3.0的pipeline模式？如果不支持能否提供适用于3.3.0的镜像？

[Bobholamovic]

我们将在近期提供专用镜像，以及基于Docker Compose的一键部署方式。

[YangYongAn]

目前哪些云厂商支持直接使用啦

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296 我们是云厂商

[lhdd7536]

效果比之前的模型好多了，对于复杂表格识别仍有一两处错误，paddleocr什么时候可以支持二次微调？

[lhdd7536]

找到了，在ERNIE微调

[codetc01]

您好，我想询问您一下，您尝试微调成功了吗？

[Bobholamovic]

可以使用ERNIE微调：https://github.com/PaddlePaddle/ERNIE/blob/release/v1.4/docs/paddleocr_vl_sft_zh.md

[dalaeyelids]

为什么检测锚框识别出了header，但是输出的md中却没有header呢；另外是否支持自定义prompt

[guweixin]

[guweixin]

只能使用WSL么？

[Bobholamovic]

目前Windows暂时只支持使用WSL或者Docker，不过我们正在适配中，预计很快就可以支持Windows原生部署。

[lilivsea]

预计什么时候出支持CPU的版本

[Bobholamovic]

最新版本已经支持x86-64 CPU，可以通过pip install -U paddlex升级paddlex，体验最新功能。

[Miao-J]

什么时候能出个使用vllm的离线推理demo啊

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[cloudfool]

请问
1.支持多卡部署吗？
2.如何进一步提升速度，已经采用了docker compose服务化部署，感觉速度还是比较慢

[chuanSir123]

文本位置有bug，命名bbox有2个，但是确将文本放入了一个bbox中，例如下面第10题是第二个bbox中的：
{
"block_label": "text",
"block_content": "9.[较易] 在不超过 15 的自然数中，质数有 3 个。\n10.[较易] 在不超过 15 的自然数中，双数有 6 个。",
"block_bbox": [
35,
194,
421,
229
],
"block_id": 3,
"block_order": 3
},
{
"block_label": "text",
"block_content": "",
"block_bbox": [
34,
241,
445,
280
],
"block_id": 4,
"block_order": 4
}

[chuanSir123]

你好，文本位置有bug，明明bbox有2个，但是确将文本放入了一个bbox中，例如下面第10题是第二个bbox中的：
{
"block_label": "text",
"block_content": "9.[较易] 在不超过 15 的自然数中，质数有 3 个。\n10.[较易] 在不超过 15 的自然数中，双数有 6 个。",
"block_bbox": [
35,
194,
421,
229
],
"block_id": 3,
"block_order": 3
},
{
"block_label": "text",
"block_content": "",
"block_bbox": [
34,
241,
445,
280
],
"block_id": 4,
"block_order": 4
}

[xuym-inhand]

按照1和4的内容部署了服务，并且通过http调用了接口。接口返回了prunedResult 和 md 格式的文档。但是现在我只需要用到 md 的文档，能不能通过什么设置，让接口不返回 prunedResult 字段，减少网络请求？

[xuym-inhand]

怎么判断是否有用上推理加速框架？感觉用和没用的耗时差不多

[hyp530]

请问大家PaddleOCR-VL的运行需要多少显存？我用RTX3090 24G报错显存不足~~ 如果用两块24G显存怎么部署？

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[MrPXK]

window服务化部署 我用的是Docker Compose 部署的，然后paddlepaddle/paddleocr-genai-vllm-server:latest-offline 启动过程中报错 cuda 12.8 gpu算力7.5 ，8GB 报错如下，该如何解决啊
Process EngineCore_DP0:

(EngineCore_DP0 pid=45) Traceback (most recent call last):

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap

(EngineCore_DP0 pid=45) self.run()

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/multiprocessing/process.py", line 108, in run

(EngineCore_DP0 pid=45) self._target(*self._args, **self._kwargs)

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/engine/core.py", line 722, in run_engine_core

(EngineCore_DP0 pid=45) raise e

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/engine/core.py", line 709, in run_engine_core

(EngineCore_DP0 pid=45) engine_core = EngineCoreProc(*args, **kwargs)

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/engine/core.py", line 505, in init

(EngineCore_DP0 pid=45) super().init(vllm_config, executor_class, log_stats,

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/engine/core.py", line 91, in init

(EngineCore_DP0 pid=45) self._initialize_kv_caches(vllm_config)

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/engine/core.py", line 192, in _initialize_kv_caches

(EngineCore_DP0 pid=45) kv_cache_configs = [

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/engine/core.py", line 193, in

(EngineCore_DP0 pid=45) get_kv_cache_config(vllm_config, kv_cache_spec_one_worker,

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/core/kv_cache_utils.py", line 1110, in get_kv_cache_config

(EngineCore_DP0 pid=45) check_enough_kv_cache_memory(vllm_config, kv_cache_spec, available_memory)

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/core/kv_cache_utils.py", line 691, in check_enough_kv_cache_memory

(EngineCore_DP0 pid=45) raise ValueError("No available memory for the cache blocks. "

(EngineCore_DP0 pid=45) ValueError: No available memory for the cache blocks. Try increasing gpu_memory_utilization when initializing the engine.

[MrPXK]

期待回复

[MrPXK]

自已已经解决，需要修改下载的compose.yaml文件。修改paddleocr-vlm-server 下的配置添加挂载本地的配置文件，利用传参的方式修改vllm的配置参数。算是投机取巧的方式
restart: unless-stopped
volumes:
- ./vllm_config.json:/tmp/vllm_config.json
environment:
- BACKEND=vllm --backend_config /tmp/vllm_config.json
看镜像的inspect中可以传入一个BACKEND参数，就试了下 顺便拼上 --backend_config /tmp/vllm_config.json 结果还真可以vllm_config.json的内容如下
{
"gpu_memory_utilization": 0.8,
"max_model_len": 8192,
"max_num_batched_tokens": 32768
}

[lixingxing1231]

能不能完善下微调的文档，包括微调后vllm部署

[MrPXK]

支持设置参数 如果遇到pdf中有图片和图表的 不想识别的 可以原封不动的返回给图片吗

[FergusChen]

想问下，使用 Docker Compose 部署的服务返回结果貌似和pipeline.predict()方法有不少差异。
我本身使用的是parsing_res_list中的block_label和block_content做文本抽取，可以充分利用block_label做判断，但Docker Compose 部署的服务中，block_label如果是image或chart，block_content就为空，其结果全都合并到markdown的text和images中了，这样很不方便，也无法应用block_label参数，感觉不太合理。相比之下，pipeline.predict()就很清晰，甚至block_content也是完整的markdown格式。
目前没有看到哪个参数或配置可以调整返回值的格式。是否可以新建一个docker镜像完善一下呢？（后续还是希望能用docker版本）

[Bobholamovic]

Docker Compose部署的服务基本上支持pipeline.predict的全部参数，且效果一致。可以参考服务化部署的“客户端调用方式”一节了解参数对应关系。

[FergusChen]

谢谢回应，不过我说的问题并不是参数控制的，问题是：为什么Docker Compose 部署的服务中, block_label如果是image或chart，block_content就为空，而不是像pipeline.predict()那样是图片的html标签，可以用于取图片的image对象或base64字符串。当block_label为title的时候，block_content也不是markdown格式的，pipline.predict()就自动是markdown格式的。
似乎没有参数控制这个。

[Bobholamovic]

可以贴一下你执行pipeline.predict使用的参数吗？你所提到的行为看起来是format_block_content和use_chart_recognition参数控制的，这两个参数很有可能在predict中被设置为True，如果是这样的话，只需要在请求服务的时候对应设置formatBlockContent和useChartRecognition参数为true即可。

[FergusChen]

哦，在初始化PaddleOCRVL时确实设置了use_chart_recognition=True和format_block_content=True 。然后按照您回复的设置请求参数，响应和使用pipline.predict()时一样了。非常感谢～

[JohnHua2015]

使用官方地址测试驾驶证，开启 “enable document unwarping” 功能，识别结果很准确，但是使用 PaddleOCR-VL模型，通过服务化部署的 API，post 方式的 layout-parsing接口调用，出生日期这些项无法解析，是什么原因？
payload = {
"file": image_data, # Base64编码的文件内容或者文件URL
"fileType": 1, # 文件类型，1表示图像文件
"use_doc_unwarping": True, # 可选：开启文档矫正
"use_doc_orientation_classify": False, # 可选：是否自动检测文档方向
"use_chart_recognition": False # 可选：是否识别图表
}

    response = requests.post(”http://localhost:8080/layout-parsing“, json=payload)

[1987617587]

请问如果对 服务化部署后的 接口调用识别结果进行删减？
诉求：目前返回的信息太全了对于大部分使用者来说并不需要。比如我只需要返回接口状态和 识别后的markdown 的文本内容，请问在哪里修改？

[Bobholamovic]

https://github.com/PaddlePaddle/PaddleX/blob/release/3.3/paddlex/inference/serving/basic_serving/_pipeline_apps/paddleocr_vl.py

[YXlukarov]

啥时候适配昇腾NPU啊

[Bobholamovic]

已经在适配中，预计近期发布。

[Echo-Forever]

本地部署后 对于pdf 文件中手写体 部分的识别的效果很差 无法对齐官方demo 请问要调整什么参数增强手写体部分的识别

[psychedelicosisyphus]

我想了解一下，cpu推理超级慢有什么解决方法吗？同一页pdf，比L20慢了26倍，有什么cpu加速方法呢？

[Bobholamovic]

这个模型太大了，CPU只适合用来“跑通”，不适合用于生产，强烈建议使用GPU或其他硬件加速。