可以正常运行 TensorRT 推理 ，但是最后会报错 C++ Traceback (most recent call last): 0 phi::OneDNNContextThreadLocals::Body::~Body() 1 phi::OneDNNContext::Impl::ResetBlobMap(void*)

[zhanghongyong123456]

Checklist:

• 查找历史相关issue寻求解答
• 翻阅FAQ
• 翻阅PaddleX 文档
• 确认bug是否在新版本里还未修复

描述问题

复现

结果已保存至 output 目录

---

C++ Traceback (most recent call last):

0 phi::OneDNNContextThreadLocals::Body::~Body()
1 phi::OneDNNContext::Impl::ResetBlobMap(void*)

---

Error Message Summary:

FatalError: Process abort signal is detected by the operating system.
[TimeInfo: *** Aborted at 1748422185 (unix time) try "date -d @1748422185" if you are using GNU date ***]
[SignalInfo: *** SIGABRT (@0xa64b) received by PID 42571 (TID 0x7f6fe11d1740) from PID 42571 ***]

Aborted (core dumped)

1. 高性能推理

   • 您是否完全按照高性能推理文档教程跑通了流程？

2. 服务化部署

   • 您是否完全按照服务化部署文档教程跑通了流程？
     是的
   • 您在服务化部署中是否有使用高性能推理插件？
     使用的 TensorRT
   • 您使用了哪一种服务化部署方案？
     trt
   • 如果是多语言调用的问题，请给出调用示例子。
     from paddlex import create_pipeline
     import time
     import os

创建TensorRT缓存目录

trt_cache_dir = "./trt_engines"
os.makedirs(trt_cache_dir, exist_ok=True)
os.makedirs("output", exist_ok=True)

def main():
# 记录加载模型的时间
s1 = time.time()

# 使用create_pipeline创建OCR产线
pipeline = create_pipeline(
    pipeline="OCR",  # 使用通用OCR产线
    device="gpu",    # 使用GPU设备
    device_id=0,     # 使用GPU ID为0的设备
    backend="trt",   # 使用TensorRT后端
    precision="fp32" # 使用FP32精度
)

e1 = time.time()
print(f"模型加载总时间: {e1-s1:.4f}秒")

# 读取图像
image_path = "image14.png"

# 记录推理时间
s2 = time.time()

# 执行OCR推理
result = pipeline.predict(image_path)

e2 = time.time()
print(f"OCR推理总时间: {e2-s2:.4f}秒")

# 打印结果
for res in result:
    res.print()
    res.save_to_img("output")
    res.save_to_json("output")

print(f"结果已保存至 output 目录")

if name == "main":
main()
3. 端侧部署
* 您是否完全按照端侧部署文档教程跑通了流程？

* 您使用的端侧设备是？对应的PaddlePaddle版本和PaddleLite版本分别是什么？

3. 您使用的模型和数据集是？
   ppocr v5
4. 请提供您出现的报错信息及相关log

环境

1. 请提供您使用的PaddlePaddle、PaddleX版本号、Python版本号
   python 3.10 3.0版本
2. 请提供您使用的操作系统信息，如Linux/Windows/MacOS
   ubuntu
3. 请问您使用的CUDA/cuDNN的版本号是？ cuda 11.8 cudnn 8.9.6.50

[Bobholamovic]

你好，请问是这个问题不：PaddlePaddle/PaddleOCR#15422

[zhanghongyong123456]

你好，请问是这个问题不：PaddlePaddle/PaddleOCR#15422

是这个问题，我第一次也用 paddleocr 出现有这个问题（当时是 conda中cudnn8.9.6.50 版本和ubuntu 环境中cudnn 8.9.7不同），我以为是我环境问题，然后按照 教程重新安装环境使用paddlex 进行trt推理，依旧出现这个问题

[Bobholamovic]

这是一个bug，我们预计将在下一个patch版本（PaddleOCR 3.0.1）修复，感谢反馈～

[zhanghongyong123456]

这是一个bug，我们预计将在下一个patch版本（PaddleOCR 3.0.1）修复，感谢反馈～

大佬 还有一个问题，我使用trt可以快速 推理 但是返回是一个迭代器，怎么能快速从迭代器获取 json数据呢，我测试一个图片文本多的，返回字典需要12秒之久，

[Bobholamovic]

实际上步骤2并没有真正执行推理；直到步骤3遍历迭代器的时候，才会执行推理，所以步骤3可以观察到明显的耗时增加。这里有一个例子帮助理解这一行为：

#3730

也就是说，当前情况下，实际推理耗时（步骤3的耗时）需要12s。如果希望减少耗时，可考虑如下方法：

1. 调整OCR产线的参数，例如text_det_limit_xxx参数，平衡速度和精度。
2. 开启高性能推理。详情可参考PaddleX高性能推理指南。
3. 结果可视化也需要时间，如果不需要结果图，可以考虑去掉res.save_to_img。
4. 如果结果没有落盘需求，不必执行res.save_to_json，res本身就包含了结果信息。

[zhanghongyong123456]

实际上步骤2并没有真正执行推理；直到步骤3遍历迭代器的时候，才会执行推理，所以步骤3可以观察到明显的耗时增加。这里有一个例子帮助理解这一行为：

#3730

也就是说，当前情况下，实际推理耗时（步骤3的耗时）需要12s。如果希望减少耗时，可考虑如下方法：

1. 调整OCR产线的参数，例如text_det_limit_xxx参数，平衡速度和精度。
2. 开启高性能推理。详情可参考PaddleX高性能推理指南。
3. 结果可视化也需要时间，如果不需要结果图，可以考虑去掉res.save_to_img。
4. 如果结果没有落盘需求，不必执行res.save_to_json，res本身就包含了结果信息。

我以为第二步已经 实现了推理结果，采用了 trt 高性能推理，这是我的代码，如果是第三步迭代才算推理，那么总的时间就不如 onnx 推理快，这不合理吧，不打印不保存json ，时间依旧很久，这个如何解决呢，

，以下是V100 测试的 速度：

[Bobholamovic]

想问下这个create_pipelineOCR具体是怎么实现的呢

[zhanghongyong123456]

想问下这个create_pipelineOCR具体是怎么实现的呢

这个就是create_pipeline，这里应该是写错了，环境是是按照高性能paddlex 构建的，from paddlex import create_pipeline

[Bobholamovic]

可以提供一下执行日志吗？

[zhanghongyong123456]

可以提供一下执行日志吗？

Creating model: ('PP-LCNet_x1_0_doc_ori', None)
Using official model (PP-LCNet_x1_0_doc_ori), the model files will be automatically downloaded and saved in /root/.paddlex/official_models.
WARNING: OMP_NUM_THREADS set to 12, not 1. The computation speed will not be optimized if you use data parallel. It will fail if this PaddlePaddle binary is compiled with OpenBlas since OpenBlas does not support multi-threads.
PLEASE USE OMP_NUM_THREADS WISELY.
Creating model: ('UVDoc', None)
Using official model (UVDoc), the model files will be automatically downloaded and saved in /root/.paddlex/official_models.
Creating model: ('PP-LCNet_x0_25_textline_ori', None)
Using official model (PP-LCNet_x0_25_textline_ori), the model files will be automatically downloaded and saved in /root/.paddlex/official_models.
Creating model: ('PP-OCRv5_mobile_det', None)
Using official model (PP-OCRv5_mobile_det), the model files will be automatically downloaded and saved in /root/.paddlex/official_models.
Creating model: ('PP-OCRv5_mobile_rec', None)
Using official model (PP-OCRv5_mobile_rec), the model files will be automatically downloaded and saved in /root/.paddlex/official_models.
模型加载总时间: 4.1162秒
Resized image size (4032x3024) exceeds max_side_limit of 4000. Resizing to fit within limit.
Image resized to 4000x3000
OCR推理总时间: 0.0074毫秒
<generator object AutoParallelSimpleInferencePipeline.predict at 0x7f537daf0820> QQQQQQQQQQQQ
['设置', '0', '系统、激活', 'Lenovo', '本地帐户', 'Windows 11 家庭中文版', '查找设置', '主页', '系统', '已激活', '激活状态', '+', '蓝牙和其他设备', 'A', '系统异常，一键修复！', '登录', '三', 'L', '网络和Internet', '个性化', 'XiaoXin 16 IRL8大佬们，刚买的电脑主要打游…', 'U', '口', '应用', '主机编号：MP2YNLW7', '国', '心', '帐户', '时间和语言', '正附', '√', 'CPU', '44℃', '显卡', '内存', '五', '13th Gen Intel® Corei7', 'Intel® UHD Graphics 128 MB', '16GB(5200MT/s)', '游戏', '白', '13620H', '文', '辅助功能', '巴', '主硬盘', '电池', '显示器', '隐私和安全性', '512GB固态硬盘（忆联）', '出厂设计容量：56.6Wh', '16.1英寸（345毫米x215毫米）', 'の', 'Windows 更新', '白', '主板', '声卡', '勿网卡', '藏', 'Senary', 'Intel Corporation', 'LENOVO', 'D', '17:16', 'nC0am', '中', '：', '今日热点', '英小口', '2025/4/27', 'Q搜索', 'W', '痛悼！著名翻译.']
提取耗时: 11.2359秒

---

C++ Traceback (most recent call last):

0 phi::OneDNNContextThreadLocals::Body::~Body()
1 phi::OneDNNContext::Impl::ResetBlobMap(void*)

---

Error Message Summary:

FatalError: Process abort signal is detected by the operating system.
[TimeInfo: *** Aborted at 1748492797 (unix time) try "date -d @1748492797" if you are using GNU date ***]
[SignalInfo: *** SIGABRT (@0x3b9) received by PID 953 (TID 0x7f550cd77740) from PID 953 ***]

Aborted (core dumped) 这是后台输出日志

[zhanghongyong123456]

可以提供一下执行日志吗？

是不是 backend =trt参数没起作用，应该添加 use_hpip=True, 这个参数

[zhanghongyong123456]

可以提供一下执行日志吗？

这是新的日志：Creating model: ('PP-LCNet_x1_0_doc_ori', None)
Using official model (PP-LCNet_x1_0_doc_ori), the model files will be automatically downloaded and saved in /root/.paddlex/official_models.
WARNING: OMP_NUM_THREADS set to 12, not 1. The computation speed will not be optimized if you use data parallel. It will fail if this PaddlePaddle binary is compiled with OpenBlas since OpenBlas does not support multi-threads.
PLEASE USE OMP_NUM_THREADS WISELY.
Using Paddle Inference backend
Paddle predictor option: device_type: gpu, device_id: None, run_mode: trt_fp32, trt_dynamic_shapes: {'x': [[1, 3, 224, 224], [1, 3, 224, 224], [8, 3, 224, 224]]}, cpu_threads: 8, delete_pass: [], enable_new_ir: True, enable_cinn: False, trt_cfg_setting: {'precision_mode': <PrecisionMode.FP32: 'FP32'>}, trt_use_dynamic_shapes: True, trt_collect_shape_range_info: True, trt_discard_cached_shape_range_info: False, trt_dynamic_shape_input_data: None, trt_shape_range_info_path: None, trt_allow_rebuild_at_runtime: True
Creating model: ('UVDoc', None)
Using official model (UVDoc), the model files will be automatically downloaded and saved in /root/.paddlex/official_models.
The Paddle Inference backend is selected with the default configuration. This may not provide optimal performance.
Using Paddle Inference backend
Paddle predictor option: device_type: gpu, device_id: None, trt_dynamic_shapes: {'img': [[1, 3, 128, 64], [1, 3, 256, 128], [8, 3, 512, 256]]}, run_mode: paddle, cpu_threads: 8, delete_pass: [], enable_new_ir: True, enable_cinn: False, trt_cfg_setting: {}, trt_use_dynamic_shapes: True, trt_collect_shape_range_info: True, trt_discard_cached_shape_range_info: False, trt_dynamic_shape_input_data: None, trt_shape_range_info_path: None, trt_allow_rebuild_at_runtime: True
Creating model: ('PP-LCNet_x0_25_textline_ori', None)
Using official model (PP-LCNet_x0_25_textline_ori), the model files will be automatically downloaded and saved in /root/.paddlex/official_models.
Using Paddle Inference backend
Paddle predictor option: device_type: gpu, device_id: None, run_mode: trt_fp32, trt_dynamic_shapes: {'x': [[1, 3, 80, 160], [1, 3, 80, 160], [8, 3, 80, 160]]}, cpu_threads: 8, delete_pass: [], enable_new_ir: True, enable_cinn: False, trt_cfg_setting: {'precision_mode': <PrecisionMode.FP32: 'FP32'>}, trt_use_dynamic_shapes: True, trt_collect_shape_range_info: True, trt_discard_cached_shape_range_info: False, trt_dynamic_shape_input_data: None, trt_shape_range_info_path: None, trt_allow_rebuild_at_runtime: True
Creating model: ('PP-OCRv5_mobile_det', None)
Using official model (PP-OCRv5_mobile_det), the model files will be automatically downloaded and saved in /root/.paddlex/official_models.
Using Paddle Inference backend
Paddle predictor option: device_type: gpu, device_id: None, run_mode: trt_fp32, trt_dynamic_shapes: {'x': [[1, 3, 32, 32], [1, 3, 736, 736], [1, 3, 4000, 4000]]}, cpu_threads: 8, delete_pass: [], enable_new_ir: True, enable_cinn: False, trt_cfg_setting: {'precision_mode': <PrecisionMode.FP32: 'FP32'>}, trt_use_dynamic_shapes: True, trt_collect_shape_range_info: True, trt_discard_cached_shape_range_info: False, trt_dynamic_shape_input_data: None, trt_shape_range_info_path: None, trt_allow_rebuild_at_runtime: True
Creating model: ('PP-OCRv5_mobile_rec', None)
Using official model (PP-OCRv5_mobile_rec), the model files will be automatically downloaded and saved in /root/.paddlex/official_models.
Using Paddle Inference backend
Paddle predictor option: device_type: gpu, device_id: None, run_mode: trt_fp16, trt_dynamic_shapes: {'x': [[1, 3, 48, 160], [1, 3, 48, 320], [8, 3, 48, 3200]]}, cpu_threads: 8, delete_pass: [], enable_new_ir: True, enable_cinn: False, trt_cfg_setting: {'precision_mode': <PrecisionMode.FP16: 'FP16'>}, trt_use_dynamic_shapes: True, trt_collect_shape_range_info: True, trt_discard_cached_shape_range_info: False, trt_dynamic_shape_input_data: None, trt_shape_range_info_path: None, trt_allow_rebuild_at_runtime: True
模型加载总时间: 3.6955秒
Resized image size (4032x3024) exceeds max_side_limit of 4000. Resizing to fit within limit.
Image resized to 4000x3000
OCR推理总时间: 0.0158毫秒
<generator object AutoParallelSimpleInferencePipeline.predict at 0x7f727628d3f0> QQQQQQQQQQQQ
E0529 13:03:20.543344 20182 helper.h:129] 1: [deconvolutionV2Runner.cpp::execute::277] Error Code 1: Cask (Cask deconvolution execution)
[]
提取耗时: 8.4039秒
json 输出总时间: 0.0000秒

---

C++ Traceback (most recent call last):

0 phi::OneDNNContextThreadLocals::Body::~Body()
1 phi::OneDNNContext::Impl::ResetBlobMap(void*)

---

Error Message Summary:

FatalError: Process abort signal is detected by the operating system.
[TimeInfo: *** Aborted at 1748495008 (unix time) try "date -d @1748495008" if you are using GNU date ***]
[SignalInfo: *** SIGABRT (@0x4ed6) received by PID 20182 (TID 0x7f74179e4740) from PID 20182 ***]

Aborted (core dumped)

[Bobholamovic]

看起来没有用到加速的推理后端。请阅读高性能推理指南，检查：

1. 是否安装了符合要求的版本的TensorRT？
2. 是否安装了Paddle2ONNX插件？