tianshu——企业及部署会有奇怪的bug，定位不到问题

[Chen-guangZ]

🔎 Search before asking | 提交之前请先搜索

• I have searched the MinerU Readme and found no similar bug report.
• I have searched the MinerU Issues and found no similar bug report.
• I have searched the MinerU Discussions and found no similar bug report.

🤖 Consult the online AI assistant for assistance | 在线 AI 助手咨询

• I have consulted the online AI assistant but was unable to obtain a solution to the issue.

Description of the bug | 错误描述

在使用代码仓中的tianshu企业及部署代码时发现问题
Downloading Model from https://www.modelscope.cn to directory: /root/.cache/modelscope/hub/models/OpenDataLab/PDF-Extract-Kit-1.0
Table-ocr rec ch: 90%|█████████████████████████████████████████████▋ | 1992/2223 [00:36<00:05, 39.18it/s]2025-10-30 23:29:58,728 - modelscope - INFO - Target directory already exists, skipping creation.
Table-ocr rec ch: 100%|███████████████████████████████████████████████████| 2223/2223 [00:37<00:00, 59.04it/s]
OCR-rec Predict: 49%|████████████████████████▉ | 5928/12098 [03:15<08:45, 11.73it/s]2025-10-30 23:30:46,159 - MainProcess[49201] - litserve.server - ERROR - server.py:1445 - ⚠️ Worker inference-worker died; shutting down
2025-10-30 23:30:46,159 - MainProcess[49201] - litserve.server - INFO - server.py:1067 - Shutting down LitServe...
OCR-rec Predict: 49%|█████████████████████████ | 5940/12098 [03:15<06:18, 16.25it/s]INFO: Shutting down
INFO: Waiting for application shutdown.
INFO: Application shutdown complete.
INFO: Finished server process [50693]

这个error会导致后续进程都被杀死 整个服务就断掉了
无法定位错误
换了两台服务器都会有这个问题，H800,
并且感觉这个问题是偶发的 有时候有 有的时候无
启动指令：
python start_all.py
--api-port 8000
--output-dir /TSG/outputs/
--worker-port 9000
--accelerator cuda
--workers-per-device 2
--devices 0,1
单卡80g显存，肯定不是oom，这就很奇怪了 测试仅仅只传了20个文件
求助大佬

How to reproduce the bug | 如何复现

python start_all.py
--api-port 8000
--output-dir /TSG/outputs/
--worker-port 9000
--accelerator cuda
--workers-per-device 2
--devices 0,1

利用相同地址下官方给的client.方式提交任务
任务提交都没问题
跑起来就会偶发这个error

Operating System Mode | 操作系统类型

Linux

Operating System Version| 操作系统版本

Ubuntu 22.04

Python version | Python 版本

3.11

Software version | 软件版本 (mineru --version)

=2.5

Backend name | 解析后端

pipeline

Device mode | 设备模式

cuda

[dosubot]

Hi @Chen-guangZ! I'm Dosu and I’m helping the MinerU team.

你遇到的 tianshu 多 GPU 多 worker 部署下 worker 偶发崩溃（inference-worker died; shutting down），不是 OOM，确实是社区和源码层面已知但难以完全避免的并发/资源隔离类问题，主要原因和排查建议如下：

1. 多 GPU 显存隔离与并发安全
   tianshu/矿枢企业部署已在 2025-10 合并的 v2.0 架构升级中，修复了多进程 GPU 显存竞争和隔离问题，确保每个 worker 进程只用分配到的 GPU（通过 CUDA_VISIBLE_DEVICES 环境变量），并用 SQLite 原子操作防止任务重复和并发冲突。请确保你用的是最新版 tianshu 代码和 MinerU >=2.5.0，worker 启动日志应有 CUDA_VISIBLE_DEVICES=... 的提示，且每个进程只看到一张卡，彻底解决多卡显存冲突。相关PR和架构说明 README

2. worker 死亡导致服务整体退出
   tianshu 的 start_all.py 启动脚本会监控所有子进程（API、worker、scheduler），只要有一个进程异常退出（如 worker 崩溃），主进程会自动关闭所有服务。这是为了避免任务队列和状态不一致，但也意味着任何 worker 死亡都会导致整体服务中断。源码细节

3. worker 崩溃的常见根因

   • C++/CUDA/PyTorch 底层 bug：如模型推理代码、驱动、库兼容性问题，或极少数输入触发的底层异常（Python 捕获不到，进程直接被 kill）。
   • 系统 RAM 或 swap 耗尽：即使 GPU 显存很大，批量推理时系统内存不足也会被 OOM killer 杀死 worker，建议用 htop、free -h、dmesg 监控系统级 OOM。
   • 批量参数过大：如 MINERU_MIN_BATCH_INFERENCE_SIZE、rec_batch_num，建议适当调小，减少单 worker 内存压力。批量参数说明
   • PyTorch/CUDA 版本不兼容：确保 PyTorch、CUDA 驱动、toolkit 与 MinerU 版本完全匹配，torch.cuda.is_available() 返回 True 不能保证环境没问题。相关案例

4. 调优建议

   • 升级 tianshu 和 MinerU 到最新版本，确保合入了多 GPU 隔离和并发安全修复。
   • 启动前设置 export OMP_NUM_THREADS=1，防止多线程死锁。
   • 适当降低 --workers-per-device 或 --devices 数量，先单卡单 worker 验证稳定性，再逐步提升并发。
   • 设置 MINERU_VIRTUAL_VRAM_SIZE 限制单 worker 显存（如 8/16/32），并监控 nvidia-smi。
   • 检查 dmesg、docker logs 是否有 OOM killer 或进程被 kill 的记录。
   • 如遇到极端偶发崩溃，可考虑定期重启服务或用 Docker 部署提升隔离性。

5. 日志与定位
   worker 主循环和任务处理异常都有详细日志，建议开启 MINERU_LOG_LEVEL=DEBUG，并关注崩溃前后是否有 C++/CUDA 错误、内存分配失败、模型加载异常等信息。worker 代码异常捕获逻辑

如需进一步定位，可贴出更详细的 worker 崩溃前后日志、dmesg OOM 记录、PyTorch/CUDA 版本等环境信息。
如果升级和上述调优后仍有偶发 worker 死亡，基本可以判断是极少数底层 bug 或资源碎片化导致的进程级崩溃，建议通过降低并发、定期重启、批量参数调优等方式规避。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}    

[magicyuan876]

https://github.com/magicyuan876/mineru-tianshu
你可以试试这个，mineru仓库中是初期版本，后续为了实现一站式支持各种格式以及其他的解析引擎，都在这个项目里面维护了，日志记录比较详细，你可以试试用这个docker部署一下试试，看有没有问题，如果有遇到问题欢迎issue反馈。 @Chen-guangZ

[Chen-guangZ]

https://github.com/magicyuan876/mineru-tianshu 你可以试试这个，mineru仓库中是初期版本，后续为了实现一站式支持各种格式以及其他的解析引擎，都在这个项目里面维护了，日志记录比较详细，你可以试试用这个docker部署一下试试，看有没有问题，如果有遇到问题欢迎issue反馈。 @Chen-guangZ

感谢佬 我去试试新仓库 稍晚一些我做下测试 感谢感谢