V100 基于vllm-openai:v0.10.2无法使用vlm-vllm-async-engine

[zorogong]

🔎 Search before asking | 提交之前请先搜索

• I have searched the MinerU Readme and found no similar bug report.
• I have searched the MinerU Issues and found no similar bug report.
• I have searched the MinerU Discussions and found no similar bug report.

🤖 Consult the online AI assistant for assistance | 在线 AI 助手咨询

• I have consulted the online AI assistant but was unable to obtain a solution to the issue.

Description of the bug | 错误描述

采用仓库中的dockerfile构建镜像，dockerfile如下，由于gpu是v100，使用vllm-openai:v0.10.2作为基础镜像

# Use DaoCloud mirrored vllm image for China region for gpu with Ampere architecture and above (Compute Capability>=8.0)
# Compute Capability version query (https://developer.nvidia.com/cuda-gpus)
# FROM docker.m.daocloud.io/vllm/vllm-openai:v0.10.1.1
                                                                                                              
# Use the official vllm image
# FROM vllm/vllm-openai:v0.10.1.1
                                                                                                              
# Use DaoCloud mirrored vllm image for China region for gpu with Turing architecture and below (Compute Capability<8.0)
FROM docker.m.daocloud.io/vllm/vllm-openai:v0.10.2
                                                                                                              
# Use the official vllm image
# FROM vllm/vllm-openai:v0.10.2

# Install libgl for opencv support & Noto fonts for Chinese characters
RUN apt-get update && \
    apt-get install -y \
        fonts-noto-core \
        fonts-noto-cjk \
        fontconfig \
        libgl1 && \
    fc-cache -fv && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*
                                                                                                              
# Install mineru latest
RUN python3 -m pip install -U 'mineru[all]' -i https://mirrors.aliyun.com/pypi/simple --break-system-packages && \
    python3 -m pip cache purge
                                                                                                              
# Download models and update the configuration file
RUN /bin/bash -c "mineru-models-download -s modelscope -m all"
                                                                                                              
# Set the entry point to activate the virtual environment and run the command line tool
ENTRYPOINT ["/bin/bash", "-c", "export MINERU_MODEL_SOURCE=local && exec \"$@\"", "--"]

部署完成后，通过接口调用使用vlm-vllm-async-engine模型，api接口报如下错误：
mineru-api | (EngineCore_DP0 pid=32) raise RuntimeError("FlashInfer requires GPUs with sm75 or higher")
mineru-api | (EngineCore_DP0 pid=32) RuntimeError: FlashInfer requires GPUs with sm75 or higher

如果通过修改VLLM_USE_V1=0会导致其他错误

How to reproduce the bug | 如何复现

通过如下docker-compose部署
root@ecs-2025f066-ai:/comfyui_dir/mineru2.5# cat compose.yaml
services:
mineru-api:
image: mineru:2.5
container_name: mineru-api
restart: always
profiles: ["api"]
ports:
- 5007:8000
environment:
MINERU_MODEL_SOURCE: local
entrypoint: mineru-api
command:
--host 0.0.0.0
--port 8000
--gpu-memory-utilization 0.7 # If running on a single GPU and encountering VRAM shortage, reduce the KV cache size by this parameter, if VRAM issues persist, try lowering it further to 0.4 or below.
ulimits:
memlock: -1
stack: 67108864
ipc: host
deploy:
resources:
reservations:
devices:
- driver: nvidia
device_ids: [ "0" ]
capabilities: [ gpu ]

Operating System Mode | 操作系统类型

Linux

Operating System Version| 操作系统版本

DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=22.04
DISTRIB_CODENAME=jammy
DISTRIB_DESCRIPTION="Ubuntu 22.04.2 LTS"
PRETTY_NAME="Ubuntu 22.04.2 LTS"

Python version | Python 版本

3.12

Software version | 软件版本 (mineru --version)

>=2.5

Backend name | 解析后端

vlm

Device mode | 设备模式

cuda

[dosubot]

Hi @zorogong! I'm Dosu and I’m helping the MinerU team.

你的 V100（sm70）GPU 无法使用 MinerU 的 vlm-vllm-async-engine，因为 FlashInfer 要求显卡算力至少为 sm75（Ampere 架构及以上），V100 仅支持 sm70，硬件层面不兼容，无法通过配置或降级规避 参考。设置 VLLM_USE_V1=0 也会导致其他错误，因为当前 MinerU/vLLM 集成下 V100 没有稳定的 fallback 路径。

解决方案：建议切换到不依赖 FlashInfer 的后端，比如 pipeline 或 vlm-transformers，这类后端理论上可以在 V100 上正常运行 参考。只需在启动命令或 API 参数中将 backend 设置为 pipeline 或 vlm-transformers 即可。例如：

mineru-api --host 0.0.0.0 --port 8000 --backend pipeline

如需高性能异步推理，建议升级硬件到支持 sm75+ 的显卡（如 A100、3090、4090 等）。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}    

[myhloli]

FlashInfer requires GPUs with sm75 or higher

看上去像是设备太老不被支持，可以尝试卸载flashinfer让vllm选择其他后端

[myhloli]

或者不用docker直接在虚拟环境里装vllm，这个是不带flashinfer和flash-attn的，应该就能直接跑

[zorogong]

Hi @zorogong! I'm Dosu and I’m helping the MinerU team.

你的 V100（sm70）GPU 无法使用 MinerU 的 vlm-vllm-async-engine，因为 FlashInfer 要求显卡算力至少为 sm75（Ampere 架构及以上），V100 仅支持 sm70，硬件层面不兼容，无法通过配置或降级规避 参考。设置 VLLM_USE_V1=0 也会导致其他错误，因为当前 MinerU/vLLM 集成下 V100 没有稳定的 fallback 路径。

解决方案：建议切换到不依赖 FlashInfer 的后端，比如 pipeline 或 vlm-transformers，这类后端理论上可以在 V100 上正常运行 参考。只需在启动命令或 API 参数中将 backend 设置为 pipeline 或 vlm-transformers 即可。例如：

mineru-api --host 0.0.0.0 --port 8000 --backend pipeline
如需高性能异步推理，建议升级硬件到支持 sm75+ 的显卡（如 A100、3090、4090 等）。

To reply, just mention @dosu.

How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other    

因为看官方的说明文档，是支持Volta架构的使用vlm-vllm-async-engine的，Tesla V100就是该架构，目前使用vlm-transformers确实是没有问题的

[myhloli]

vLLM官方文档明确说明支持volta架构的v100：https://docs.vllm.ai/en/latest/getting_started/installation/gpu.html#requirements
MinerU项目完全兼容vLLM推理框架，所以也是支持Volta架构显卡的，可能vLLM的docker中内置的推理后端与Volta不兼容，可以尝试直接在python环境中安装本项目。
网络参考：https://zhuanlan.zhihu.com/p/1956047359613044602

[mengdeer589]

你应该使用lmdeploy，该推理框架在v100上表现极为优秀，然后mineru使用http后端即可

[verigle]

详细说说如何使用lmdeploy, 是否支持docker compsose一键启动？

[myhloli]

新版本已支持lmdeploy