昇腾910B + aarch64 启动mineru后，解析速度很慢

[penond]

昇腾910B + aarch64 启动mineru后，解析速度很慢，感觉是没有用上npu，npu里面的负载也没增加

模型已下载到本地的：
mineru-models-download --source modelscope --model_type pipeline

启动命令：
export ASCEND_RT_VISIBLE_DEVICES=0
mineru -p 三江地区.pdf -o out-test/ -b pipeline --source local

如图：

[dosubot]

昇腾910B + aarch64 上 MinerU 解析速度慢，主要原因可能有：

1. MinerU 在 pipeline 模式下对昇腾 NPU 的优化有限，如果依赖或环境配置不完整，容易回退到 CPU，导致速度极慢。可以通过设置环境变量 MINERU_DEVICE_MODE=npu 强制使用 NPU，但前提是 torch_npu 及昇腾驱动、固件都已正确安装并挂载，且模型格式（如 zip）兼容 NPU 加载 参考。

2. 如果环境里装了 torch_npu 包，即使你想用 CPU，MinerU 也会尝试加载 NPU 相关库（如 libascend_hal.so），如果缺失会报错或性能异常。若不需要 NPU，建议卸载 torch_npu，并设置 MINERU_DEVICE_MODE=cpu，避免误用 NPU 路径 参考。

3. 昇腾 910B NPU 不支持 FlashAttention，模型会回退到 PyTorch 原生 attention，性能远低于 GPU（如 T4），CPU 和内存占用高，显存利用率低 参考。MinerU 2.0.3/2.0.6 存在 FlashAttention 报错，升级到 2.0.4 及以上版本可切换到 eager 模式，避免此类错误并提升兼容性 参考。

4. pipeline 模式本身没有 sgLang/vllm 加速，仅支持传统多模型流水线，硬件利用率受限，建议如需极致加速可关注 VLLM 模式（但目前仅支持 NVIDIA GPU）。

建议排查：

• 检查 torch_npu、驱动、固件、模型格式是否齐全，确认 NPU 能被正常识别和利用。
• 设置 MINERU_DEVICE_MODE=npu（如需 NPU），或 cpu（如只用 CPU），并确认环境变量生效。
• 升级 MinerU 至 2.0.4 及以上版本，避免 FlashAttention 相关报错。
• 若 NPU 性能仍不理想，可尝试批量处理大文件或多页 PDF，或切换到 CPU 模式对比速度。

相关讨论和配置细节可参考：

• 环境变量与设备模式设置
• 昇腾 910B NPU 性能与多卡支持
• FlashAttention 报错与版本升级建议
• NPU 性能瓶颈分析

如需进一步定位瓶颈，可贴出具体日志、设备利用率（如 npu-smi）、MinerU 版本等信息。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}    

[myhloli]

装一下torch_npu再试试

[xieyongshuai]

装一下torch_npu再试试
最新的VLM模型可以在NPU上运行吗

[uangshiyon]

昇腾910B + aarch64 上 MinerU 解析速度慢，主要原因可能有：

1. MinerU 在 pipeline 模式下对昇腾 NPU 的优化有限，如果依赖或环境配置不完整，容易回退到 CPU，导致速度极慢。可以通过设置环境变量 MINERU_DEVICE_MODE=npu 强制使用 NPU，但前提是 torch_npu 及昇腾驱动、固件都已正确安装并挂载，且模型格式（如 zip）兼容 NPU 加载 参考。
2. 如果环境里装了 torch_npu 包，即使你想用 CPU，MinerU 也会尝试加载 NPU 相关库（如 libascend_hal.so），如果缺失会报错或性能异常。若不需要 NPU，建议卸载 torch_npu，并设置 MINERU_DEVICE_MODE=cpu，避免误用 NPU 路径 参考。
3. 昇腾 910B NPU 不支持 FlashAttention，模型会回退到 PyTorch 原生 attention，性能远低于 GPU（如 T4），CPU 和内存占用高，显存利用率低 参考。MinerU 2.0.3/2.0.6 存在 FlashAttention 报错，升级到 2.0.4 及以上版本可切换到 eager 模式，避免此类错误并提升兼容性 参考。
4. pipeline 模式本身没有 sgLang/vllm 加速，仅支持传统多模型流水线，硬件利用率受限，建议如需极致加速可关注 VLLM 模式（但目前仅支持 NVIDIA GPU）。

建议排查：

• 检查 torch_npu、驱动、固件、模型格式是否齐全，确认 NPU 能被正常识别和利用。
• 设置 MINERU_DEVICE_MODE=npu（如需 NPU），或 cpu（如只用 CPU），并确认环境变量生效。
• 升级 MinerU 至 2.0.4 及以上版本，避免 FlashAttention 相关报错。
• 若 NPU 性能仍不理想，可尝试批量处理大文件或多页 PDF，或切换到 CPU 模式对比速度。

相关讨论和配置细节可参考：

• 环境变量与设备模式设置
• 昇腾 910B NPU 性能与多卡支持
• FlashAttention 报错与版本升级建议
• NPU 性能瓶颈分析

如需进一步定位瓶颈，可贴出具体日志、设备利用率（如 npu-smi）、MinerU 版本等信息。

To reply, just mention @dosu.

How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other    

你好，有适配华为npu的计划吗？

[myhloli]

@uangshiyon 本项目完全兼容torch和vllm生态，您可自行通过安装torch_npu和vllm_ascend来实现npu支持。

[lys791227]

@uangshiyon 本项目完全兼容torch和vllm生态，您可自行通过安装torch_npu和vllm_ascend来实现npu支持。

vllm_ascend 仍然很慢 解析一张图片17秒

[myhloli]

@uangshiyon 本项目完全兼容torch和vllm生态，您可自行通过安装torch_npu和vllm_ascend来实现npu支持。

vllm_ascend 仍然很慢 解析一张图片17秒

【昇腾NPU(910B3、910B4)部署embedding、reranker和mineru-2.5.4-哔哩哔哩】 https://b23.tv/q8OK0gG

这个速度看上去还是挺快的，可以参考这个视频试一下