QNN AOT编译错误

[zjj6084bty]

作者您好，我在按照https://ubiquitouslearning.github.io/mllm/qnn_backend/aot_execute.html教程部署QNN AOT的时候，执行python task.py tasks/build_x86_qnn_aot.yaml遇到以下报错，应该怎么解决？

[chenghuaWang]

是网络问题，build mllm 的时候会从 github 下载一些依赖的包。您可以删了现在构建出来的 build-xxx 文件夹再试试。

您可以通过在环境变量中设置：

export CPM_SOURCE_CACHE=/your/path/to/mllm/.cache/CPM

来缓存 CPM 下载回来的东西，这样就不用再次下载了

[zjj6084bty]

感谢，我现在已经成功完成了compile 程序的编译，但是在执行compile 程序的时候会出现以下错误信息：

我印象中似乎没有设置过/opt/qcom/aistack/qairt/2.41.0.251128 这个路径，这个路径可以修改吗？我应该怎么解决这个错误？

[chenghuaWang]

mllm/examples/qwen3_qnn_aot/compile_sha.cpp

Line 28 in 05c75f8

auto& qnn_env_path = Argparse::add<std::string>("-qnn_env|--qnn_env_path")

改这个 flag

[zjj6084bty]

作者您好，修改完这个flag之后重新执行compile 程序，出现以下警告信息然后显示“已杀死”：

这种情况应该怎么解决？

[chenghuaWang]

请问您的机器有多大的内存？图编译是非常消耗内存的，建议用 64GB 及以上的机器来编译。

[zjj6084bty]

我明白了，我用的是虚拟机跑的，只设置了8G内存，所以显示“已杀死”，那警告信息中说选择了禁用算子是否有影响？

[chenghuaWang]

这个是没有影响的，是预期中的行为

[zjj6084bty]

作者您好，在编译aot_run 程序的时候出现以下报错：

这是不是和我使用的Hexagon_SDK版本有关，因为我使用的是Hexagon_SDK/5.5.6.0，之前报过一次错误说： "Cannot retrieve hexagon tools from: /local/mnt/workspace/Qualcomm/Hexagon_SDK/5.5.6.0/tools/HEXAGON_Tools/19.0.04/Tools. Please check that hexagon tools version is correct. Expected: 19.0.04"。 然后我就直接修改了Makefile文件，将原本的HEXAGON_TOOLS_VERSION_X86 := 19.0.04修改成HEXAGON_TOOLS_VERSION_X86 := 8.7.06，这会不会是导致当前src/ops/IRoPE.cpp:134:72: error: no member named 'interface_scale' in 'Tensor'错误的原因？

[chenghuaWang]

hexagon 在 aot 模式下其实是不需要的。您可以使用 https://github.com/UbiquitousLearning/mllm/blob/main/tasks/build_sdk_android_qnn_aot.yaml 和 https://github.com/UbiquitousLearning/mllm/blob/main/tasks/build_sdk_x86_qnn_aot.yaml 来分别生成 android 需要的文件和 x86 需要的文件

[zjj6084bty]

我将这里build_android_qnn.yaml的改成build_sdk_android_qnn_aot.yaml，这样就没有编译Hexagon了，所以注释掉关于OP_PATH的命令，但是之后在运行
adb shell "cd /data/local/tmp && export LD_LIBRARY_PATH=. &&
./mllm-qwen3-aot-runner -m qwen3-1.7B-lpbq-sha.bin
-t qwen3-tokenizer.json -c config_1.7B.json --ar_len 32"
命令的时候出现以下报错，这是因为什么？（生成 x86 需要的文件暂时用的还是build_x86_qnn_aot.yaml，不知道这是否和这个错误有关？）

[chenghuaWang]

这是因为您的手机上缺少 openmp 的库，这个库在您的 NDK 工具中可以找到，具体位置我记不太清了，您可以搜搜。您把这个库从 NDK 中 push 到手机上的 /data/local/tmp 上就行了

[zjj6084bty]

作者您好，我将compile_sha.cpp中预填充计算图大小N设置为64，尝试编译大小为64的预填充计算图的时候，一直卡在这个位置，这是因为TCM的大小不足以支持块大小64的计算图吗？（N=32时可以顺利编译），这种情况我应该如何解决，从而可以获得预填充计算图大小为64的QNN上下文？

[chenghuaWang]

这里是 Qnn 在求解 vtcm 的排布规划，是预期的行为。可以 top 看一下程序有没有 hang 住，如果 CPU 还在占用的话，您可以多等等试试。