Skip to content

matmul_v2进行paddleslim自动压缩量化后,不能使用paddlelite进行转换 #1907

@sg-goldrush

Description

@sg-goldrush

paddlepaddle2.5.2 paddleslim2.6, paddlelite2.13rc0, python 3.10 平台 x86

目前,我模型中有一个matmul_v2算子,我使用paddleslim的自动压缩量化后,使用paddle inference可以正确推理量化后的模型;但使用paddle_lite_opt --model_dir=./inference_model_q --optimize_out=p --optimize_out_type=naive_buffer --valid_targets=x86 ,报错如下:

1.Model is successfully loaded!
[F 2/ 3 22:10: 6.227 ...optimizer/mir/static_kernel_pick_pass.cc:180 Apply] Check failed: !instruct.kernels().empty(): No kernels found for matmul_v2
Aborted (core dumped)

如果我不量化matmul_v2算子,就能够使用paddle_lite_opt进行转换成nb文件,最终也能推理;
请问这是matmul_v2算子的问题,还是x86平台的问题,我看到x86平台不支持matmul_v2算子,但我不量化matmul_v2算子,模型也是能正确转换和推理部署的;

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions