RuntimeError: Sparse BF16 MLA is not supported on SM90 #110
Description
请教为啥 FlashMLA 对数据类型的支持不完善，只支持 fp8，这对低于 sm90 的架构无法使用呀，请问有支持计划嘛？
建议可以支持一下 hopper + bf16，顺便可以对比下 fp8 带来的性能提升？
{{ message }}
请教为啥 FlashMLA 对数据类型的支持不完善，只支持 fp8，这对低于 sm90 的架构无法使用呀，请问有支持计划嘛？
建议可以支持一下 hopper + bf16，顺便可以对比下 fp8 带来的性能提升？