Release Notes v0.0.4
新增功能
1. EAGLE 支持
- 新增对 EAGLE 推理加速技术的支持
- 添加
--eagle_path 参数用于导出 EAGLE 模型
- 支持 Llama 和 Qwen3 系列模型的 EAGLE 导出
2. 模型支持扩展
- 新增对 SmolLM 系列模型的支持
- 新增对 bge-small 嵌入模型的支持
- 增强对 Qwen 系列多模态模型的支持
3. 多模态模型支持
- 改进对 Qwen3-VL 等多模态模型的支持
- 增强对视觉和音频模型的处理能力
修复问题
1. 嵌入加载修复
- 修复嵌入模型加载的问题
- 改进模型加载的稳定性和兼容性
2. 模型映射优化
- 优化模型类型检测和映射逻辑
- 增强对不同模型架构的兼容性
优化改进
1. ONNX 导出优化
- 新增
onnx_export 工具函数，统一 ONNX 导出流程
- 改进导出参数配置，支持动态轴设置
2. 量化优化
- 优化 AWQ、HQQ、Smooth 量化算法的实现
- 改进对称量化和非对称量化的处理
3. 性能优化
- 优化模型加载和导出性能
- 减少内存占用，提高导出效率
使用示例
# 导出支持 EAGLE 的模型
llmexport --path Qwen2.5-1.5B-Instruct --export mnn --eagle_path path/to/eagle
# 导出 SmolLM 模型
llmexport --path SmolLM2-1.7B-Instruct --export onnx
兼容性说明
- 向后兼容 v0.0.3 版本
- 保持命令行接口一致性
- 新增参数不影响现有功能使用
