现在服务器是 arm + npu ,部署了多实例的2条产线,PaddleOCR-VL + TableMagic ,PaddleOCR-VL 使用的是官方的 docker compose , TableMagic 使用的是 paddlex --serve 启动的多实例,最后用 nginx 统一转发,现在的问题是越跑越慢,查了些资料,说是 FastDeploy 可以解决这个问题,但是在官方github 没有找到基于 arm + npu 的部署文档,不确定是否支持,麻烦大佬们给解答下,或者有其他方案也可以,万分感谢!
现在服务器是 arm + npu ,部署了多实例的2条产线,PaddleOCR-VL + TableMagic ,PaddleOCR-VL 使用的是官方的 docker compose , TableMagic 使用的是 paddlex --serve 启动的多实例,最后用 nginx 统一转发,现在的问题是越跑越慢,查了些资料,说是 FastDeploy 可以解决这个问题,但是在官方github 没有找到基于 arm + npu 的部署文档,不确定是否支持,麻烦大佬们给解答下,或者有其他方案也可以,万分感谢!