Skip to content

多线程推理问题 #162

@gaowq2017

Description

@gaowq2017

感谢大佬开源代码,在尝试同一模型在多线程中推理时,遇到一些问题:
1、查看历史多线程问题,通过clone context来实现,请问如何创建多个context;
2、在初始化加载时,需要开辟显存空间,多线程需要分别开辟显存空间吗?不分别开辟会不会有资源竞争问题?
3、大佬有没有考虑开源any yolo的多线程的代码吗?
4、大佬有推荐的github链接实现多线程推理的吗?
非常感谢

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions