Skip to content

这个评测工具如何使用? #177

@xuanyaoming

Description

@xuanyaoming

项目文档在如何评测用户自己的大模型这块十分模糊,我没看到任何指引。我的问题主要集中在几个方面:

  • 目前这个repo里是否有可以一键评估大语言模型的代码?还是说只是指明中文大模型评测集的下载路径?
  • 目前我有一个支持huggingface的模型,能否直接用这个repo里的代码评测?
  • 因为大模型体量较大(将近200GB左右),能否以只提供openai格式API的方式测评?
  • 这个项目的开发团队是否还在运营一个网站?这个repo、pip 安装的PyCLUE和这个网站三者之间有什么联系啊?我想评测一个大模型需要用哪个呢?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions