请问chord中的sft和rl数据的具体设置应该是？

[sdws259]

作者您好，感谢您十分有趣的工作(ON-POLICY RL MEETS OFF-POLICY EXPERTS: HARMONIZING SUPERVISED FINE-TUNING AND REINFORCEMENT LEARNING VIA DYNAMIC WEIGHTING)。我想运行一下chord代码，但我对chord的sft数据集和rl数据集是哪些不太清楚。我是直接下载chord 例子中提到的datajuicer/Trinity-ToolAce-RL-split和datajuicer/Trinity-ToolAce-SFT-split，然后替换yaml文件中相应的路径即可嘛？
此外，您在论文中提到对于数学推理任务，采样了5k sft和20k rl数据，但我好像没有找到相应文件的下载路径？请问这些文件是暂时还未开源嘛？您计划共享相应的文件嘛？

[garyzhang99]

您好，感谢您的关注～

我们的SFT数据和RL数据集都是huggingface格式，你可以直接使用huggingface的路径来Load Dataset，不过SFT数据要转换为对应的messages或者其他Trinity支持的格式，RL数据要在config里面配置正确的format。比如examples/mix_chord和examples/mix_math里面的config应该都是正确的写法。

对于例子中提到的datajuicer/Trinity-ToolAce-RL-split和datajuicer/Trinity-ToolAce-SFT-split，如果不想每次从huggingface去load，你也可以直接下载原始的json文件，然后给两个对应的json文件分别开一个文件夹，然后用对应的文件夹路径填写在Yaml中即可。

对于数学推理任务，由于还有一个旧版到新版迁移的历史问题，具体的原始数据文件还没有开源，后续会看一下怎么共享。如果你对对应的数学推理数据格式也有疑惑，可以参考examples/mix_chord/get_openr1_data.py里面的处理格式。

[sdws259]

明白了，谢谢您的回复

[Birdylx]

@garyzhang99 请问这个codebase支持多模态吗？

[hiyuchang]

@garyzhang99 请问这个codebase支持多模态吗？

您好，Trinity-RFT仓库支持多模态，可以参考这个例子。

而多模态场景下的CHORD例子，我们计划在近期测试后公开。