Home

Awesome

RLHF 标注工具

在大模型训练的 RLHF 阶段,需要人工对模型生成的多份数据进行标注排序,然而目前缺乏开源可用的 RLHF 标注平台。

RLHF 标注工具 是一个简单易用的,可以在大模型进行 RLHF(基于人类反馈的强化学习)标注排序的工具,旨在帮助用户在友好的图形界面中对生成式模型生成的答案进行排序标注。

项目截图: <img width="1206" alt="image" src="https://github.com/SupritYoung/RLHF-Label-Tool/assets/30597946/d35b028c-d5c0-4769-a952-c2299357586f">

功能特点

后续计划

安装依赖

使用说明

  1. 准备数据集文件:将包含查询问题、历史对话和生成的答案的数据集文件准备为 JSON 格式,格式参见 input_file.json。 对于 RLHF 数据的生成,直接对同一份模型运行 K 次即可。由于大模型的随机性,每次生成的答案都会不同。
  2. 运行应用:执行 bash run.sh 命令启动应用。
  3. 标注排序:在标注页面,依次为每个查询问题的生成答案选择排名,并点击“存储当前排序”按钮保存标注结果。
  4. 查看数据集:在数据集页面,可以查看已标注的数据集,包括查询问题、历史对话和生成的答案的排序结果。

配置

应用支持一些配置选项,可在 app.py 文件中进行修改:

示例数据集

您可以使用以下 JSON 数据集示例进行测试:

{
    "0": {
        "query": "非常感谢您的建议,我会尽量按照您的建议来做。谢谢!",
        "history": [],
        "response_0": "不客气,我很高兴能够帮助到您。如果您还有其他问题,随时可以向我咨询。祝您好运!",
        "response_1": "不客气,我很高兴能够帮助您。如果您还有其他问题,随时都可以向我咨询。祝您好运!",
        "response_2": "不客气,我很高兴能够帮助您。如果您有任何其他问题,随时都可以向我咨询。祝您好运!",
        "response_3": "不客气,我很高兴能够帮助到您。如果您还有其他问题,随时可以向我咨询。祝您好运!"
    },
    ...
}

贡献与许可

致谢:https://github.com/HarderThenHarder/transformers_tasks/tree/main/RLHF

欢迎提供问题反馈、改进建议和贡献代码。请通过 GitHub 提交问题和拉取请求。

本项目基于 MIT License 进行发布和授权。