Awesome

PULSE-EVAL

1. 使用方法

1.1 目录结构

• data：原始测试数据集，每个数据集包含150条测试样例
• eval：测试库
  • elo: 存放三类elo数据
    • elo_data: elo比赛的参赛信息
    • elo_inputs: Evaluator的输入数据
    • elo_outputs: Evaluator的输出数据
  • predicted: 各模型的预测数据
  • 其余：代码文件

1.2 安装环境依赖包:

在conda环境中执行以下命令：

conda env create -f environment.yaml

1.3 评测使用方法

评测主要分为五个步骤：

• 数据集预测：预测数据集，将预测后的数据集按照目录 predicted中的文件和数据格式存放；
• 构建Elo输入数据：请见main.py文件中 construct_elo_inputs函数；
• Elo比赛评测：请见main.py文件中 call_evaluator函数，如使用GPT-4或ChatGPT作为Evaluator，需要制定api_key；
• 评测指标计算：Elo评测指标计算请见main.py文件中 elo_evaluation函数。其余Acc和F1指标计算，根据数据集有所不同，main.py中 acc_evaluation给出了导诊场景中使用的F1分数计算方法。
• 将评测结果计算排名，并输出，请见score_table.md和rank_table.md。

2. 数据集介绍

2.1 评测数据集

本评测使用四类公开数据集，并开源四类自建的不同医疗应用数据集。

2.2 数据格式

单条数据格式如下：

{
  "type": "", 
  "question": "", 
  "reference_answer": "",
  "predict_answer": ""
}

其中type是数据集的名称，reference_answer是标准或参考回答，predict_answer是模型的回答。

3. 评测结果

3.1 评测数据表

说明：

• 数据集后无括号，表示计算Elo分数；
• 其余计算指标包括：Acc, BLEU, F1等
• 最高分数加粗显示

3.2 全数据集排名榜单

3.3 公开数据集排名榜单

3.4 自建数据集排名榜单

3.5 数据集分类排名榜单

4. 说明

本评测中，各模型的调用方法如下表所示。Elo评测中，采用"gpt-4-1106-preview"为Evaluator，测试结果获取日期为2023年12月7日。