Awesome

<b>LawBench中的任务基于中国的法律体系。基于美国法律体系的类似基准可参见<a href="https://github.com/HazyResearch/legalbench">链接</a>。</b>

✨ 介绍

LawBench经过精心设计，可对大语言模型的法律能力进行精确评估。 在设计测试任务时，我们模拟了司法认知的三个维度，并选择了20个任务来评估大模型的能力。与一些仅有多项选择题的现有基准相比，我们包含了更多与现实世界应用密切相关的任务类型，如法律实体识别、阅读理解、犯罪金额计算和咨询等。 我们认识到当前大模型的安全性策略可能会拒绝回应某些法律询问，或在理解指令方面遇到困难，从而导致缺乏回应。因此，我们开发了一个单独的评估指标 "弃权率"，以衡量模型拒绝提供答案或未能正确理解指令的频率。 我们汇报了51种大语言模型在LawBench上的表现，包括20种多语言模型、22种中文模型和9种法律专用大语言模型。

📖 数据集

我们的数据集包括 20 个不同的任务，涵盖 3 个认知水平：

• 法律知识记忆：大语言模型能否记住必要的法律概念、术语、法条和事实。
• 法律知识理解：大语言模型能否理解法律文本中的实体、事件和关系，从而理解法律文本的意义和内涵。
• 法律知识应用：大语言模型能否正确利用其法律知识、对其进行推理从而解决下游应用中的现实法律任务。

任务列表

以下是包含的任务列表。每项任务都有 500 个示例。

数据格式

数据存储在 data 文件夹下。每个任务都存储在 <task_id>.json 文件中。 可以通过 json.load 将 json 文件作为字典列表加载。 数据格式如下（以任务 3-2 为例）：

[
  {
    "instruction": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。",
    "question": "场景:某个地区的三个以上专业农民合作社想要出资设立农民专业合作社联合社，以提高其在市场中的竞争力和规模效应。根据哪条法律，三个以上的农民专业合作社可以出资设立农民专业合作社联合社？",
    "answer": "根据《农民专业合作社法》第五十六条，三个以上的农民专业合作社在自愿的基础上，可以出资设立农民专业合作社联合社。该联合社应当有自己的名称、组织机构和住所，由联合社全体成员制定并承认的章程，以及符合章程规定的成员出资。"
  },
]

模型输出格式

模型输出存储在 predictions/zero_shot 和 predictions/one_shot 文件夹下。每个系统都有自己的子文件夹。在每个子文件夹中，任务预测都存储在 <task_id>.json 文件中。 可以通过 json.load 将 json 文件作为字典加载。 数据格式如下（以 GPT-4 零样本预测中的任务 3-2 为例）：

{
    "0": {
        "origin_prompt": [
            {
                "role": "HUMAN",
                "prompt": "请根据具体场景与问题给出法律依据，只需要给出具体法条内容，每个场景仅涉及一个法条。\n场景:某个地区的三个以上专业农民合作社想要出资设立农民专业合作社联合社，以提高其在市场中的竞争力和规模效应。根据哪条法律，三个以上的农民专业合作社可以出资设立农民专业合作社联合社？"
            }
        ],
        "prediction": "根据《中华人民共和国农民专业合作社法》第十七条：“三个以上的农民专业合作社可以出资设立农民专业合作社联合社。”",
        "refr": "根据《农民专业合作社法》第五十六条，三个以上的农民专业合作社在自愿的基础上，可以出资设立农民专业合作社联合社。该联合社应当有自己的名称、组织机构和住所，由联合社全体成员制定并承认的章程，以及符合章程规定的成员出资。"
    },

📖 模型列表

我们测试了 51 种热门的大语言模型。我们对它们进行了分组，如下表所示：

📊 模型性能

我们测试了模型在两种情况下的性能： (1)zero-shot，即在提示中只提供指令；(2)one-shot，即在提示中将指令和one-shot示例连接起来。

Zero-shot 性能

这51个模型在Zero-Shot上的平均分数排序如下：

我们展示了平均得分最高的前 5 个模型的性能。

注：gpt-3.5-turbo 为 2023.6.13 版本，以下所有 gpt-3.5-turbo 结果均为该版本的结果

One-Shot 性能

这51个模型在One-Shot上的平均分数排序如下：

我们展示了平均得分最高的前 5 个模型的性能。

🛠️ 如何评估模型

我们设计了不同的基于规则的解析来从模型预测中提取答案。每个任务的评估脚本都在 evaluation/evaluation_functions。

步骤

评估模型预测的步骤如下：

1. 将所有系统的预测结果放在 F 文件夹中，每个系统有一个子文件夹。
2. 在每个系统的子文件夹下，每个任务都有一个预测文件。每个任务的名称就是任务 ID。
3. 进入评估文件夹并运行 "python main.py -i F -o <metric_result>"

数据格式如下：

data/
├── system-1
│   ├── 1-1.json
│   ├── 1-2.json
│   ├── ...
├── system-2
│   ├── 1-1.json
│   ├── 1-2.json
│   ├── ...
├── ...

输出结果将保存在 <metric_result> 中。

例如，51 个测试模型的zero-shot预测结果保存在 predictions/zero_shot

您可以运行

cd evaluation
python main.py -i ../predictions/zero_shot -o ../predictions/zero_shot/results.csv

来获取它们的评估结果，存储为 ../predictions/zero_shot/results.csv

结果格式

结果文件是一个 csv 文件，共有四列：任务、模型名称、得分和舍弃率：

要求

rouge_chinese==1.0.3
cn2an==0.5.22
ltp==4.2.13
OpenCC==1.1.6
python-Levenshtein==0.21.1
pypinyin==0.49.0
tqdm==4.64.1
timeout_decorator==0.5.0

📌 许可

LawBench是由创建和转换的数据集混合而成。我们要求您遵循数据集创建者的许可证。请查看任务列表以获取每个任务的原始来源。

🔜 未来计划

• ROUGE-L 并不是评估长表生成结果的好指标。我们将探索使用基于大语言模型的法律任务专用评价指标。
• 有些模型可能训练时已经见过测试数据的一部分，我们将探索更有效的策略防止数据污染。
• 我们将不断更新 LawBench 中的任务列表。欢迎外部贡献者与我们合作。

🖊️ Citation

@article{fei2023lawbench,
  title={LawBench: Benchmarking Legal Knowledge of Large Language Models},
  author={Fei, Zhiwei and Shen, Xiaoyu and Zhu, Dawei and Zhou, Fengzhe and Han, Zhuo and Zhang, Songyang and Chen, Kai and Shen, Zongwen and Ge, Jidong},
  journal={arXiv preprint arXiv:2309.16289},
  year={2023}
}

如果您希望进一步完善这个法律数据集或评估自己的模型，请随时联系我们。