Home

Awesome

<p align="center"> <br> <img src="./assets/cclue.png" width="500"/> <br> </p> <p align="center"> <a href="https://github.com/ethan-yt/cclue/issues"><img alt="GitHub issues" src="https://img.shields.io/github/issues/ethan-yt/cclue"></a> <a href="https://github.com/ethan-yt/cclue/stargazers"><img alt="GitHub stars" src="https://img.shields.io/github/stars/ethan-yt/cclue"></a> <a href="https://github.com/Ethan-yt/cclue/blob/main/LICENSE"><img alt="GitHub license" src="https://img.shields.io/github/license/ethan-yt/cclue"></a> </p>

CCLUE是一个古文自然语言理解的测评基准，包括代表性任务对应的数据集、基准模型、评测代码，研究人员能够通过几行代码快速测评各种预训练语言模型。

官方网站：https://ethan-yt.github.io/CCLUE/

任务介绍

该基准包含以下几个任务和数据集：

任务名缩写训练集开发集测试集任务类型指标
断句和标点S&P2693540753992序列标注F1
命名实体识别NER2566281327序列标注F1
古文分类CLS1600002000020000文本分类Acc
古诗情感分类SENT1600020002000文本分类Acc
文白检索RETR--10000文本检索Acc

快速测评

快速测评基于您提交的模型，使用默认的超参数设置微调，得到最终成绩。使用这种方式不需要下载代码本地测评。

  1. 将你的模型上传至Huggingface。查看文档
  2. 申请测评。链接
  3. 测评结果将会在3个工作日内回复

本地测评方法

  1. 下载数据集和测评代码: git clone https://github.com/Ethan-yt/CCLUE.git
  2. 安装所需依赖(Python 3): pip install -r requirements.txt
  3. 准备评测模型。支持Hugging Face Models中列出的模型和本地相同格式的模型
  4. 评测所有任务
  5. 收集测评结果。测评结果位于outputs文件夹。模型的最终得分为几个任务的平均值。

评测代码如下：

# 断句和标点任务
sh run_punctuation.sh seg [Model Name]
sh run_punctuation.sh punc [Model Name]
sh run_punctuation.sh quote [Model Name]

# 命名实体识别任务
sh run_ner.sh [Model Name] crf

# 古文分类任务
sh run_classification.sh [Model Name]

# 古诗情感分类任务
sh run_fspc.sh [Model Name]
sh run_fspc_poem.sh [Model Name]

# 文白检索任务
sh run_retrieval.sh [Model Name]

提交结果

您可以将测评结果提交至CCLUE排行榜。所有结果必须可以复现，经过认证后可以登陆CCLUE排行榜。提交链接

提交时请注明以下信息：