Home

Awesome

CCLUE

中文临床自然语言处理算法评估基准

A benchmark for Chinese ClinicalLanguage Understanding Evalution(CCLUE)

CCLUE数据集

名称场景训练集验证集测试集评价指标
Clinical-NER电子病历1871267536严格F1
Diabetes-NER糖尿病指南或文献66899551912严格F1
Health-Match健康问答1400020004000Averaged F1
Trial-Classify临床试验2683838347669Averaged F1

BERT模型在CCLUE中的表现

名称验证集F1测试集F1算法
Clinical-NER0.57150.5873BERT+LSTM+CRF多模融合
Diabetes-NER0.78610.7789BERT+LSTM+CRF多模融合
Health-Match0.88640.8899BERT多模融合
Trial-Classify0.78690.8268BERT多模融合

脚本说明

脚本ner_input_data.py将数据准备为bert模型所需的文件格式

脚本ner_train_dev_test.py用于训练bert模型及获取模型对验证集和测试集的预测结果

脚本diabetes_ner_metric.pyclinical_ner_metric.py用于评估模型结果

脚本classify_train_dev_test.py用于训练bert模型及获取模型对验证集和测试集的预测结果

软件依赖

bertology_sklearn