Awesome

中文 | English

• LERT: A Linguistically-motivated Pre-trained Language Model
• Yiming Cui, Wanxiang Che, Shijin Wang, Ting Liu
• 论文地址：https://arxiv.org/abs/2211.05344

中文LERT | 中英文PERT | 中文MacBERT | 中文ELECTRA | 中文XLNet | 中文BERT | 知识蒸馏工具TextBrewer | 模型裁剪工具TextPruner

查看更多哈工大讯飞联合实验室（HFL）发布的资源：https://github.com/iflytek/HFL-Anthology

新闻

2023/3/28 开源了中文LLaMA&Alpaca大模型，可快速在PC上部署体验，查看：https://github.com/ymcui/Chinese-LLaMA-Alpaca

2022/11/25 微信公众号解读发布：查看新闻

<b>2022/11/11 本项目相关的论文已在arXiv预印本上线，地址：https://arxiv.org/abs/2211.05344 </b>

2022/10/26 模型下载链接、基线系统效果已更新，欢迎提前下载使用。其余信息待补充。

2022/10/18 感谢各位的关注，本项目在逐渐完善内容中。

内容导引

简介

预训练语言模型（PLM）已经成为自然语言处理领域的一个代表性基础模型（Foundation Model）。大多数预训练模型都是在文本的表面形式上执行语言学无关的预训练任务，如掩码语言模型（MLM）。为了进一步赋予预训练模型以更丰富的语言特征，在本文中，我们旨在提出一种简单而有效的方法将语言学特征融入预训练语言模型。我们提出语言学信息增强的预训练模型LERT。LERT除了使用掩码语言模型来进行预训练之外，还采用了3种语言学任务进行训练。为了更好地学习语言学特征，在本文中我们提出了一种语言学启发的预训练机制（LIP）。 我们在十个中文自然语言理解任务进行了广泛的实验。实验结果表明，LERT相比各种可比基线带来明显的性能提升。此外，通过各种分析实验，进一步证明了LERT的有效性。

主要贡献：

• 我们提出一种融合了3种语言学特征的预训练模型LERT，并且使用了一种语言学启发的预训练机制。
• 在10个中文自然语言理解数据集上的大量实验表明LERT能够与可比预训练基线系统获得显著性能提升。
• 相关资源将对外公开以进一步促进相关研究。

模型下载

TensorFlow 1.x版本（原版）

相关说明：

• 这里主要提供TensorFlow 1.15版本的模型权重。如需PyTorch或者TensorFlow 2版本的模型，请看下一小节。
• TensorFlow开源模型包含完整权重，包括MLM-head、linguistic-heads等。
• 训练语料：中文维基百科，其他百科、新闻、问答等数据，总词数达5.4B，约占用20G磁盘空间，与MacBERT、PERT相同。
• 参数量：仅统计transformer部分，不包含task head部分的参数量。

以TensorFlow版Chinese-LERT-base为例，下载完毕后对zip文件进行解压得到：

chinese_lert_base_L-12_H-768_A-12.zip
    |- lert_model.ckpt      # 模型权重
    |- lert_model.meta      # 模型meta信息
    |- lert_model.index     # 模型index信息
    |- lert_config.json     # 模型参数
    |- vocab.txt            # 词表（与谷歌原版一致）

PyTorch以及TensorFlow 2版本

相关说明：

• 下载方法：点击任意需要下载的模型 → 选择"Files and versions"选项卡 → 下载对应的模型文件。
• 通过🤗transformers模型库可以下载TensorFlow (v2)和PyTorch版本模型。
• PyTorch开源版本包含MLM部分的权重，但不包含linguistic heads。

快速加载

由于LERT主体部分仍然是BERT结构，用户可以使用transformers库轻松调用LERT模型。

⚠️ 注意：本目录中的所有模型均使用BertTokenizer以及BertModel加载。

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained("MODEL_NAME")
model = BertModel.from_pretrained("MODEL_NAME")

其中MODEL_NAME对应列表如下：

基线系统效果

论文中在以下10个任务上进行了效果测试。GitHub目录中仅显示其中一部分，完整结果请参考论文。

实验结果表格中，

1. 括号外为多次finetune最大值，括号内为平均值。
2. 除BERT（即谷歌原版BERT-base）模型外，其余模型均使用同等数据量进行训练。
3. RoBERTa-base和RoBERTa-large分别指RoBERTa-wwm-ext和RoBERTa-wwm-ext-large。

阅读理解（CMRC 2018）

CMRC 2018数据集是哈工大讯飞联合实验室发布的中文机器阅读理解数据（抽取式），形式与SQuAD相同。（评价指标：EM / F1）

单句文本分类（ChnSentiCorp、TNEWS）

以下为情感分类数据集ChnSentiCorp和新闻分类数据集TNEWS结果。（评价指标：Acc）

句对文本分类（XNLI、OCNLI）

以下为自然语言推断XNLI和OCNLI数据集结果。（评价指标：Acc）

命名实体识别（MSRA、PD）

以下为MSRA（测试集）和人民日报数据集（开发集）结果。（评价指标：F值）

小模型效果

以上报告的是测试集上的效果，更多结果请查看论文。

FAQ

Q1：为什么PyTorch版本不包含linguistic heads?
A1：PyTorch版本模型由TF原版转换而来。为了可以直接使用bert相关接口读取LERT模型，PyTorch版本中只包含了Transformer+MLM部分的权重。如需完整版本的模型，请下载TF 1.x版本的模型。另外需要说明的是，如需直接在下游任务中使用或者二次预训练的话是不需要linguistic heads这部分权重的。

Q2：有英文模型供下载吗？
A2：暂时无计划在英文上训练。

Q3：配置文件、词表在哪里？
A3：见src目录，或下载对应的模型，压缩包内包含上述文件。

Q4：模型可以进行MLM预测吗？
A4：可以。开放的权重包含完整的MLM权重。推荐使用huggingface在线互动demo体验：https://huggingface.co/hfl

Q5：如何预测被mask的单词的POS/NER/DEP标签？
A5：见src目录。通过run_pretraining.py文件加载TF 1.15版权重（包含完整linguistic heads）即可进行语言学标签预测。每个语言学特征对应的特征列表请查看论文或src目录中给出的提示。

引用

如果本项目中的模型或者相关结论有助于您的研究，请引用以下文章：https://arxiv.org/abs/2211.05344

@article{cui2022lert,
      title={LERT: A Linguistically-motivated Pre-trained Language Model}, 
      author={Cui, Yiming and Che, Wanxiang and Wang, Shijin and Liu, Ting},
      year={2022},
      eprint={2211.05344},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

关注我们

欢迎关注哈工大讯飞联合实验室官方微信公众号，了解最新的技术动态。

问题反馈

如有问题，请在GitHub Issue中提交。

• 在提交问题之前，请先查看FAQ能否解决问题，同时建议查阅以往的issue是否能解决你的问题。
• 重复以及与本项目无关的issue会被[stable-bot](stale · GitHub Marketplace)处理，敬请谅解。
• 我们会尽可能的解答你的问题，但无法保证你的问题一定会被解答。
• 礼貌地提出问题，构建和谐的讨论社区。