Awesome

简体中文 | English

• Revisiting Pre-trained Models for Chinese Natural Language Processing
• Yiming Cui, Wanxiang Che, Ting Liu, Bing Qin, Shijin Wang, Guoping Hu
• Published in Findings of EMNLP 2020

中文MacBERT | 中文ELECTRA | 中文XLNet | 知识蒸馏工具TextBrewer | 模型裁剪工具TextPruner

更多HFL发布的资源：https://github.com/ymcui/HFL-Anthology

News

2023/3/28 开源了中文LLaMA&Alpaca大模型，可快速在PC上部署体验，查看：https://github.com/ymcui/Chinese-LLaMA-Alpaca

2022/3/30 发布了新的预训练模型PERT：https://github.com/ymcui/PERT

2021/12/17 发布了模型裁剪工具TextPruner：https://github.com/airaria/TextPruner

2021/10/24 发布了首个面向少数民族语言的预训练模型CINO：https://github.com/ymcui/Chinese-Minority-PLM

2021/7/21 "自然语言处理：基于预训练模型的方法" 一书正式出版。

2020/11/3 预训练好的中文MacBERT已发布，使用方法与BERT一致。

2020/9/15 论文"Revisiting Pre-Trained Models for Chinese Natural Language Processing" 被Findings of EMNLP 录用为长文。

目录

简介

MacBERT 是BERT的改进版本，引入了纠错型掩码语言模型（MLM as correction，Mac）预训练任务，缓解了“预训练-下游任务”不一致的问题。

掩码语言模型（MLM）中，引入了[MASK]标记进行掩码，但[MASK]标记并不会出现在下游任务中。在MacBERT中，我们使用相似词来取代[MASK]标记。相似词通过Synonyms toolkit (Wang and Hu, 2017)工具获取，算法基于word2vec (Mikolov et al., 2013)相似度计算。同时我们也引入了Whole Word Masking（wwm）和N-gram masking技术。当要对N-gram进行掩码时，我们会对N-gram里的每个词分别查找相似词。当没有相似词可替换时，我们将使用随机词进行替换。

以下是训练样本示例。

MacBERT的主要框架与BERT完全一致，可在不修改现有代码的基础上进行无缝过渡。

更多细节请参考我们的论文：Revisiting Pre-trained Models for Chinese Natural Language Processing

下载

主要提供TensorFlow 1.x版本的模型下载。

• MacBERT-large, Chinese: 24-layer, 1024-hidden, 16-heads, 324M parameters
• MacBERT-base, Chinese：12-layer, 768-hidden, 12-heads, 102M parameters

PyTorch/TensorFlow2 版本

如果需要PyTorch或者TensorFlow2版本的模型：

1. 使用 🤗Transformers 自行转换
2. 或者从 https://huggingface.co/hfl 下载

下载步骤（也可以直接用git将整个目录克隆下来）：

1. 进入https://huggingface.co/hfl 之后选择某个MacBERT模型，例如MacBERT-base：https://huggingface.co/hfl/chinese-macbert-base
2. 选择"files and versions"选项卡
3. 点击需要下载的bin/json等文件

快速加载

通过 🤗Transformers 可以快速加载MacBERT模型。

tokenizer = BertTokenizer.from_pretrained("MODEL_NAME")
model = BertModel.from_pretrained("MODEL_NAME")

注意：请使用BertTokenizer和BertModel来加载MacBERT模型！

对应的MODEL_NAME 如下所示：

基线效果

这里展示MacBERT在6个下游任务上的效果（更多结果请参考论文）：

• CMRC 2018 (Cui et al., 2019)：抽取式阅读理解（简体中文）
• DRCD (Shao et al., 2018)：抽取式阅读理解（繁体中文）
• XNLI (Conneau et al., 2018)：自然语言推断
• ChnSentiCorp：情感分类
• LCQMC (Liu et al., 2018)：句对匹配
• BQ Corpus (Chen et al., 2018)：句对匹配

为了保证结果的稳定性，我们同时给出独立运行10次的平均值（括号内）和最大值。

CMRC 2018

CMRC 2018数据集是哈工大讯飞联合实验室发布的中文机器阅读理解数据。 根据给定问题，系统需要从篇章中抽取出片段作为答案，形式与SQuAD相同。 评测指标为：EM / F1

DRCD

DRCD数据集由中国台湾台达研究院发布，其形式与SQuAD相同，是基于繁体中文的抽取式阅读理解数据集。 由于ERNIE中去除了繁体中文字符，故不建议在繁体中文数据上使用ERNIE（或转换成简体中文后再处理）。 评测指标为：EM / F1

XNLI

在自然语言推断任务中，我们采用了XNLI数据，需要将文本分成三个类别：entailment，neutral，contradictory。 评测指标为：Accuracy

ChnSentiCorp

在情感分析任务中，二分类的情感分类数据集ChnSentiCorp。 评测指标为：Accuracy

LCQMC

LCQMC由哈工大深圳研究生院智能计算研究中心发布。 评测指标为：Accuracy

BQ Corpus

BQ Corpus由哈工大深圳研究生院智能计算研究中心发布，是面向银行领域的数据集。 评测指标为：Accuracy

FAQ

Q1: 有英文版的MacBERT吗？

A1: 目前没有。

Q2: 如何使用MacBERT？

A2: 和使用BERT一样，只需要简单替换模型文件和config就能使用了。当然，你也可以通过加载我们的模型（即初始化transformers部分）来进一步训练其他预训练模型。

Q3: 能提供MacBERT的训练代码吗？

A3: 暂无开源计划。

Q4: 能开源预训练的语料吗？

A4: 我们无法开源训练语料，因为没有相应重发布的权利。GitHub上有一些开源中文语料资源，可以多加关注利用。

Q5: 有计划在更大的语料上训练MacBERT并开源吗？

A5: 我们暂时没有计划。

引用

如果本项目中的资源对您的研究有帮助，请引用以下论文。

@inproceedings{cui-etal-2020-revisiting,
    title = "Revisiting Pre-Trained Models for {C}hinese Natural Language Processing",
    author = "Cui, Yiming  and
      Che, Wanxiang  and
      Liu, Ting  and
      Qin, Bing  and
      Wang, Shijin  and
      Hu, Guoping",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: Findings",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.findings-emnlp.58",
    pages = "657--668",
}

或者：

@journal{cui-etal-2021-pretrain,
  title={Pre-Training with Whole Word Masking for Chinese BERT},
  author={Cui, Yiming and Che, Wanxiang and Liu, Ting and Qin, Bing and Yang, Ziqing},
  journal={IEEE Transactions on Audio, Speech and Language Processing},
  year={2021},
  url={https://ieeexplore.ieee.org/document/9599397},
  doi={10.1109/TASLP.2021.3124365},
 }

致谢

感谢Google TPU Research Cloud (TFRC)提供计算资源支持。

问题反馈

如有问题，请在GitHub Issue中提交。

• 在提交问题之前，请先查看FAQ能否解决问题，同时建议查阅以往的issue是否能解决你的问题。
• 重复以及与本项目无关的issue会被[stable-bot](stale · GitHub Marketplace)处理，敬请谅解。
• 我们会尽可能的解答你的问题，但无法保证你的问题一定会被解答。
• 礼貌地提出问题，构建和谐的讨论社区。