Awesome

本项目基于谷歌原版MobileBERT实现：谷歌官方MobileBERT项目

说明：本目录仅作为个人存档使用，如有问题还请互助解决。

PERT | 中文MacBERT | 中文ELECTRA | 中文XLNet | 中文BERT | 知识蒸馏工具TextBrewer | 模型裁剪工具TextPruner

查看更多哈工大讯飞联合实验室（HFL）发布的资源：https://github.com/ymcui/HFL-Anthology

内容导引

简介

请直接参考MobileBERT原论文：MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices

说明：

• 本目录中的base-f2和base-f4是以RoBERTa-wwm-ext为教师模型，训练2M步（batch=384）。
• 本目录中的large-f2和large-f4是以RoBERTa-wwm-ext-large为教师模型，训练2M步（batch=128）。

以下为本项目的目录结构；

• config目录：存放了所有模型config，roberta_wwm_ext*.json是教师模型的config（分别对应base和large），student*.json是学生模型（也就是MobileBERT）的config。uncased开头的是谷歌英文原版MobileBERT的config（供参考）。
• pretrain目录：提供了预训练MobileBERT的代码（几乎与谷歌原版一致）
• finetune目录：提供了精调XNLI任务的代码

模型下载

原版下载地址

这里主要提供TensorFlow 1.15版本的模型权重。如需PyTorch或者TensorFlow2版本的模型，请看下一小节。

以下是每个模型的重要参数，更详细的参数请查看每个模型的config文件。

[1] 对照BERT-base是110M（约），BERT-large是330M（约）。

注：模型中的adam相关参数未删除，故模型文件较大。如有必要请自行删除。

PyTorch以及TensorFlow 2版本

目前使用transformers给出的TF转PT脚本转换本目录中的模型会有一些问题，暂时不提供PT版本下载。

基线系统效果

为了测试中文MobileBERT的效果，我们选取了6个NLU进行测试，主要分为阅读理解和文本分类两大类。

阅读理解

在以下两个任务上进行了测试：

• CMRC 2018：篇章片段抽取型阅读理解（简体中文）
• DRCD：篇章片段抽取型阅读理解（繁体中文）

MobileBERT超参：初始学习率3e-5、训练2轮、batch_size 32、最大长度512，其余保持默认。（注意：超参并非最优，还请自行多尝试）

评价指标：EM/F1

文本分类

在以下四个任务上进行了测试：

• XNLI：自然语言推断
• ChnSentiCorp (CSC)：情感分析
• LCQMC：句对匹配
• BQ Corpus：句对匹配

MobileBERT超参：初始学习率6e-5、训练3轮（XNLI为2轮）、batch_size为64、最大长度128（CSC为256），其余保持默认。（注意：超参并非最优，还请自行多尝试）

评价指标：Accuracy

如何预训练和精调任务

• 预训练：请查看pretrain目录中的README.md。
• 下游任务精调：请查看finetune目录中的README.md。

FAQ

1）本项目实际完成时间久远（2020年），如有问题还请自行查阅资料解决，感谢理解。

2）本项目中的内容仅供参考，实现也并非完全按照谷歌官方的配置进行，请酌情使用。

致谢

感谢TPU Research Cloud（TRC）提供TPU训练支持。

I would like to thank TPU Research Cloud (TRC) program for TPU access.

引用

@misc{cui-2022-chinese-mobilebert,
  title={Chinese MobileBERT},
  author={Cui, Yiming},
  howpublished={\url{https://github.com/ymcui/Chinese-MobileBERT}},
  year={2022}
}