Awesome
GPT2-ChineseChat-NCNN
What：GPT有很多优秀的模型，选模型让我头疼了好久，大家对于部署来说是更倾向于用minGPT这个模型的，但我没卡训一个中文的模型出来。所以只好选现成的中文模型，考虑到对话形式较好展示就选了GPT2-chitchat这个项目了。(PS:经过测试这个模型对话质量并不高，只能图一乐，主要还是展示把GPT放到ncnn的工作)
工作目标：使用ncnn部署GPT2-chitchat这个基于GPT2的中文对话模型，目标是给出x86和android端的demo
展示
android：APK下载(6666)
<img src="./resources/android.jpg" width = "300"/>x86：(目前看起来，看着有点正常，但又有点胡言乱语的感觉)
<img src="./resources/x86.png" width = "300"/>工作内容
- pytorch模型梳理与导出
- x86 demo (PS:由于模型太大，我拆成了四个传到github的，所以要把assert下的四个bin*给cat成一个)
- android demo (编译的话，把x86的assert下的bin模型复制到android的assert下，一样的)
目前问题
x86的工程只依赖ncnn，但是我在ncnn源码里修改了一步分来适配模型的计算，考虑在做安卓版本的时候，统一改成原生ncnn就能用的模型- 目前的tokenizer实现的比较随便，常见中文应该是没问题的，英文的话分词分不出来的，会一个字母一个字母的转译