Home

Awesome

本项目为一个清洗对话数据的多线程框架,针对知乎、微博、贴吧等。 目前还比较简陋,欢迎提bug和优化,比如句内重复短语降重函数的正则或者后缀算法。 代码还在继续完善中,注释以及一些函数出处引用等待完善。

目录结构

--scripts: 存放运行脚本
  ---run.sh: 使用我挑选的几个规则来运行run_dist.py  
--src: 清洗框架功能主目录  
  ---inputters: 存放dataloader 和 存取数据工具函数
  ---rules: 存放各级别的规则函数
  ---single_filter.py: run_dist.py所调用的单个线程的主程序,加载处理单个数据,并保存过滤后的数据以及脏   
---tool_data: 存放黑名单词典,每行一个词  
---run_dist.py: 主运行文件,加载dataloader,加载黑名单,简历线程池 
---utils: 数据统计,结果检测
  

运行并保存日志

bash ./scripts/run.sh 2>&1 | tee -a cleaning.log

Rules

规则包括目前大部分论文内的清洗规则:

1 黑名单过滤,包括特殊字符和脏话
2 emoji表情
3 邮箱、电话号等隐私过滤, 人名 替换为NAME1、NAME2。。。
4 URL过滤
5 unicode 相关修复
6 去重:包括重复词缩减、过滤掉上下文相同的句子、重复的对话
7 meena以及dialogpt中使用的广告、通用回复筛除

以上识别出来的噪音,如可在句中抹去则抹去。
如不可抹去则放弃该句子:即,若是单轮对话放弃该对话,若是多轮对话则以该句为分割,切分对话。

NOTE THAT: 1, 改动某规则的时候注意是否影响到其他规则, 规则清洗顺序有要求 2, 黑名单如人名、特殊话题等可根据需要配置放置到 ./tool_data/下,文件命名可自行配置请参阅。/run_dist.py中dataloader。黑名单可到github上搜寻,如 https://github.com/fighting41love/funNLP 3, 将在每个函数上方给定测试样例,下方给定期待样例 4, 目前run.sh中使用的参数为本人正在使用的功能

Auguments

参数描述
n_p多进程数
batch_size单个进程最大处理session数
tool_dir工具数据所在目录(如黑名单)
out_dir清洗后的文件输出目录
raw_dir待处理文件所在mull
dirty_dir存储清洗出来的脏数据,如为空则不存
:---------------:-------------------
split_multi_repost将微博转发数据按"//@aaa XXXX //@bbb XXX"撕开成多句
no_utter_dup如果 context == response 则去掉该对话
re_name人名用 <NAME1>, <NAME2> ...替换
no_ad去除可能是广告的对话(同样的回复对应多个context)借鉴论文
de_generic_dialog去通用回复 借鉴论文
no_short_response去掉对话尾部所有过短回复
:---------------:-------------------
bert_clean使用BertTokenizer 中函数清理句子
cleantext_clean使用clean-text 清理 (电话号、邮箱、unicode错误等)
:---------------:-------------------
no_short去除过短的句子
no_long去除过长的句子
de_reply_tag去除微博中 "回复 @XXX:"
de_hashtag去除句中 "# XXX#"
de_emotion去除句中 ": XXX:"
de_mention去除句子中 "@Cindy", "@Bob:", "@Amy:" 等
no_mention去除包含 @XXX 的句子
de_repost去除句中 "//XXX"
de_duplicated句中短语降重 (待用后缀算法优化)
de_emoji去除emoji (代补全)
no_special_topic过滤包含特定名单词的对话对话
no_str_blacklist过滤包含黑名单词的对话
no_toupiao判断是否是微博投票
no_specific_utter删除一些特定句子
contain_zh删掉不包含中文的句子
de_single_repost_mention去掉 "@XXX:"
de_weibo_url去除 http:\t.c
de_url去除 url
de_angle去除 <XXX> 其中XX为非中文
de_alpha_num去除长串无意义的数字字母组合
de_specific去除句中固定pattern
:---------------:-------------------
de_showall去除某些特定文件中的 "...显示全部"
de_brackets去除某些特定文件中的 "[XXX]"
:---------------:-------------------
no_word_blacklist过滤分此后的黑名单词的对话
no_alpha_noise过滤掉含有不成 英文单词的 字母组合 的句子
check_confuse_word保存包含混淆名单词的对话进行recall
yda_dedupl如果一个词语在句子中出现的比例 超过一个阈值则放弃该句子