Awesome

2016CCF-SouGou-大数据精准营销下的用户画像精准识别

在本次比赛中TNT_000团队获得了二等奖

团队方案如下

1.特征工程

TFIDF特征：对分词后的用户搜索词列表计算TFIDF矩阵，并通过卡方检验筛选出Top10万维特征

LDA特征：对分词后的用户搜索词列表以5为步长设置10~100的主题数目来训练LDA特征，通过连接得到用户向量

Word2vec特征：利用word2vec模型对分词后的用户搜索词列表训练100维的词向量，把每个用户搜索词的词向量做均值得到用户向量

Doc2vec特征：把分词后的用户搜索词列表当作一个文档，利用doc2vec模型训练100维的文档向量向量，得到用户向量

统计型特征：统计用户搜索词数量、英文搜索词数量等

2.模型

level1：使用TFIDF特征stack方式用LR、LinearSVC、MNB、BNB（Navie Bayes）模型得到result1

level2：使用result1和LDA、W2V、D2V和统计类型特征训练第二层模型，使用模型有CNN、XGBoost

文件目录 souGou

--1.src:源码文件存放文件夹

------excute.py:执行python文件构造count、pattern、lsi、lda、word2vec、doc2vec等特征并训练模型预测结果

------function.py:工程涉及函数逻辑python文件

------model.py:工程涉及模型逻辑python文件

------sougou_cnn_model.py:工程涉及CNN模型逻辑的python文件

------cnn.py 构造CNN stacking 特征

------fasttext.py 构造fasttext stacking特征

------tfidf.py 文件构造LR LinearSVC mnb bnb stacking特征

--2.data:存放工程数据文件夹

------data:存放原始文件和预处理后的文件

------word2vec_models:存放word2vec模型文件

--3.feature:存放特征文件夹

--4.result:存放预测结果文件夹

--5.model:存放模型结果文件夹

--6.importance:存放模型特征重要性文件夹

#---执行流程

1.配置好excute.py 里的config后 执行excute.py 先处理原始数据后再构造特征

2.执行cnn.py文件构造CNN stacking特征

3.执行fasttext.py文件构造fasttext stacking特征

4.执行tfidf.py文件构造LR LinearSVC mnb bnb stacking特征

5.构造count、pattern、lsi、lda、word2vec、doc2vec等特征

6.本地验证结果用cross-validation

7.在线预测结果提交