Awesome
IJCAI-18 ���������������ת��Ԥ���ܽᣨ0.13966��53/5204��
��������
���α���������̹��Ϊ�о������ṩ���Ա�ƽ̨�ĺ�����ʵ�������ݣ�����ѡ��ͨ���˹����ܼ�������Ԥ��ģ��Ԥ���û��Ĺ������������������ص��û���user���������Ʒ��ad���������ʣ�query�������������ݣ�context�����̵꣨shop������Ϣ��������Ԥ�������������Ϊ�ĸ��ʣ�pCVR������ʽ������Ϊ��pCVR=P(conversion=1 | query, user, ad, context, shop)��
����Ա�ƽ̨��ҵ���Ͳ�ͬ�������ص㣬���Ƕ���������������ս��
- �ճ���ת����Ԥ��
- �������ڵ�ת����Ԥ��
����ָ��
�����ھ�����
- ����̽��������ʹ�÷�����ҵ����������������
- ���ݲ������������������
- ��������ʹ�÷�����������������������ƽ����������̬�������߽��������ı�������ƫ������������������leak������
- �������ࣺ�����ԡ���ֵ�͡�ö����
- ���������������������һ������ɢ����one-hot����ȱʧֵ�
- ����ѡ�����͡������ͣ����ø÷�����KFlod����Ƕ����
- ģ��ѡ��bagging�����ø÷�����KFlod����stacking
����̽��
�����ṩ��8��31�յ�9��7��12:00:00�����ݣ���ҪԤ��9��7��12:00:00~24:00:00�Ĺ��ת���ʡ�
�������ȷ�����ÿ���������ת���ʡ�
����ͼ��
ת����ͼ��
ͨ�����������ǿ��Է���6�ź�7�ŵij�����ǰ6��ij�����ͬ�����������������������6�ŵ�ת����ͻȻ���ͣ���ҹ�����û�з������ѣ���7��ת����ͻȻ���ߣ����������Ѽ�¼���������Ʋ�7��Ӧ��Ϊ˫11����618��
���Dz���7���ϰ����������Ϊѵ������ÿ����֤���ѡ��20%������Ϊ��֤���������������ŵ��ǿ��Լӿ�ѵ������ʡʱ�䣬������֤�����������˼·��
���ڵ�����--�û�������
�û����������
ͨ����ͼ���Է��ִ�����û��ĵ����Ϊ1,���Դ����û����������⣬�����û�û����ʷ��¼�����ܴ���ʷ�����л�ø��û��Ĺ����������ÿ���������û�������ֻ�ܴӵ����Ʒ�����Ժ���������Ϣ�л�ù�������
���ǵĽ��������
����ͨ���ж�ε���û�����ʷ��Ϊѧϰÿ����Ʒ�����ƶȡ�������ǽ��û������Ʒ��Ϊ·��ת��Ϊ��word2vec��������ʽ��ͨ��word2vec����ÿ����Ʒ��������ʾ��ͨ��������ʾ���Ա�ʾ��Ʒ�����ƶȡ�
| user_id | item_id | history_click |
|---|---|---|
| 1 | A | A,B,C,A |
| 1 | B | A,B,C,A |
| 1 | C | A,B,C,A |
| 1 | A | A,B,C,A |
��һ�Ľ��������
����˼·�����ڵ����û�������ֻ��ͨ���������ĺ���Ʒʵ�ʵ����ԣ��Լ�Ʒ���ȷ���� ���ڶ���û���������ͳ�Ƴ��û�������ƫ�ã��Լ��û���ʵ���빺���ƫ�á�
- ���û�����Ʒ���Ե�ƫ�ã�ռ�ȣ���groupby����user_id����.proerty.mean()
- ͨ��ͳ����Щ����ƫ�õ��˺�����item֮��Ĺ�ϵ��groupby����item_id����.proerty.mean()
�ܶ���֮һ�仰��������������user_id,��user_id������item_id��
��������
- �����������û������̡���Ʒ�������ģ�
- ͳ��������ȫ��/��/Сʱ,31�ŵ�6�š�5�ţ�7�ţ�user_id,user_id_item_id�����Ի�����
- ʱ���������user_id��item_id��ʱ����һ�����ڣ�
- ����������ת����31�ŵ�5�ţ�
- leak���������죩
- �ı�������item_id��word2vec��
- ƫ����������Ʒ���ԡ��Լ���ѯ����Ʒ��ƥ��̶ȣ������㽻����ƥ���ʣ�
- �������������磬������Ʒ�ļ۸���ǰ�����ƽ���۸�IJ�ֵ��
- ռ�����������磬�û�-���̵����ռ���̵�����ı��أ�
- ҵ�����������磬�û��������ٴε������û�з���������Ϊ��
- �������������磬֮ǰ֮�����˶��ټ۸���ͣ����������ߵ���Ʒ��
==���й���ʱ����leak�������ֱ���㵱ǰ�������һ�μ���һ�ε����ʱ���Լ�����m�ε����ͳ�ƣ�������˵���DZȽϵ�ǰ��������m�ε������ͬ��==
| user_id | item_id | history_click | path |
|---|---|---|---|
| 1 | A | 0 | |
| 1 | B | 0 | 1 |
| 1 | C | 00 | 2 |
| 1 | A | 001 | 3 |
| 2 | A | 0 | |
| 2 | A | 1 | 4 |
| 2 | B | 10 | 5 |
| 2 | A | 101 | 6 |
����ѡ��
���Dz���KFlod�ķ���ѡ������������ѵ�����ֳ�5�ȷݣ�ÿ��ѡ��80%��������Ϊѵ����ʣ���20%��Ϊ��֤����ÿ����֤���ƴ����һ����Եõ�����ѵ��������֤������൱����5����ͬ��ģ����֤���µ�������ͨ��������ѡ������ѡ����ɿ���������
���ƽ��
ͨ������ÿ��������Ȩ�شӶ��ﵽ���ƽ�⡣ѵ������ת����Ϊ0.046�����Լ���ת����Ԥ��0.037������������Ҫ�Ӵ�Ը�������Ȩ�أ�ʹ��Ԥ��ת���ʽ��͡�
��ʽ��expected_cvr���������ﵽ��ת���ʣ�pos_example��neg_example�ֱ���ѵ�������������������ĸ�����pos_weight��neg_weight�ֱ���ѵ��������������������Ȩ�ء����ǿ�������pos_weight�̶�Ϊ1������neg_weight���ɡ�
��������Ҫע�����sklearn��lgb����xgb���������������Ѵﵽ��Ч������class_weight��sample_weight��class_weight�ǶԸ������ͳһ����Ȩ�ء�sample_weightΪ������������Ȩ�أ�����ÿ��������Ȩ��Ϊclass_weight * sample_weight����������ֻ������sample_weight��
ģ��ѡ�����ں�
ģ�ͣ�xgb��lgb
�ںϣ�bagging����Kflod����ѵ�����ֳ�k�ȷݣ�ÿ����k-1�����ݽ���ѵ����Ԥ����Լ�����ÿ�β��Լ��Ľ��ȡƽ����Ϊ�����
�ֱ�ͨ��xgb��lgbģ�Ͳ�����bagging���Եõ����ݽ��������ȡƽ����Ϊ������������
�ο����ϣ�