再看AUC
这个月断断续续看了两篇文章，一篇是多场景建模的MMoE，感觉这篇文章的Motivation很make sense ，后面有机会可以尝试一下。另一篇收获不大，就不细说了，不过 最近开始着手模型的训练，在和同事交流时，发现自己对于AUC的理解还不太深刻，于是感觉加班补了一下。
首先要了解AUC，就得知道ROC 曲线和 PR 曲线，ROC 曲线和 PR 曲线是评估机器学习算法性能的两条重要曲线，两者概念比较容易混淆，但是两者的使用场景是不同的。我这里主要讲述两种曲线的含义以及应用的场景。
定义ROC 曲线和 PR 曲线都是用在二分类中，且涉及到下图的几个概念(摘自 The Relationship Between Precision-Recall and ROC Curves)
上面四个指标用大白话解释如下
Recall：查全率，正样本中被预测出来是正的比例(越大越好)Precision：查准率，预测的正样本中被正确预测的比例(越大越好)True Positive Rate：跟 Recall 定义一样 （越大越好)FPR : 负样本中被预测为正的比例(越小越好)
对于一个二分类问题，往往要 ...
CTR 预估模型简介--深度学习
最近提前去公司实习了，太忙以至于很久没有看论文、写笔记了，之后还是要抽时间多看看论文，尽量保持一周看一篇吧，更新博客就随缘了，这次就先把之前做的一些关于Ctr预估的笔记整理一下。
FNN(Factorization-machine supported Neural Network)模型结构FNN 是伦敦大学于 2016 在一篇论文中发表的，模型的结构如下
FNN 假设输入数据的格式是离散的类别特征(表示为 one-hot 编码)，且每个特征属于一个 field，通过 embedding 层将高纬稀疏特征映射成低维稠密特征后，再作为多层感知机(MLP)的输入。
一般来说，embedding 层的参数可以随机初始化，但是在 FNN 中，初始化 embedding 是采用通过 FM 预训练得到的每个特征的隐向量，这样初始化的好处是将预训练的向量作为初始化参数时，能够让模型的参数在初始化的时候就处于较优的位置(训练的目的其实就是为了得到最优的模型参数)，能够加快收敛的过程，至于效果方面，则不一定会优于随机初始化的情况，因为随机初始化经过多轮的迭代也可能会收敛同样的效果。
相关论文提出 FNN ...
DC竞赛复盘
秋招拿到了推荐相关的office，和未来老板沟通几次后也产生极大的兴趣，感觉以后要放弃Cv啦（快被卷死了~）。由于自己之前没做过推荐相关，害怕入职后会跟不上节奏（听说部门节奏很快。。） 最近正好没事，学习的同时找了个推荐相关的比赛练练手。
这是一个分类任务的比赛，主要要根据用户的个人信息，行为信息和订单信息来预测用户的下一个订单是否符合特定要求。由于最近正好看到了i2i召回相关的内容，于是尝试用了下word2vec 来生成embedding。我使用的方法是仅利用用户的行为信息，主要的思路是：将每个动作通过 word2vec 转化为 embedding 表示，然后将动作序列转化为 embedding 序列并作为 CNN/RNN 的输入。 下面依次介绍通过 word2vec 获得动作 embedding，将 embedding 作为CNN的输入和将embedding作为RNN的输入这三部分内容。哎，还是做什么首先想到用CNN。。
word2vec 获取动作 embeddingword2vec 是一个很著名的无监督算法了，这个算法最初在NLP领域提出，可以通过词语间的关系构建词向量，进而通过 ...