【Probit】理论简介



2017年07月18日    Author:Guofei

文章归类: 0x21_有监督学习    文章编号: 280

版权声明:本文作者是郭飞。转载随意,但需要标明原文链接,并通知本人
原文链接:https://www.guofei.site/2017/07/18/probit.html


正如Logit模型中写的,logit模型是一种典型的分类模型

Probit模型与Logit模型没有本质区别,模型结果的差别也不大。
区别是Logit模型假设随机变量服从logistics distribution,Probit模型假设随机变量服从正态分布

关于Logit模型和logistic distribution见于我的另一篇博客

另外,一般所说的Probit模型,y有两个取值0-1。有序Probit模型中,y是离散、有序的多个取值

模型建立

$Y^* =wx+\varepsilon$

其中,
Y是离散化的$Y^* $,$Y^* $是Y的连续化,它们之间的对应关系是:
$Y=k \Longleftrightarrow Y^* \in (u_{k-1},u_k],k\in [1,m]$
$\varepsilon$服从标准正态分布
(因此probit模型适用于:y是有序离散变量的情景。模型与y的次序有关,与y的值无关)

模型输出

$P(Y=k \mid X)=P(Y^* \in [u_{k-1},u_k] \mid X)=\Phi(u_k-wx)-\Phi (u_{k-1}-wx)$

模型计算

令$u_0=-\infty,u_m=+\infty$
需要求解的参数是$(u_1,u_2,…,u_{m-1},w)$
方法是经典MLE方法,不多解释


您的支持将鼓励我继续创作!