机器学习基础之参数估计 一、参数估计 对所要研究的随机变量$\xi$，当它的概率分布的类型已知，但是参数未知，比如$\xi$服从正太分布$N(\alpha, \sigma)$。但是$\alpha, \sigma$这两个参数未知。那么这么确定这些未知参数呢？我们可以通过采样的方式，得到一批样本数据，用样本的统计量来估计总体的统计量。那么这种方式就是参数估计。
我们先来看一种简单的估计。
矩法估计：设总体$\xi$的分布函数$F(x; \theta_1,\theta_2, …, \theta_l)$中$l$个未知参数$\theta_1,\theta_2, …, \theta_l$。假定总体$\xi$的$l$阶原点绝对矩有限，并记$v_k=E(\xi^k) (k=1,2,…,l)$。现用样本的k阶原点矩来作为总体的k阶矩的估计量$\hat{v}_k$。即 $v_k=\hat{v}k=\frac{1}{n}\sum{i=1}^n\xi_i^k$
那么通过样本的估计量，我们就可以估计出总体的一些参数。
比如假设$\xi$服从一个分布（不管什么分布），$E(\xi)=\alpha, D(\xi)=\sigma^2$。但其值未知，则由样本的一阶矩、二阶矩
$\hat{v}1=\frac{1}{n}\sum{i=1}^n\xi_i=\overline{\xi}$
$\hat{v}2=\frac{1}{n}\sum{i=1}^n\xi^2_i$
总体的一阶矩、二阶矩
$v_1=E(\xi^1)=\alpha, v_2=E(\xi^2)=D(\xi)+(E(\xi))^2=\sigma^2+\alpha^2$
令$v_1=\hat{v}_1, v_2=\hat{v}_2$, 就可以解出参数$\alpha, \sigma$的值.
$\hat{\alpha}=\overline{\xi}\ \hat{\sigma^2}=\frac{1}{n}\sum_{i=1}^n\xi^2_i-(\overline{\xi}^2)=\frac{1}{n}\sum_{i=1}^n(\xi_i-\overline{\xi})^2=S^2$
二、极大似然估计（Maximum Likelihood Estimate） 矩法估计要求随机变量$\xi$的原点矩存在。再者，样本矩的表达式用总体$\xi$的分布函数表达式无关，因此矩法估计没有充分利用分布函数对参数提供的信息。所以很多时候我们采用极大似然估计
（极大似然估计）设总体的$\xi$的密度函数为$f(x;\theta_1, \theta_2, …, \theta_l)$，其中$\theta_1, \theta_2, …, \theta_l$为未知参数。$\xi_1, \xi_2, …, \xi_n$为样本，它的联合密度函数为$f(x_1, x_2, …, x_n;\theta_1, \theta_2, …, \theta_l)$。 称
$L(\theta_1, \theta_2, …, \theta_l)=\prod_{i=1}^nf(x_i; \theta_1, \theta_2, …, \theta_l)$为$\theta_1, \theta_2, …, \theta_l$的似然函数。若有$\hat{\theta_1}, \hat{\theta_2}, …, \hat{\theta_l}$使得下试成立：
$L(\hat{\theta_1}, \hat{\theta_2}, …, \hat{\theta_l})=max {L(\theta_1, \theta_2, …, \theta_l)}$, 则称$\hat{\theta_1}, \hat{\theta_2}, …, \hat{\theta_l}$为为参数$\theta_1, \theta_2, …, \theta_l$的极大似然估计量...