最大似然估计计算公式

最大似然估计计算公式

最大似然估计（Maximum Likelihood Estimation，MLE）是一种参数估计方法，它通过寻能使样本观测值的概率最大化的参数值来估计模型的参数。最大似然估计在统计学中应用广泛，尤其是在概率分布参数估计、回归分析等领域。

假设我们有一个随机变量X，其概率密度函数（probability

density function，PDF）为f(x;θ)，其中θ是待估计的参数。我们观测到了n个独立同分布（independent identically distributed，i.i.d.）的样本，记为X₁, X₂, ..., Xₙ。

我们想到使观测到的样本的概率最大化的参数值。因为样本是独立同分布的，所以整个样本的概率等于各个样本的概率的乘积。因此，我们可以定义一个似然函数（likelihood function），记为L(θ)，表示观测到的样本的概率。

L(θ)=f(X₁;θ)*f(X₂;θ)*...*f(Xₙ;θ)

为了求取使似然函数最大化的参数值，我们需要对似然函数取对数并对θ求导，得到导数为0的解。因为取对数能简化计算，并且不会改变使函数最大化的参数值，所以我们对似然函数取自然对数（natural

logarithm），得到定义对数似然函数（log-likelihood function）：

log L(θ) = log [f(X₁;θ) * f(X₂;θ) * ... * f(Xₙ;θ)]

然后，我们对对数似然函数对θ求导，得到：

∂ log L(θ)/∂θ = (∂ log f(X₁;θ)/∂θ) + (∂ log f(X₂;θ)/∂θ)

+ ... + (∂ log f(Xₙ;θ)/∂θ)

其中，∂ log f(Xᵢ;θ)/∂θ表示对数概率密度函数关于参数θ的偏导数。

为了到使对数似然函数最大化的参数值，我们需要求解上述导数为0的方程，即：

∂ log L(θ)/∂θ = 0

求解这个方程可以得到参数的估计值，通常通过使用数值优化算法，如梯度下降法（gradient descent）或牛顿法（Newton's method），来寻对数似然函数的极值。

最大似然估计是一种广泛使用的估计方法，它在理论和实践中都得到了成功的应用。然而，需要注意的是，最大似然估计的结果对样本数量和分布的假设非常敏感，因此在使用最大似然估计时需要小心验证这些假设的合理性。此外，最大似然估计在样本较少或稀缺的情况下可能会产生不准确的结果，因此需要结合领域知识和经验进行结果的解释和验证。