估计理论

图片显示了一般估计问题的模型。源的输出通常是时间 t 的函数，并包含要估计的参数 .例如，在雷达系统中，目标每一时刻的回波就是源的输出，可以写为 Acos[2πf( t-t_R)+φ₀], A 为回波幅度； f 为回波频率； t_R 是延迟。这些是需要估计的参数，包括目标的散射特性、空间距离和移动速度等信息。源发出的数据在到达数据处理设备之前总是受到随机噪声的干扰。概率传递机制将数据和噪声按照数学规则传递为具有一定概率模型的信号，作为处理装置y的输入。处理装置的任务是对具有概率特征的数据进行必要的处理，然后根据设定的规则得到估计。如果待估计的参数只有一个θ，则对y的观测数据进行处理得到的估计值为{img_3 ：aHR0cDovL3d3dy5iYWl2ZW4uY29tL3VwbG9hZHMvYmFpa2UvMC83MDYzeTY5MDc5Ml8xMzUzNi5qcGc=/}；由于 y 具有随机特性，因此估计器 也将是随机变量 ，其本身也具有一阶矩、二阶矩等统计特性。估计器的质量可以通过其统计特性来表达。当θ为实际参数时，称为并且θ（称为真实值）之间的差异是估计误差，使用 的意思，即

如果 的期望值为零，即

表示估计量的期望值等于真实值，称为无偏估计。如果对同一参数采用不同的估计方法得到不同的无偏估计 θ ₁，₂，…，其中_κ的方差是所有估计量方差中最小的，并且达到相应的下限，则称为_κ 是一个有效的估计。如果对于任意小的正数ε，则存在以下概率极限关系

则 称为一致估计。

估算方法

常用的估计方法有最小二乘误差估计、最大似然估计和贝叶斯估计。

(1)最小二乘误差估计：不需要信号和噪声的统计知识。其基本点是在平方和意义上最小化n倍观测值与理论计算值之间的绝对误差，从而得到估计量。如果 u 是变量 x, y,... 的函数，并且包含 m 参数 θ₁, θ₂,…,θ_m,即

u＝f(θ₁,θ₂,…,θ_m; x ，y，…)

为u和x，y，…制作 n 观测值，得到

(₁i)　 (i ＝1,2,…,n )

所以u与观测值u_i的绝对误差为 ，i=1, 2,…, n。例如n的平方和最小，那么函数u与观测值u₁、一致u₂,…, un 是最佳拟合，即参数 θ₁, θ₂,…, θ_m满足以下关系

是最小的。根据在差分微积分中找到极端值的方法，可以知道θ₁，θ₂满足以下方程组

媉θ/媉θ_i＝0　　 ( i＝1, 2,…,m)

可以由此获得最小二乘误差估计器 ₁, ₂,…,_m 。

(2)最大似然估计：基于似然函数的概念。设Y表示一组观测量，θ表示一组未知参数，则条件密度函数p(Y) | θ) 是 Y 和 θ 的函数。如果 Y 等于其观测量 Y^*，则 p() Y^*│ θ 只是θ的函数，称为似然函数，其含义是似然函数p(Y^{*) | θ)的值越大，_{θ为准确值的可能性就越大。设p(Y) *}}θ) 最大的 θ 是最大似然估计量，通常为 表示。

(3) 贝叶斯估计：对于单参数估计（多参数估计情况类似），随机参数θ的概率密度函数p必须首先为给定 (θ) 和成本函数 C(θ, ）。假设处理设备对Y执行n次，y=(y) ，y₂，…， y_n），当θ已知时，y的条件联合概率密度为p( y│θ)，然后是估计器 (y)带来的风险为

平均风险为

贝叶斯估计就是使平均风险R() 成为最小估计值。可以用方程

来表示

求解贝叶斯估计量。

参考书目

1. H。 L. Van　树木，　检测、估计　和调制　理论，部分　I，John Wiley，纽约，196 8.