参数估计方法（频率计算与参数估计）

Ps：最大似然估计以让当前样本的概率最大的模型参数θ为最终的模型参数,是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法,由于样本估计量构造出的总体参数在一定置信水平下的估计区间,估计两个总体均值之差的点估计量显然是两个样本的均值之差,最大后验估计的核心思想 ：是以当前样本数据条件下由贝叶斯公式计算出的 整个后验概率最大 的 模型参数θ 为最终的模型参数,参数估计有哪两种方法　　参数估计有最小二乘法和极大似然法两种方法,大样本的估计量更加接近总体参数,利用样本分布密度构造似然函数来求出参数的最大似然估计。

本文目录

• 频率计算与参数估计
• 参数估计有哪些方法
• 参数估计有哪两种方法
• 统计学第四课：参数估计
• 参数估计-矩估计
• 基础：常见的参数估计方法
• 参数估计方法包括什么和什么
• 一元线性回归模型的参数估计方法
• 参数估计的方法有两种,分别是

频率计算与参数估计

目前，参数估计方法大体上可分为两类。一类是参数估计法，即先假定洪水总体的分布形式，然后采用统计学中的方法，根据样本估计分布所含参数，如矩法、极大似然法等;另一类是适线法，它首先假定拟合频率曲线的线型并估计样本的频率，然后根据样本点据估计出假定线型的参数，使其对应的理论频率曲线与样本点据拟合最好，实事上适线法也是一种最优化方法。

中国的P-Ⅲ型曲线参数估计方法主要有下列几类:①矩法;②极大似然法;③概率权重矩法(包括线性矩法);④权函数法(包括单权函数法和双权函数法);⑤优化适线法(包括最小二乘法和最小一乘法)。实际的计算中表明，当C_s＞2时，极大似然法不能运用，而水文上常有C_s＞2的情况出现，极大似然法的适用性比较差;优化适线法的计算量过大，不利于应用;本节只采用矩法、概率权重矩法、单权函数法和双权函数法对参数进行初步估计。由于P-Ⅲ型曲线参数本身的精度要求， 保留两位小数，C_v和C_s都只保留一位小数。

本节分析了大任河流域的降雨和水文站点分布情况，通过相邻流域的太平水文站的降雨资料对大任水库降雨资料进行延长，作为本次洪水频率计算的原始数据，运用《水利水电工程设计洪水计算规范》所提出的矩法、概率权重矩法、单权函数法、双权函数法初步估计 、C_v、C_s，结果见表3.2。

表3.2 四种方法计算成果表

参数估计有哪些方法

1. 什么是参数估计参数估计是在样本统计量概率分布的基础上，利用样本的信息推断所关心的总体参数的过程。① 基于样本统计量的概率分布：如前所述，样本统计量是一个随机变量，有其自身的概率分布、期望、方差等。在分析一个样本集时，需要基于此统计学知识；② 利用样本的信息：样本是我们唯一有的数据，一切的统计基于样本数据；③ 推断所关心的总体参数是目的。比如，利用样本的均值推断总体的均值，利用样本的方差推断总体的方差。PS1：利用样本的均值作为总体均值的估计，是直观且不需要解释的。样本统计量（此处指均值）的概率分布，是为这个估计提供置信度等信息的。PS2：利用样本均值去估计总体均值时，总体均值是一个待被估计的总体参数，可以用\theta 表示。样本均值叫做估计量，用\hat{\theta } 表示，是一个统计量；实际采集了一个样本算出了其平均值，这叫一个估计值2. 两种基本的估计方法2.1 点估计点估计指基于一个样本算出的估计量的一个具体取值，直接作为总体参数的估计值 的估计方式。这个话说的很车轱辘，举个栗子，当我要估计中国人的平均身高时，我采集了一个样本，其包含了1W个人的身高状况，然后我算出来均值，并用这个均值作为全体中国人平均身高的估计值。就是这么简单。点估计的优点是很直观易理解，给小学生讲一下应该也能听懂。不好懂的是点估计的缺点：点估计无法给出估计的可靠性。继续举栗子，当我们取了1W个平均身高并算出平均值是1.68时，我们并不能说，全国人民的平均身高100%就是1.68。事实上，平均身高可能是1.86，就算这样我们也仍然有可能恰好采到了一个平均身高只有1.68的样本，只不过这个概率比较小而已。再说得反直觉一点，全国人民的平均身高恰恰好好就是1.68的可能性其实是非常低的，但落在的可能性是大多了。问题就在于，点估计无法定量的给出这些区间以及对应的可能性大小。所以才有了更专业一点的区间估计。

参数估计有哪两种方法

　　参数估计有最小二乘法和极大似然法两种方法。 　　最小二乘法：为了选出使得模型输出与系统输出尽可能接近的参数估计值，可用模型与系统输出的误差的平方和来度量接近程度。使误差平方和最小的参数值即为所求的估计值。 　　极大似然法：选择参数，使已知数据在某种意义下最可能出现。某种意义是指似然函数最大，这里似然函数是数据Y的概率分布函数。与最小二乘法不同的是，极大似然法需要已知这个概率分布函数。

统计学第四课：参数估计

参数估计是在样本统计量概率分布的基础上，根据样本信息，推断总体参数。总体参数用θ表示，用于估计参数的统计量用θ上加一个 ^ 表示，θ^也称为 估计量 ，根据一个具体的样本计算出来的估计量的数值成为 估计值 。

方法有两种：点估计、区间估计。

点估计指的是用估计量的某个取值，作为总体参数θ的估计值。比如用样本均值作为总体均值的估计值，用样本比例作为总体比例的估计值等等。再比如，某个产品的样本良品率是97%，将97%作为这一批产品的良品率。

所以你可以看到，点估计的估计可靠性一般，因为依赖于估计量的可靠性，估计量的可靠性是有其抽样分布的标准误来衡量的。这么一来，无法说出点估计值与总体参数的真实值接近程度，我们就需要找其他的解决办法，比如围绕估计值构造一个总体参数的区间。

区间估计是在点估计的基础上得到总体参数的一个估计区间，通常区间是由样本统计量±估计误差得来。进行区间估计时，根据样本统计量的抽样分布，可以对统计量与筒体参数的接近程度给出一个概率度量。

实际情况，样本均值已知总体均值未知，我们求的就是总体均值。可以理解为，总体均值在样本均值的两侧对称分布，所以我们可以利用标准误估计总体均值在多少个标准误内可以作为总体均值的置信区间。 置信区间说的就是，在区间估计中，由于样本估计量构造出的总体参数在一定置信水平下的估计区间。其中最小值成为区间下限，最大值成为区间上限。我们有哪个百分数将区间划分成100份，95%称为置信水平（也就是距离样本均值±1.96个标准误的距离），在这个置信区间中包含总体参数真值次数所占的比例是置信水平，或成为置信度、置信系数。 -置信区间告诉我们在多次估计得到的区间中，大概有多少个区间包含参数的真值； -实际运用中过宽的区间意义不大，过窄区间容易漏掉真值； 总体参数真值固定，样本区间数量不固定；

用于估计总体参数的估计量θ^有很多，什么样的估计量算比较好的呢？

无偏性说的是：估计量抽样分布的期望值=被估计的总体参数。现在有所选估计量的θ^， 总体参数θ，如果E(θ^ )=θ，则θ^是θ的无偏估计量。

有效性指的是估计量的方差大小。表示了估计量接近总体参数的程度，同一个总体的无偏估计量有非常多个，离散最小的则是最好的。

【例】 从均值为0、方差为1的总体抽取10000个样本量为10的样本： 1）计算样本均值方差和样本中位数方差； 2）进行无偏性和有效性度量模拟；

通过上面的例子的结果可以看出：

通过上面的例子的结果可以看出：

一致性指的是随着样本量无限增大，统计量会最终收敛于所估总体的参数内。也就是说，大样本的估计量更加接近总体参数。

通过上面的例子的结果可以看出：

研究总体时，推断总体均值的统计量就是样本均值，研究两个总体时，关心的参数是两个总体均值的差值，用于推断的统计量则是两个样本的均值之差。

在对一个总体均值进行区间估计时，需要考虑抽取样本的总体是否是正态分布、总体方差是否已知、用于估计的样本是否为大样本（n≥30）还是小样本。 总体均值的置信区间都是由样本均值甲减估计误差得到的。所以估计误差有两部分组成：点估计的标准误、估计所要求的的置信水平为（1-α）时，统计量分布两侧面积各位α/2时的分位数值。因此，总体均值在（1-α）置信水平下的置信区间可以表达为： 样本均值 ±（分位数 * 样本均值的标准误）

由中心极限定理可知，样本均值近似服从期望值为μ，方差为σ^2/n的正态分布。样本均值标准化后得服从标准正态分布，z=（x拔-μ）/（σ/开方n）~N(0,1)。

若总体标准差σ已知，标准化时使用σ； 若σ未知，则用样本标准差s代替。 因此，可以有正态分布构建总体均值在（1-α）置信水平下的置信区间为：

当总体方差未知时，上述公式的σ替换成s，这是总体均值μ在（1-α）置信水平下的置信区间为：

在小样本情形下（n《30），对总体均值的估计都是建立在总体服从正态分布的假设前提下。

设有两个总体均值μ1、μ2。从两个总体中分别抽取样本量为n1、n2的两个随机样本。均值为x1拔、x2拔。 估计两个总体均值之差的点估计量显然是两个样本的均值之差，也就是（μ1-μ2）=（x1拔-x2拔） 估计原理与一个总体均值的区间估计类似。两个总体均值之差在（1-α）的置信水平下的置信区间可以表示为：

如果两个样本是从两个总体中独立抽取的，即一个样本中的元素与另一个样本中的元素相互独立，这就是 独立样本 。 如果两个样本都为大样本，那么两个样本均值之差近似服从期望值为（μ1-μ2）、方差为（σ1^ 2/n1+σ2^ 2/n2）的正态分布，两个样本均值之差经过标准化后侧服从标准正态分布：

【例】 研究男女的工资差异，选取男女工资各40人的随机工资样本，建立男女平均工资之差的95%置信区间。

当两个样本都是独立小样本时，估计两个总体均值之差需要假设两个总体都服从正态分布。

【例】 如果有两组方法进行组装产品，分别记录同样的12个工人分别组装，得到两个方法各12个组装时间。假定组装时间都是服从正态分布的，计算： 1）如果两个总体方差相等，方法的样本均值差，在95%的置信区间是多少？ 2）如果两个总体方差不等，方法的样本均值差，在90%的置信区间是多少？

用两个独立样本估计两个总体均值之差时有独立的弊端，比如偶尔会将某些不不好的参数抽样到一起，这时候，两个样本的对比会显得不公平。配对样本估计就是解决这类问题：也就是一个样本中的数据与两一个样本中的数据相对应，这样的数据通常是对同一个体所做的前后两次的测量。比如，前指定某10个人用第一种工具组装产品，再让这10个人用第二种工具组装产品，得到两种工具组装产品的总工时数据，这就是配对数据。 使用配对样本进行估计时，在大样本条件下，两个总体均值之差μd=μ1-μ2，在（1-α）置信水平下的置信区间为：

其中，d表示两个配对数据的差值，d拔表示个差值的均值，σd表示各个差值的标准差，当总体σd未知时，可用样本差值sˇd来替代。 在小样本情形下，假定两个总体各观察值的配对差服从正态分布，两个总体均值之差μd=μ1-μ2，在（1-α）置信水平下的置信区间为：

两个总体之差的估计需要考虑样本来那个的大虾，如果两个样本量都非常大，可以采用传统的估计方法，如果两个样本量是中等大小或者比较小，，需要对样本量和实验成功次数做出修正以改进估计的区间。

两个总体比例之差的区间估计原理与一个总体比例的区间估计相同。

估计中体方差是，首先假定总体服从正态分布，其原理与总体均值和总体比例的区间估计不同，不再是点估计量±估计误差。因为样本方差的抽样分布服从自由度为（n-1）的x^2 分布构造总体方差的置信区间，由于x^2不是对称分布，无法由点估计值±估计误差的大总体方差的置信区间。

比较两个总体方差的问题，一般由于两个样本店额方差服从了F（n1-1,n2-1）分布，因此可以用F分布来构造两个总体方差比的置信区间。

参数估计-矩估计

———————————————————————————————————————— method of moments 矩估计法，是参数估计中的一种常用方法。 矩估计，即矩估计法，也称“矩法估计”，就是利用样本矩来估计总体中相应的参数。首先推导涉及感兴趣的参数的总体矩（即所考虑的随机变量的幂的期望值）的方程。然后取出一个样本并从这个样本估计总体矩。接着使用样本矩取代（未知的）总体矩，解出感兴趣的参数。从而得到那些参数的估计。 ———————————————————————————————————————— 参数估计，是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。 其中点估计，依据样本估计总体分布中所含的未知参数或未知参数的函数。常用方法有矩估计、最大似然估计、最小二乘法、贝叶斯估计。（即对某一值进行估计） 区间估计，则依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。（即对一个范围进行估计） ———————————————————————————————————————— 在大数定律的前提下（在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。偶然中包含着某种必然。），矩估计体现了样本代替总体的思想，使用样本矩估计总体矩。 矩，在数理统计学中有一类数字特征称为矩。————————————————————————————————————————矩估计实现原理 令总体矩的k阶矩分别等于样本的k阶矩。（包含几个未知参数k就应该是几） 样本中的期望和方差是可以直接计算出来的常数，而总体的期望和方差是带有未知参数的，两者分别相等能够联立处等式计算出未知参数。

基础：常见的参数估计方法

抽样、样本数据 --》观察数据趋势 --》选择模型 --》 模型参数估计 --》假设检验

误差、残差

关于随机扰动项：随机误差是模型的组成部分，也是数理统计的缘由，因为数理统计就是对带有随机性数据的分析。

点估计： 区间估计：

最小二乘法是数学家高斯在预测行星轨道时提出的。 它的核心思想是：构造 误差平方和函数 ，对其求偏导， 让误差平方和函数取得最小值 的参数就是模型参数。 注意：最小二乘法本质上是一种参数估计方法，它既可以用于线性回归模型的参数估计，也可以用于非线性回归模型(如曲线模型)的参数估计中。可以说 最小二乘法=最小误差平方和 参数估计方法，但 最小二乘法≠线性回归 。

最大似然估计MLE：maximum likelihood estimation

引用《大嘴巴漫谈数据挖掘》中的解释：

---- 最大似然法认为当前出现的样本正好对应着总体中概率最大的那个事件； ---- 因为，总体中概率最大的事件实际出现（即被抽样选中）的概率是最大的。

因此 ，最大似然参数求解的核心思想就是 构造当前样本出现的联合概率函数 ，对其求偏导，让当前样本的概率最大的就是模型参数。

细说似然函数： 假定条件： 所有的采样都是独立同分布。 -- 独立，则P(x1,x2) = P(x1)*P(x2)；同分布，则针对每次采样，模型相同。

推导过程： 假设x1, x2, x3, ...是独立、同分布的抽样。f为我们所使用的模型，θ为模型参数。

根据最大似然法的思路：当前样本数据出现的联合概率最大。因此，我们计算出：

当前样本数据出现的概率 = P(x1,x2,x3,..) = f(x1,x2,x3,..|θ) 其中： P(x1,x2,x3,..)是概率 f(x1,x2,x3,..|θ)表示函数模型f(x)的每次抽样的输入变量依次为x1,x2,x3,..，且它的参数是θ，计算结果（值）等于概率。本身不是条件概率！不是条件概率！！

因为x1,x2,x3,..独立，则： f(x1,x2,x3,..|θ) = f(x1|θ)*f(x2|θ)*f(x3|θ)*... 同理，f(x1|θ)表示x1次抽样时函数模型的参数为θ，本身不是条件概率！！

为了使f(x1,x2,x3,..|θ) 最大，我们对其求偏导数： 但是，需要注意的是该式中x1,x2,x3,..为已知条件，后者θ为未知项。因此，我们定义一个关于未知项θ的函数—— 似然函数 L(θ):

L(θ|x1,x2,x3,..) = f(x1,x2,x3,..|θ) = f(x1|θ)*f(x2|θ)*f(x3|θ)*... 其中，L(θ|x1,x2,x3,..) 表示似然函数的自变量为θ，参数为x1,x2,x3,..，本身不是条件概率！！

继续对L(θ|x1,x2,x3,..) 求偏导……

通常是两边取对数，再求导：

至此，问题出现了如下的逐步替换： ①求解样本数据的最大联合分布概率 ↓ ②求解使得似然函数L(θ|x1,x2,x3,..)最大的未知参数θ ↓ ③求解使得平均对数似然函数1/n * ln L(θ|x1,x2,x3,..)最大的未知参数θ

由上可知最大似然估计的一般求解过程： （1） 写出似然函数L(θ|x1,x2,x3,..)； （2） 对似然函数取对数，再平均，求得 平均对数似然函数； （3） 求导数 ； （4） 解似然方程

先判断似然函数的单调性，再通过导数=0求得似然函数取最大值时的模型参数θ。但是，需注意的是，求导后，导数=0得到的θ为一个确定的值，也符合假设条件：x1,x2,x3,..每次独立抽样的概率模型相同。 但是，需要明白在很多实际情况下，当前获取样本数据并不一定就是真实模型(假如存在的话)中概率最大的那个。基于与大数定律相似的原因，只有在样本数量较多时，这种假设才会成立；在样本数量较小时，当前样本概率最大的假设不成立的机会很大。这也就是最大似然估计的局限所在。

参考： 最大似然估计 博客 深入浅出最大似然估计 wikiwand里 “最大似然估计” 的解释

最大后验概率估计（Maximum a posteriori estimation, 简称MAP）

背景 ：正如最大似然估计中假定x1,x2,x3,..每次独立抽样的概率模型相同，现在我们去掉这个假设，将问题复杂化。假如x1,x2,x3,..每次独立抽样的概率模型中的 参数θ不是一个固定值，而是一个符合g(θ)概率分布（先验概率）的随机变量 。这时，我们就需要用到最大后验估计。 Ps：假定条件变了，问题的复杂度方法变了，模型参数的估计方法也要随之改变。

最大后验估计的核心思想 ：是以当前样本数据条件下由贝叶斯公式计算出的 整个后验概率最大 的 模型参数θ 为最终的模型参数。后验=后验概率，最大后验=最大后验概率。 Ps：最大似然估计以让当前样本的概率最大的模型参数θ为最终的模型参数。

再说，“似然” (likelihood)指已经出现事件的发生概率，它并不是“最大似然参数估计方法”的专属名词。在这里，最大后验估计方法中也会涉及似然函数。

先说似然函数： 假设x1, x2, x3, ...是独立抽样，f为我们所使用的模型，θ为模型参数，但是θ不是固定常数，而是具有一定概率分布（先验分布）的随机变量。 模型参数θ的先验分布中的参数则被称为超参数(hyperparameter) 。

样本数据出现的概率 = P(x1,x2,x3,..) = f(x1,x2,x3,..|θ) 其中： P(x1,x2,x3,..)是概率 f(x1,x2,x3,..|θ)表示函数模型f(x)的每次抽样的输入变量依次为x1,x2,x3,..，且它的参数是θ，计算结果（值）等于概率。本身不是条件概率！不是条件概率！！

似然函数: L(θ|x1,x2,x3,..) = f(x1,x2,x3,..|θ) = f(x1|θ)*f(x2|θ)*f(x3|θ)*... 其中，L(θ|x1,x2,x3,..) 表示似然函数的自变量为θ，参数为x1,x2,x3,..。本身是函数，不是条件概率！

根据贝叶斯公式： 若A、B不完全独立，有相关关系，则P(AB) = P(A|B)*P(B) = P(B|A)*P(A) → P(A|B)＝P(B|A)*P(A)／P(B)

本问题中， 假如每次独立抽样x的概率模型中参数θ不是常数固定项，而是一个随机变量，且参数θ的先验分布为g(θ) 。同样的，我们就可以对其用贝叶斯公式：

P(θ|x1, x2, x3, ...) = P(x1, x2, x3, ...|θ) * P(θ) ／ P(x1, x2, x3, ...) = 其中，P(θ|x1, x2, x3, ...)是条件概率，P(x1, x2, x3, ...|θ) 也是条件概率 ↓ P(θ|x1, x2, x3, ...) = f(x1, x2, x3, ...|θ) * g(θ) ／ f(x1, x2, x3, ...) = 其中，f(x1, x2, x3, ...|θ)表示函数模型的值，θ为模型参数，本身不是条件概率。f(x1, x2, x3, ...) 表示函数模型的值。 ↓ 继续，将f(x)按照每条抽样数据x1, x2, x3,..的展开， P(θ|x1, x2, x3, ...) =

其中， g(θ) 是模型参数θ的先验分布; f(x1, x2, x3, ...|θ)表示函数模型的值，等于似然函数。θ为模型参数，本身不是条件概率。

临时插播 ：从上式可以看出 后验概率 P(θ|x1, x2, x3, ...) 和 似然函数 f(x1, x2, x3, ...|θ)的差异！二者分别MAP和MLE两种参数估计方法的核心函数，也就是这两种方法计算过程的差异。 后验概率在似然函数的基础上还考虑了先验概率的影响 。

接下来，最大后验估计的核心就是： 求出使整个后验概率P(θ|x1, x2, x3, ...) 最大的模型参数θ为最终的模型参数 。

计算略……

结果：与最大似然估计的结果不同，最大后验估计的结果中多了许多超参数，这就是先验在起作用。 模型参数θ的先验分布中的参数则被称为超参数(hyperparameter) 。

参考： 最大似然估计和最大后验估计 wikiwand 最大后验概率 菜鸟学概率统计——最大后验概率（MAP) 详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解

MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布，或者说，MLE中认为模型参数本身的概率的是均匀的，即该概率为一个固定值。当MAP中模型参数θ的先验概率为常数（固定值）时，问题就回到了MLE。

MAP允许我们把先验知识加入到估计模型中，这在样本很少的时候是很有用的，因为样本很少的时候我们的观测结果很可能出现偏差，此时先验知识会把估计的结果“拉”向先验，实际的预估结果将会在先验结果的两侧形成一个顶峰。通过调节先验分布的参数，我们还可以调节把估计的结果“拉”向先验的幅度。这样的参数，我们叫做预估模型的“超参数”。

MLE与MAP两种方法体现了频率学派、贝叶斯学派的观点不同。最大似然估计体现是的频率学派的观点，而最大后验估计体现的是贝叶斯学派的观点。

这里有两点值得注意的地方： 1）随着样本数据量的增加，参数分布会越来越向数据靠拢，先验P(θ)的影响力会越来越小； 2）如果先验是uniform distribution(即P(θ)=常数，模型参数θ为常数)，则贝叶斯方法等价于频率方法。因为直观上来讲，先验P(θ)=常数本质上表示对事物没有任何预判。 参考： 频率学派还是贝叶斯学派？聊一聊机器学习中的MLE和MAP

参数估计方法包括什么和什么

参数估计　　parameterestimation　　根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。　　估计量的评价标准：（1）无偏性，（2）一致性，（3）有效性，（4）充分性。　　点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值，如数学期望、方差和相关系数等。点估计问题就是要构造一个只依赖于样本的量，作为未知参数或未知参数的函数的估计值。例如，设一批产品的废品率为θ。为估计θ，从这批产品中随机地抽出n个作检查，以X记其中的废品个数，用X／n估计θ，这就是一个点估计。构造点估计常用的方法是：①矩估计法。用样本矩估计总体矩，如用样本均值估计总体均值。②最大似然估计法。于1912年由英国统计学家R.A.费希尔提出，利用样本分布密度构造似然函数来求出参数的最大似然估计。③最小二乘法。主要用于线性统计模型中的参数估计问题。④贝叶斯估计法。基于贝叶斯学派（见贝叶斯统计）的观点而提出的估计法。可以用来估计未知参数的估计量很多，于是产生了怎样选择一个优良估计量的问题。首先必须对优良性定出准则，这种准则是不唯一的，可以根据实际问题和理论研究的方便进行选择。优良性准则有两大类：一类是小样本准则，即在样本大小固定时的优良性准则；另一类是大样本准则，即在样本大小趋于无穷时的优良性准则。最重要的小样本优良性准则是无偏性及与此相关的一致最小方差无偏估计，其次有容许性准则，最小化最大准则，最优同变准则等。大样本优良性准则有相合性、最优渐近正态估计和渐近有效估计等。　　区间估计是依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。例如人们常说的有百分之多少的把握保证某值在某个范围内，即是区间估计的最简单的应用。1934年统计学家J.奈曼创立了一种严格的区间估计理论。求置信区间常用的三种方法：①利用已知的抽样分布。②利用区间估计与假设检验的联系。③利用大样本理论。

一元线性回归模型的参数估计方法

一元线性回归模型的参数估计方法是：

常用估计方法为最小二乘法OLS，为了使OLS得到的估计量具有良好的性质，需要对模型给出一些基本的假定。如果基本假定不满足，OLS方法可能不再适用，或不再具有良**质。严格来说，基本假定是针对OLS方法而言的，而非针对模型。

一元线性回归模型表示如下：

yt = β0 + β1 xt +ut（1）上式表示变量yt 和xt之间的真实关系。其中yt 称作被解释变量（或相依变量、因变量），xt称作解释变量（或独立变量、自变量），ut称作随机误差项，β0称作常数项（截距项），β1称作回归系数。

在模型 (1) 中，xt是影响yt变化的重要解释变量。β0和β1也称作回归参数。这两个量通常是未知的，需要估计。

t表示序数。当t表示时间序数时，xt和yt称为时间序列数据。当t表示非时间序数时，xt和yt称为截面数据。ut则包括了除xt以外的影响yt变化的众多微小因素。ut的变化是不可控的。上述模型可以分为两部分。（1）β0 +β1 xt是非随机部分；（2）ut是随机部分。

参数估计的方法有两种,分别是

点值估计和区间估计。（1）点值估计：直接用样本统计量去估计总体参数。总体均数的点值估计就是直接用样本均数去估计总体均数（就是把样本均数看作是总体均数）。缺点：没有考虑到抽样误差。（2）区间估计：结合样本统计量和标准误可以确定一个具有较大概率（可信度）的包含总体参数的区间，该区间称为总体参数的1——α可信区间（置信区间）。预先给定的概率称为可信度，用1——α表示，常用的可信度为95％或99％。如没有特别说明，一般取双侧95％。