引言
在统计学中，分析现有数据的基本原理往往是必要的，即统计结论是数理统计的根底。统计学这是关于样本对总体分布或分布的结论。定量相关的数理统计结果可分为两点：点估计和区间估计。
在系统模型的结构已知的时候，德国高斯数学家在18世纪末初次提出了一种参数估计的方法，这便是最小二乘法。由于计算机的流行，参数估计发展的非常迅速，包括矩估计法、最小二乘法等其他所有方法发展的都很迅速，并且促进了时代的发展。在这其中，最基本要属最小二乘法和最大似然法这两个方法。
非参数估计则是与参数估计相关联的一种估计方法。在非参数估计中，不假设基本分布，而随机抽样本身的信息主要用来判断估计量的质量。最大得分估计方法是一种比较常用的非参数估计方法。
大偏差理论是关键针对研讨于罕见事情概率的估计，它是指数型的。这个框架是由瓦拉丹于1966年提出的，他在2007年获得了亚伯数学奖。20世纪70-80年代，随着大偏差理论和随机动力系统扰动理论的建立和发展，它非常快的变成了概率论的一个重要分支。
1.常见的估计量
1.1参数估计
参数估计是随机的一个样本中大致分布的估计的过程，下面主要介绍点估计以及区间估计。
1.1.1点估计
点估计是一种根据抽样指标计算未知列表参数的方法，其总体指标和各选项均准确。点估计经常被人们用到的方法有矩估计、最大似然估计、最小二乘估计和顺序统计量。
矩估计法：设X是随机变量，对于任意正整数，称为随机变量X的k阶原点矩，记为:
当时,，得到一阶原点矩即为随机变量x的数学期望。
以E(X)为中心的k阶中心矩为.当k=2时，，得到随机变量的方差。
例1.1.1设总体X〜U(a,b)，其中a,b为未知参数，现从中抽取一个样本观察值
。用矩阵法估计的值
解先求估计量，得到方程组
由于
,
注意到
解得：
则a,b得估计值为
.
顺序统计量法：用样本中位数来估计总体的数学期望的方法。
最大似然法：用于求一个样本集的相关概率密度函数的参数。
例1.1.2设总体X服从参数为λ的泊松分布，求λ的极大似然函数估计。
解总体X的分布为
似然函数为
对数似然函数为
求导后得到极大似然估计为
最小二乘法：最简单的方法是得到完全未知的实数值，并使误差平方和最小。最小二乘法通常用于曲线匹配。它也可以表示为最小能量或最大熵。
1.1.2区间估计
根据样本统计所测得的样本分布，在区间估计中提供了接近总体参数的统计样本测量的概率测度。置信区间有最大值和最小值，他们分别被称为置信上限和置信下限，而置信水平则是假定多次构造后一直包含实际值，包括区间估计量：区间估计量不是总参数落入某一确定值的概率面积，但多个样本的概率。因此，由于概率的关系，可以确定有多少样本区域包含实际的参数值。
1.2非参数估计
假定一个估计的问题，它没有明确的分布或者有没有用的有限参数，那么这类估计问题被称为非参数估计。它需要最少的基础知识，这些知识只能在培训数据的基础上使用，并且可以以任何形式使用。
它可以用来解决任意的概率分类问题，而不需要去假设密度函数。主要思想为：向量落入一个区域R的概率P为
主要的方法有：
1.2.1直方图估计
1)把X的每一个分量分成k个相等间隔小窗，
2)计数落在每个小窗口中的样本数，
3)对应小窗口的概率密度为.
假设N个样本的集合时根据概率密度的分布独立抽取到
的，则K个样本落入区域R的概率服从二项分布：
K的期望值是对的估计
N越来越接近无穷大时，结果则变的越来越精确。
1.2.2 Paezen窗估计
首先，我们应该选择使用窗函数，Parzen窗估计的过程是一个内插的进程，样本Xi距离x越近,对概率密度估计的贡献越大，越远贡献越小。
如果满足以下条件，它可以用作窗函数：
方窗函数：
正态分布窗函数:
指数窗函数:
其中
1.2.3核密度估计
核密度估计能快速生成一个近似的密度估计，概率很大。详细来说,假定数据为x1,x2,x3,,xn,在任一点的核密度估计为：
这里的K(x)称为核函数，它一般来说都是满足对称性。可见，核函数是权函数的一类。在该问题里面，我们可以利用从数据点Xi到X之间的相减的间隔来确定Xi对点X的密度的影响，而且采样点越靠近X，影响越大。
1.2.4 K近邻估计
由核密度估计的权重是基于从参考点到点X的距离，但是K近邻估计，在此之前可以对权重进行加权，只要它是离X点最近的K点，而不管欧氏范围如何，换句话说，K近邻估计可以表示为：
其中,dk(x)体现了点X到一切样本点的欧氏距离，,显然K的取值决定了估计密度曲线的光滑程度，K越大越光滑。
2.常用的不等式
2.1 Markov不等式
定理2.1.1设X为只取负值的随机变量，数学期望EX=μ,则对于任意的ε,有不等式
证明：构造随机变量,则.因为,所以
两边取数学期望，由此即得.
马尔可夫不等式的必要性是在，在不知道不为负数的随机变量X的具体分布函数的情况下，概率的上界只能根据数学期望来估计，因此马尔可夫不等式起到了重要和广泛的应用，在理论和实践中。需要指出的是，马尔可夫不等式在概率极限理论的研究中起着关键的作用。但也有缺点：
1)马尔可夫不等式给出的控制线太粗，给推导带来不便。
2)左端仅限于的形式，对一般的级数的讨论非常少。
2.2 Chebyshev不等式
定理2.2.1设随机的一个变量X的数学期望为，方差，则对于任意正数ε，成立不等式
证明：利用Markov不等式得到,即命题得证。
2.3 Hoeffding不等式
定理2.3.1假定它是一组随机分布变量，为伯努利参数，n为个数。所以将平均值定义为：
对于任意，Hoeffding不等式我们可以进行表示为：
用表示抛次硬币正面向上的概率，则正面向上的次数不超过的概率为：
当时寸，得到Hoeffding不等式
当时寸，得到Hoeffding不等式
令,得到
.
2.4 Mill不等式
定理2.4.1设,则，对任意的，
其中是标准正态分布，对于任意的t>0,
及
.
2.5 Bernstein不等式
定理2.5.1对于随机变量,Xn,对于所有的都有X1,X2,,Xn,对于所有的Xi都有
.
能够得到随机变量的和与其期望偏差之间的上界，有不等式：
矩阵式：令为独立零均值随机变量，而且对于所有及某些常数
M和满足
则，
2.6 Berry-Esseen不等式
定理2.6.1设为IID,具有有穷值,方差,而且三阶矩
,令,则
.
3.常见估计量的精度估计
3.1无偏性
一般情况下，每一个估计量都会有偏差，与实际值相比。然而，人们总是希望在许多实验中得到的估计量的平均值与参数的实际值相一致。样本分布的数学期望等于估计的总体参数。
定理3.1.1设为的估计量，若,则称是的无偏估计量。
显然,
3.2相合性
定理3.2.1设是的估计量，若,则称是的相合估计量。
例3.2.1设已知，,讨论P的极大似然估计量的相合性。
解.由辛钦大数定理，
所以
3.3有效性
定理3.3.1设分别是参数的两个无偏估计，若,则称比有效。
例3.3.1,分别抽取容量为的样本，和分别是两样本均值，证：
为的无偏估计，并确定a,b使Y最有效。
解：,
,令,令
,可得.
4.大偏差技术
4.1什么是偏差
我们都知道伯努利序列定义为,其中每个都是随机变量且,之后考虑伯努利序列的前n项的和，定义：,显然表示前n次试验总的成功数。可以证明,也就是说，成功频率的平均值等于成功概率p.由于上述公式只是一个概率方程，因此需要考虑的量是与之间的偏差.这就是偏差。
偏差理论是估计上述绝对值的公式。也就是说，对于任何,估计不等式成立的概率。
4.2大偏差相关公式的推导
1)当理论估计得是成立的概率时，即成功的次数与之间的差距为量级，称为标准差理论。
2)当量级达到n时，研究了或更高的概率，称为大偏差理论。
a)伯努利序列的大偏差公式组：
由于要估计的时概率不等式，想到的便是Chebyshev不等式
其指数形式为
对于任何的上式都成立，即改写为
得到上面这个公式后联系伯努利序列:
从而,
由独立性，得到函数形式为
所以对于,
因为是的函数，记为:
经过计算，为
对和讨论后可得如下不等式:
以上总结为
以上五个公式即为伯努利序列中的关于大偏差概率的不等式。
如果不进行指数化，直接用Chebyshev不等式估计，可得到不等式:
中偏差定义如下：
设满足,其速度为,且
则称满足.
参考文献：
[1]《数学辞海》总编辑委员会,《数学辞海》第3卷.东南大学出版社,2002.
[2]潘德惠,概率论与误差论概要.辽宁人民出版社,1963年06月第1版.
[3]李贤平,《概率论基础》第三版.高等教育出版社,311.
[4]梁泰基主编,统计无线电理论.国防科技大学出版社,1988年02月第1版.
[5]鲜思东,概率论与数理统计.北京,科学出版社,2010:146.
[6]茆诗松,程依明,濮晓龙,概率论与数理统计教程.高等教育出版社,2010年,第二版.
[7]朱顺泉,金融工程理论与应用.清华大学出版社,2012.
[8]Rockafeller T,Uryasev S,Optimization of conditional value-at-risk[J].Journal of Risk,2000,2(3):21-42.
[9]杨学为,中国考试大辞典.上海辞书出版社,2006.
[10]Follmer H,Schied A.,Stochastic finance:An introduction in discrete time[M].Berlin:Walter de Gruyter,2004:61-190.
[11]《数学辞海》总编辑委员会,《数学辞海》第1卷.山西教育出版社,1998.
下载提示：
1、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“文章版权申述”（推荐），也可以打举报电话：18735597641(电话支持时间：9:00-18:30)。
2、网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友投稿，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务。
原创文章，作者：写文章小能手，如若转载，请注明出处：https://www.447766.cn/chachong/14764.html,
