一般线性模型参数估计理论综述及一类正则方程组的解

文章讨论了设计阵具有任意秩的一般线性模型的参数估计问题，综述了这类问题三个历史阶段的研究成果，并研究了一类正则方程组有无偏解的充要条件。     

广义线性模型在线性约束下的参数估计

利用Lagrange乘数法导出了广义线性模型在线性约束下的回归参数的最小二乘估计,并讨论了它的性质.证明了当设计阵列满秩时,它在协方差阵意义下要优于无约束下的广义最小二乘估计.     

一般线性模型回归系数的可估计性

利用矩阵广义逆的有关性质,研究了一般线性回归模型设计矩阵Xnxp非列满秩时回归参数β的可估计性,并给出了回归参数β的某些线性函数cTβ可估计的充要条件.     

线性模型参数最小二乘估计唯一性的一个证明

对任意矩阵X,X(X′X)-X′与广义逆(X′X)-的选取无关,且有X=X(X′X)-X′X,X′=X′X(X′X)-X′.本文拓展了上述结果,证明了对任意正定阵V,X(X′V-1X)-X′V-1与广义逆(X′V-1X)-的选取无关,并有X=X(X′V-1X)-X′V-1X,X′=X′V-1X(X′V-1X)-X′.利用上述推广的结果,直接给出了广义线性模型中可估函数c′β的最小二乘估计c′β*的唯一性和无偏性的证明.     

正则化最小二乘线性判别分析算法

线性判别分析(Linear Discriminant Analysis,LDA)是用于降维和分类的方法,然而在遇到小样本问题时,由于全局散布矩阵是奇异的,所以传统的LDA方法是不适用的。为了解决LDA的这种缺点,提出了基于最小二乘线性判别分析(Least Squares Linear Discriminant Analysis,LS-LDA)的正则化算法,在LS-LDA中分别加入关于加权矩阵的L1范数、L2范数和弹性网络的惩罚项、来解决小样本问题,使模型具有鲁棒性和稀疏性。在对回归分析、正则化方法和LS-LDA相关技术进行深入分析的基础上,构建正则化最小二乘线性判别分析框架算法,实现数据降维。结合标准文本数据集进行实验,采用KNN(K-Nearest-Neighbor)分类器进行文本分类。实验结果表明,正则化的LS-LDA具有很好的分类性能,其中以加入了弹性网络惩罚项的LS-LDA最优。     

一元线性模型回归系数的一种广义估计

采用广义估计β（K）=[X′X)^-1-QKQ′（X′X）^-2]X′y估计一元线性模型中的回归系数β,通过K值的选取,可使β（K）的均方误差MSE小于β的LS（最小二乘）估计β＊的MSE。     

关于具有线性约束的多元线性回归模型的注记

本文给出了具有线性约束的多元线性回归模型的最小二乘估计几何意义,由此给出了其最小二乘估计量的简要证明,同时进一步纠正了一些文献对该模型讨论的有关错误。     

对混合效应模型中参数估计的一个思考

将含有两个随机效应的混合模型,借助奇异值分解,等价转换成两个新模型,给出了一个固定效应的无偏估计,并指出在满足一定条件下其方差小于最小二乘估计的方差,同时证明了新模型中参数的最小二乘估计等于原模型参数的方差分析估计。     

生长曲线模型中回归系数阵的一类线性估计的优良性

设生长曲线模型为Yn×p=An×mBm×kCk×p＋En×p,E～N（0,σ^2In Ip）,当A^TA为病态时,令回归系数阵的最小二乘（LS）解和一类线性估计分别为B^=（A^TA）-A^TYC^T（CC^T）^-1和B^1（A^TA＋p∑）^-1A^TYC^T（CC^T）^-1,其中p〉0为常数,∑为正定阵,分别在A^TA和∑的可交换性未知和已知的情形下证明了在适当条件下B^1,在PC准则下优于B^,并将这一结论推广到A^TA和C^TC都是病态时的情况。     

多元线性模型回归系数的有偏估计

采用有偏估计B∧(k) =[(X′X) - 1-k(X′X) - 2 ]X′Y估计多元线性模型中的回归系数B ,通过k值的选取 ,可使 β∧(k) =Vec[B∧(k) ]的均方误差MSE小于 β =Vec(B)的LS(最小二乘 )估计β 的MSE .     

奇异值分解求线性最小二乘解的理论分析

最小二乘问题在数据拟合、参数估计和控制理论等方面有着广泛的作用.本文将利用奇异值分解给出了线性方程Ax=b 的最小二乘解的通解表达式以及广义逆的表达式,并对最小线性二乘问题的条件数进行了论证,指出了当矩阵A 为方阵时怎样估算该方程组的是否是病态的方法.     

线性回归模型的一种有偏估计

在线性回归模型Y=Xβ+ε;E(ε)=0;cov=σ2Σ;Σ>0下给出了有偏估计β*(K,d)=(XTΣ-1X+K)-1(XTΣ-1Y+dβ*),其中K>0,d>0为参数,β*表示线性回归模型的广义最小二乘估计,讨论了这种有偏估计的优良性质,得出了主要结论.     

线性度量误差模型广义最小二乘估计

本文通过对度量误差模型的分析,给出了样本之间不是相互独立条件下,度量误差模型参数的广义最小二乘估计。     

混合系数线性模型的参数估计

将从整体数据出发,继续讨论a和b的估计,并且在系数矩阵呈病态的情况下,给出了可估函数c′d的最佳线性无偏估计。在系数矩阵趋于病态的时候,这里提出一种新的估计—局部Stein估计。这是在混合系数线性模型参数的Stein估计的基础上对LS估计的一种改进估计。     

部分线性回归模型中的差分两参数估计

考虑部分线性回归模型中回归系数的估计问题,提出一类新的差分两参数估计.同时讨论新估计的优良性.     

线性模型参数β的均匀压缩估计

对一般线性模型中参数β的最小二乘估计和岭估进行了修正,把岭估计中各量的非均匀压缩修为均匀压缩,从而得到了β的一种均匀压缩估计βa,并给出了具体的求法和适用范围。     

广义Pareto分布的参数估计

广义Pareto分布(Generalized Pareto Distribution,简称GPD)是统计推断中重要的一个分布,其目前在诸多领域得到广泛的应用.GPD的参数估计方法有多种,但各种方法及估计效果一般都受到形状参数k的限制,总结几种常用的参数估计方法,如:矩估计(the method of moments,简记MOM)、最小二乘估计(the least squares estimation,简记LSE)、基于分位数估计(the elemental percentile method,简记EPM)、近似广义最小二乘估计(AGLSE)等,通过模拟研究,得出不存在一致最优的参数估计方法.而在k较大时,LSE在GPD参数估计中模拟效果较为理想,特别当k1/2时,AGLSE对k的估计精度较高.     

梯形模糊数的一元模糊线性回归模型的最小二乘估计

由于模糊数往往可以用梯形模糊数来逼近,因此对梯形模糊数的模糊回归模型的研究就有一定的实用价值.采用最小二乘的方法,针对应用广泛的输入为确定数、输出为梯形模糊数的一元模糊线性回归模型,讨论了该模型回归系数的最小二乘估计和误差项.当梯形模糊数退化为精确数时,该估计就是传统的最小二乘估计.数值模拟和实例研究说明了本文提出的参数估计方法的拟合度比较好.     

实Clifford分析中二正则函数的线性边值问题

首先运用积分方程的方法和压缩映射原理,讨论实Clifford分析中二正则函数的一类线性边值问题A解的存在和唯一性。其次,给出边值问题A′的一种解法。