正交回归最小二乘估计

比较了线性回归模型与EV模型,在最小二乘估计的基础上,给出了正交回归最小二乘估计.     

广义压缩最小二乘估计的优良性

本文讨论了广义压缩最小二乘估计的均方误差、均方残差的一些性质，另外还分别在Ｑ（ｃ）准则及Ｐｉｔｍａｎ准则下讨论了广义压缩最小二乘估计的优良性。     

梯形模糊数的一元模糊线性回归模型的最小二乘估计

由于模糊数往往可以用梯形模糊数来逼近,因此对梯形模糊数的模糊回归模型的研究就有一定的实用价值.采用最小二乘的方法,针对应用广泛的输入为确定数、输出为梯形模糊数的一元模糊线性回归模型,讨论了该模型回归系数的最小二乘估计和误差项.当梯形模糊数退化为精确数时,该估计就是传统的最小二乘估计.数值模拟和实例研究说明了本文提出的参数估计方法的拟合度比较好.     

约束条件下的广义最小二乘估计

本文仿造约束最小二乘估计和广义最小二乘估计的推导方法．给出约束条件下的广义最小二乘估计。     

线性模型参数最小二乘估计唯一性的一个证明

对任意矩阵X,X(X′X)-X′与广义逆(X′X)-的选取无关,且有X=X(X′X)-X′X,X′=X′X(X′X)-X′.本文拓展了上述结果,证明了对任意正定阵V,X(X′V-1X)-X′V-1与广义逆(X′V-1X)-的选取无关,并有X=X(X′V-1X)-X′V-1X,X′=X′V-1X(X′V-1X)-X′.利用上述推广的结果,直接给出了广义线性模型中可估函数c′β的最小二乘估计c′β*的唯一性和无偏性的证明.     

最小二乘估计与主成分估计的比较

估计回归参数的最基本最重要的方法是最小二乘估计,但在一些情况下,主成分估计可能是一个更好的估计方法,本文就这两种方法进行了分析比较.     

最小二乘估计量优于工具变量估计量的一个充分条件

本文证明了:当工具变量与随机干扰项服从二维正态分布,样本容量大于2,解释变量与工具变量的样本相关系数绝对值小于相互独立随机变量的样本相关系数的0.75分位点时,最小二乘估计量的绝对误差小于工具变量估计量的绝对误差的概率大于0.5.     

广义均方误差标准下双类估计优于最小二乘估计的充分条件

本文通过一个比较简洁的方法,得到了在广义均方误差标准下双类估计优于最小二乘估计的充分条件。     

正则化最小二乘线性判别分析算法

线性判别分析(Linear Discriminant Analysis,LDA)是用于降维和分类的方法,然而在遇到小样本问题时,由于全局散布矩阵是奇异的,所以传统的LDA方法是不适用的。为了解决LDA的这种缺点,提出了基于最小二乘线性判别分析(Least Squares Linear Discriminant Analysis,LS-LDA)的正则化算法,在LS-LDA中分别加入关于加权矩阵的L1范数、L2范数和弹性网络的惩罚项、来解决小样本问题,使模型具有鲁棒性和稀疏性。在对回归分析、正则化方法和LS-LDA相关技术进行深入分析的基础上,构建正则化最小二乘线性判别分析框架算法,实现数据降维。结合标准文本数据集进行实验,采用KNN(K-Nearest-Neighbor)分类器进行文本分类。实验结果表明,正则化的LS-LDA具有很好的分类性能,其中以加入了弹性网络惩罚项的LS-LDA最优。     

最小二乘问题的研究现状

实际中,经常遇到最小二乘的求解问题.对于最小二乘问题的最优解法,专家学者们都在积极地研究、论证.为了能对最小二乘问题有初步的了解,本文就最小二乘问题的基本解法和近几年的成果进行简单的阐述.     

Partial least squares regression for predicting economic loss of vegetables caused by acid rain

To predict the economic loss of crops caused by acid rain, we used partial least squares （PLS） regression to build a model of single dependent variable - the economic loss calculated with the decrease in yield related to the pH value and levels of Ca^2＋, NH4^＋, Na^＋, K^＋, Mg^2＋, SO4^2-, NO3^-, and Cl^- in acid rain. We selected vegetables which were sensitive to acid rain as the sample crops, and collected 12 groups of data, of which 8 groups were used for modeling and 4 groups for testing. Using the cross validation method to evaluate the performace of this prediction model indicates that the optimum number of principal components was 3, determined by the minimum of prediction residual error sum of squares, and the prediction error of the regression equation ranges from -2.25% to 4.32%. The model predicted that the economic loss of vegetables from acid rain is negatively corrrelated to pH and the concentrations of NH4^＋, SO4^2-, NO3^-, and Cl^- in the rain, and positively correlated to the concentrations of Ca^2＋, Na^＋, K^＋ and Mg^2＋. The precision of the model may be improved if the non-linearity of original data is addressed.     

推广的最优加权最小二乘估计解的一个结果

文章根据加权最小二乘估计解，存在权系数，在估计误差方差矩阵最小意义下，得出了推广的最优加权最小二乘估计解的一个结果。     

经济理论中最小二乘法线性拟合参数估计的等价性问题

在当今西方经济学至少是所谓的"高级"西方经济理论中,数学已经成为阐述理论内容的基本要素或者说是通用语言.线性回归模型是最常用的经济计量模型,用于研究风险、保险、资产组合等经济问题,也可以用作经济预测.本文研究了线性回归模型中的参数估计问题,运用最小二乘法进行参数估计的数学分析基础.最小二乘法只是使用了函数的稳定点而没有运用数学分析的极值理论里的第一充分条件和第二充分条件,本文讨论最小二乘法的估计参数方法和数学分析的极值理论的方法是等价的.     

一类经验Bayes估计的优良性

理论研究和实践结果表明,线性回归模型中最常用的方法——最小二乘法,在一些情况下表现不理想,因此近些年来,统计学家提出了许多替代方法供选择使用。本文通过参数经验Bayes(PEB)方法构造线性回归模型中可估函数的经验Bayes(EB)估计,并分别在均方误差(MSE)准则及均方误差矩阵(MSEM)准则下讨论它相对于最小二乘(LS)估计的优良性。     

回归系数的线性估计在平衡损失下的可容许性

针对多元正态线性模型,根据Zellner提出的平衡损失函数,对其进行变形,定义了更一般的平衡损失函数。研究了在该损失下,多元正态线性模型回归系数矩阵的线性估计在一切估计类中的可容许性,并给出了充要条件。该方法同样适用于线性估计类中的可容许性以及其他的可容许性的研究。     

权回归模型下几种估计性能的比较

在给定的权回归模型下,讨论了最小二乘估计、最优加权最小二乘估计和线性无偏最小方差估计的性能比较,得出了在随机误差方差矩阵可逆条件下,可算出最优加权最小二乘估计与线性无偏最小方差估计误差方差阵的差表达式,并在一定条件下,两者趋于一致。     

Stability of the MGS-like elimination method for equality constrained least squares problems

This paper proves that the weighting method via modified Gram-Schmidt(MGS) for solving the equality constrained least squares problem in the limit is equivalent to the direct elimination method via MGS(MGS-elimination method). By virtue of this equivalence, the backward and forward roundoff error analysis of the MGS-elimination method is proved. Numerical experiments are provided to verify the results.     

二次损失下带约束增长曲线模型的线性容许Minimax估计

在二次损失下,讨论了带等式约束的增长曲线模型的参数阵在适当的线性估计类中是线性Minimax容许估计的充分必要条件.     

Alternate Broyden’s method for solving linear least squares problem with multiple right-hand sides

In this paper, we extend the alternate Broyden’s method to the multiple version for solving linear least-square systems with multiple right-hand sides. We show that the method possesses property of a finite termination. Some numerical experiments are given to illustrate the effectiveness of the method.     

Gauss-Markoff估计的最大概率性

本文考虑随机化效应模型Y=χβ+ε,这里β和ε是随机变量,研究了Gauss-Markoff估计的概率最优性。