Adjusting the Penalized Term for the Regularized Regression Models

Abstract

More attention has been given to regularization methods in the last two decades as a result of exiting high-dimensional ill-posed data. This paper proposes a new method of introducing the penalized term in regularized regression. The proposed penalty is based on using the least squares estimator's variances of the regression parameters. The proposed method is applied to some penalized estimators like ridge, lasso, and elastic net, which are used to overcome both the multicollinearity problem and selecting variables. Good results are obtained using the average mean squared error criterion (AMSE) for simulated data, also real data are shown best results in the form of less average prediction errors (APE) of the resulting estimators.

Une plus grande attention est accordée, de plus en plus, aux méthodes de régularisation au cours des deux dernières décennies à la suite de la la survenance de données de haute dimension. Cet article propose une nouvelle méthode d'introduction du terme pénalisé dans la régression régularisée. La pénalité proposée est basée sur l'utilisation des variances des estimateurs des moindres carrés des paramètres de régression. La méthode proposée est appliquée à certains estimateurs pénalisés comme la méthode ridge, le lasso et le filet élastique, qui sont utilisés pour surmonter à la fois le problème de la multicolinéarité et la sélection des variables. De bons résultats obtenus en utilisant la le critère de l'erreur quadratique moyenne (AMSE) pour les données simulées et également sur des données réelles sont présentés. Les meilleurs résultats sont obtenus avec le critère des erreurs de prédiction moyennes (APE) sur les estimateurs concernés.