A comparative study on the regularized versions of discriminant analysis: An application to gene expression data

Abstract

Discriminant analysis has been used in many application for classification and dimension reduction when the ratio of sample size to dimension diverges. However, the applicability of this method is almost impossible whenever sample size is bigger than dimension of the data. Efforts have been made to circumvent this problem by either regularise or penalise sample covariance matrices of the competing classes of observations. However, presence of redundant features in the data raises misclassification rates of discriminant rule. In this paper, we explore shrunken centroid regularised discriminant analysis for gene selection and regularised discriminant analysis as classification method based on various versions of regularised covariance matrices of competing classes of gene expression levels. The performance of the regularised linear and quadratic discriminant analysis in comparison with some other classification methods is illustrated using some gene expression data sets as well as simulated data.

L'analyse discriminante a été utilisée dans beaucoup d'application pour la classification and das la réduction de dimension lorsque le rapport taille de l'échantillon/Dimension diverge. Toutefois, l'applicability de cette méthode est problèmatique si la taille de l'échantillon est plus grande que la dimension de données. Des efforts ont été faits pour régler cette difficulté soit régulariser soit pénaliser la matrice empirique des variances-covariances des classes d'observations en compétition. Cependant, la présence de caractéristiques redonnantes conduit à accroitre le taux de mal classements dans la discrmination. Dans ce papier, we explorons la méthode dite shrunken centroid regularized discriminant Analysis pour l'expression des gènes et celle dela méthode de l'analyse discriminate régulaizée come outil de classements relatives à plusieurs versions de régularisatin des matrices de covariances des classes en compétitions relatives aux niveau d'espression des gènes. La performance de la régularization linéaire et quadratique de l'analyse discriminante en comparaison avec certaines autres méthodes de classification est illustrée par une pratique avec des jeux de données et une étude de simulation.