New M-estimators in semi-parametric regression with errors in variables

Abstract

In the regression model with errors in variables, we observe n i.i.d. copies of (Y, Z) satisfying Y=f_θ⁰(X)+ξ and Z=X+ɛ involving independent and unobserved random variables X, ξ, ɛ plus a regression function f_θ⁰, known up to a finite dimensional θ⁰. The common densities of the X_i’s and of the ξ_i’s are unknown, whereas the distribution of ɛ is completely known. We aim at estimating the parameter θ⁰ by using the observations (Y₁, Z₁), …, (Y_n, Z_n). We propose an estimation procedure based on the least square criterion $\tilde{S}_{\theta^{0},g}(\theta)=\mathbb{E}_{\theta^{0},g}[((Y-f_{\theta}(X))^{2}w(X)]$ where w is a weight function to be chosen. We propose an estimator and derive an upper bound for its risk that depends on the smoothness of the errors density p_ɛ and on the smoothness properties of w(x)f_θ(x). Furthermore, we give sufficient conditions that ensure that the parametric rate of convergence is achieved. We provide practical recipes for the choice of w in the case of nonlinear regression functions which are smooth on pieces allowing to gain in the order of the rate of convergence, up to the parametric rate in some cases. We also consider extensions of the estimation procedure, in particular, when a choice of w_θ depending on θ would be more appropriate.

Dans le modèle de régression avec erreurs sur les variables, nous observons n v.a. i.i.d. de même loi que (Y, Z) satisfaisant aux relations Y=f_θ⁰(X)+ξ et Z=X+ɛ, où les v.a. X, ξ, ɛ sont indépendantes, pas observées, et la fonction de régression f_θ⁰ est connue à un paramètre de dimension finie θ⁰ près. Les densités de X et de ξ sont inconnues tandis que la loi de ɛ est entièrement connue. Nous estimons le paramètre θ⁰ à partir des observations (Y₁, Z₁), …, (Y_n, Z_n). Nous proposons une procédure d’estimation basée sur le critère des moindres carrés $\tilde{S}_{\theta^{0},g}(\theta)=\mathbb{E}_{\theta^{0},g}[((Y-f_{\theta}(X))^{2}w(X)]$, où w est une fonction de poids à choisir. Nous définissons l’estimateur et calculons la borne supérieure du risque de cet estimateur, qui dépend de la régularité de la densité des erreurs p_ɛ et de la régularité en x de w(x)f_θ(x). De plus, nous établissons des conditions suffisantes pour que les estimateurs atteignent la vitesse paramétrique. Nous décrivons des méthodes pratiques pour le choix de x dans le cas des fonctions de régression non-linéaires qui sont régulières par morceaux permettant de gagner des ordres de vitesse allant jusqu’à la vitesse paramétrique dans certains cas. Nous considérons également des extensions de cette procédure d’estimation, en particulier au cas où un choix de w_θ dépendant de θ serait plus appropié.