Régression avec R, livre ebook

Cet ouvrage expose de manière détaillée, exemples à l’appui, différentes façons de répondre à un des problèmes statistiques les plus courants : la régression. Cette nouvelle édition se décompose en cinq parties. La première donne les grands principes des régressions simple et multiple par moindres carrés. Les fondamentaux de la méthode, tant au niveau des choix opérés que des hypothèses et leur utilité, sont expliqués. La deuxième partie est consacrée à l’inférence et présente les outils permettant de vérifier les hypothèses mises en œuvre. Les techniques d’analyse de la variance et de la covariance sont également présentées dans cette partie. Le cas de la grande dimension est ensuite abordé dans la troisième partie. Différentes méthodes de réduction de la dimension telles que la sélection de variables, les régressions sous contraintes (lasso, elasticnet ou ridge) et sur composantes (PLS ou PCR) sont notamment proposées. Un dernier chapitre propose des algorithmes, basés sur des méthodes de rééchantillonnage comme l’apprentissage/validation ou la validation croisée, qui permettent d’établir une comparaison entre toutes ces méthodes. La quatrième partie se concentre sur les modèles linéaires généralisés et plus particulièrement sur les régressions logistique et de Poisson avec ou sans technique de régularisation. Une section particulière est consacrée aux comparaisons de méthodes en classification supervisée. Elle introduit notamment des critères de performance pour scorer des individus comme les courbes ROC et lift et propose des stratégies de choix seuil (Younden, macro F1...) pour les classer. Ces notions sont ensuite mises en œuvre sur des données réelles afin de sélectionner une méthode de prévision parmi plusieurs algorithmes basés sur des modèles logistiques (régularisés ou non). Une dernière section aborde le problème des données déséquilibrées qui est souvent rencontré en régression binaire. Enfin, la dernière partie présente l’approche non paramétrique à travers les splines, les estimateurs à noyau et des plus proches voisins. La présentation témoigne d’un réel souci pédagogique des auteurs qui bénéficient d’une expérience d’enseignement auprès de publics très variés. Les résultats exposés sont replacés dans la perspective de leur utilité pratique grâce à l’analyse d’exemples concrets. Les commandes permettant le traitement des exemples sous R figurent dans le corps du texte. Enfin, chaque chapitre est complété par une suite d’exercices corrigés. 3

1.1.1 Un exemple : la pollutionde l’air ............... 3

1.1.2 Un second exemple : lahauteur des arbres .......... 5

1.2 Modélisation mathématique..................... 7

1.2.1 Choix du critère de qualitéet distance à la droite ...... 7

1.2.2 Choix des fonctions àutiliser ................. 9

1.3 Modélisation statistique . .. . . . . . . . . . . . . . . . . . . . . . 10

1.4 Estimateurs des moindrescarrés . . . . . . . . . . . . . . . . . . . 11

1.4.1 Calcul des estimateurs deβj , quelques propriétés . . . . . . 11

1.4.2 Résidus et variancerésiduelle . . . . . . . . . . . . . . . . . 15

1.4.3 Prévision . . . . . . . . .. . . . . . . . . . . . . . . . . . . 15

1.5 Interprétations géométriques. . . . . . . . . . . . . . . . . . . . . 16

1.5.1 Représentation desindividus . . . . . . . . . . . . . . . . . 16

1.5.2 Représentation desvariables . . . . . . . . . . . . . . . . . . 17

1.6 Inférence statistique . . . .. . . . . . . . . . . . . . . . . . . . . . 19

1.7 Exemples . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 22

1.8 Exercices . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 29

2 La régression linéaire multiple31

2.1 Introduction . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 31

2.2 Modélisation . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 32

2.3 Estimateurs des moindrescarrés . . . . . . . . . . . . . . . . . . . 34

2.3.1 Calcul de βˆ . . . . . . .. . . . . . . . . . . . . . . . . . . . 35

2.3.2 Interprétation . . . . . .. . . . . . . . . . . . . . . . . . . . 37

2.3.3 Quelques propriétésstatistiques . . . . . . . . . . . . . . . . 38

2.3.4 Résidus et variancerésiduelle . . . . . . . . . . . . . . . . . 40

2.3.5 Prévision . . . . . . . . .. . . . . . . . . . . . . . . . . . . 41

2.4 Interprétation géométrique .. . . . . . . . . . . . . . . . . . . . . 42

2.5 Exemples . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 43

2.6 Exercices . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 47

3 Validation du modèle 51

3.1 Analyse des résidus . . . . .. . . . . . . . . . . . . . . . . . . . . . 52

3.1.1 Les différents résidus . .. . . . . . . . . . . . . . . . . . . . 52

3.1.2 Ajustement individuel aumodèle, valeur aberrante . . . . . 53

3.1.3 Analyse de la normalité . .. . . . . . . . . . . . . . . . . . 54

3.1.4 Analyse del’homoscédasticité . . . . . . . . . . . . . . . . . 55

3.1.5 Analyse de la structure desrésidus . . . . . . . . . . . . . . 56

3.2 Analyse de la matrice deprojection . . . . . . . . . . . . . . . . . . 59

3.3 Autres mesures diagnostiques. . . . . . . . . . . . . . . . . . . . . 60

3.4 Effet d’une variableexplicative . . . . . . . . . . . . . . . . . . . . 63

3.4.1 Ajustement au modèle . . .. . . . . . . . . . . . . . . . . . 63

3.4.2 Régression partielle :impact d’une variable . . . . . . . . . 64

3.4.3 Résidus partiels et résiduspartiels augmentés . . . . . . . . 65

3.5 Exemple : la concentration enozone . . . . . . . . . . . . . . . . . 67

3.6 Exercices . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 70

4 Extensions : non-inversibilitéet (ou) erreurs corrélées 73

4.1 Régression ridge . . . . . .. . . . . . . . . . . . . . . . . . . . . . 73

4.1.1 Une solution historique . .. . . . . . . . . . . . . . . . . . 74

4.1.2 Minimisation des MCOpénalisés . . . . . . . . . . . . . . . 75

4.1.3 Equivalence avec unecontrainte sur la norme des coefficients 75

4.1.4 Propriétés statistiques del’estimateur ridge βˆridge . . . . . . 76

4.2 Erreurs corrélées : moindrescarrés généralisés . . . . . . . . . . . . 78

4.2.1 Erreurs hétéroscédastiques. . . . . . . . . . . . . . . . . . . 79

4.2.2 Estimateur des moindrescarrés généralisés . . . . . . . . . 82

4.2.3 Matrice Ω inconnue . . . .. . . . . . . . . . . . . . . . . . 84

4.3 Exercices . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 85

II Inférence 89

5 Inférence dans le modèlegaussien 91

5.1 Estimateurs du maximum devraisemblance . . . . . . . . . . . . . 91

5.2 Nouvelles propriétésstatistiques . . . . . . . . . . . . . . . . . . . 92

5.3 Intervalles et régions deconfiance . . . . . . . . . . . . . . . . . . . 94

5.4 Prévision . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 97

5.5 Les tests d’hypothèses . . .. . . . . . . . . . . . . . . . . . . . . . 98

5.5.1 Introduction . . . . . . .. . . . . . . . . . . . . . . . . . . 98

5.5.2 Test entre modèles emboîtés. . . . . . . . . . . . . . . . . . 98

5.6 Applications . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 102

5.7 Exercices . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 106

5.8 Notes . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 109

5.8.1 Intervalle de confiance :bootstrap . . . . . . . . . . . . . . 109

5.8.2 Test de Fisher pour unehypothèse linéaire quelconque . . . 112

5.8.3 Propriétés asymptotiques .. . . . . . . . . . . . . . . . . . 114

6 Variables qualitatives : ANCOVAet ANOVA 117

6.1 Introduction . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 117

6.2 Analyse de la covariance . .. . . . . . . . . . . . . . . . . . . . . . 119

6.2.1 Introduction : exemple deseucalyptus . . . . . . . . . . . . 119

6.2.2 Modélisation du problème .. . . . . . . . . . . . . . . . . . 121

6.2.3 Hypothèse gaussienne . . .. . . . . . . . . . . . . . . . . . 123

6.2.4 Exemple : la concentrationen ozone . . . . . . . . . . . . . 124

6.2.5 Exemple : la hauteur deseucalyptus . . . . . . . . . . . . . 129

6.3 Analyse de la variance à 1facteur . . . . . . . . . . . . . . . . . . . 131

6.3.1 Introduction . . . . . . .. . . . . . . . . . . . . . . . . . . 131

6.3.2 Modélisation du problème .. . . . . . . . . . . . . . . . . . 132

6.3.3 Interprétation descontraintes . . . . . . . . . . . . . . . . . 134

6.3.4 Estimation des paramètres .. . . . . . . . . . . . . . . . . 134

6.3.5 Hypothèse gaussienne ettest d’influence du facteur . . . . . 136

6.3.6 Exemple : la concentrationen ozone . . . . . . . . . . . . . 137

6.3.7 Une décomposition directede la variance . . . . . . . . . . 142

6.4 Analyse de la variance à 2facteurs . . . . . . . . . . . . . . . . . . 142

6.4.1 Introduction . . . . . . .. . . . . . . . . . . . . . . . . . . 142

6.4.2 Modélisation du problème .. . . . . . . . . . . . . . . . . . 143

6.4.3 Estimation des paramètres .. . . . . . . . . . . . . . . . . 145

6.4.4 Analyse graphique del’interaction . . . . . . . . . . . . . . 146

6.4.5 Hypothèse gaussienne ettest de l’interaction . . . . . . . . 148

6.4.6 Exemple : la concentrationen ozone . . . . . . . . . . . . . 150

6.5 Exercices . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 152

6.6 Note : identifiabilité etcontrastes . . . . . . . . . . . . . . . . . . . 155

III Réduction de dimension 157

7 Choix de variables 159

7.1 Introduction . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 159

7.2 Choix incorrect de variables: conséquences . . . . . . . . . . . . . 161

7.2.1 Biais des estimateurs . . .. . . . . . . . . . . . . . . . . . 161

7.2.2 Variance des estimateurs .. . . . . . . . . . . . . . . . . . . 163

7.2.3 Erreur quadratique moyenne. . . . . . . . . . . . . . . . . 163

7.2.4 Erreur quadratique moyennede prévision . . . . . . . . . . 166

7.3 Critères classiques de choixde modèles . . . . . . . . . . . . . . . 168

7.3.1 Tests entre modèlesemboîtés . . . . . . . . . . . . . . . . . 169

7.3.2 Le R2 . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 170

7.3.3 Le R2 ajusté . . . . . . .. . . . . . . . . . . . . . . . . . . 171

7.3.4 Le Cp de Mallows . . . . .. . . . . . . . . . . . . . . . . . 172

7.3.5 Vraisemblance etpénalisation . . . . . . . . . . . . . . . . . 174

7.3.6 Liens entre les critères .. . . . . . . . . . . . . . . . . . . . 176

7.4 Procédure de sélection . . .. . . . . . . . . . . . . . . . . . . . . . 178

7.4.1 Recherche exhaustive . . .. . . . . . . . . . . . . . . . . . . 178

7.4.2 Recherche pas à pas . . . .. . . . . . . . . . . . . . . . . . 178

7.5 Exemple : la concentration enozone . . . . . . . . . . . . . . . . . 180

7.5.1 Variables explicativesquantitatives . . . . . . . . . . . . . . 180

7.5.2 Intégration de variablesqualitatives . . . . . . . . . . . . . 183

7.6 Exercices . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 184

7.7 Note : Cp et biais desélection . . . . . . . . . . . . . . . . . . . . . 187

8 Régularisation des moindrescarrés : Ridge, Lasso et elastic-net 191

8.1 Introduction . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 191

8.2 Problème ducentrage-réduction des variables . . . . . . . . . . . . 194

8.3 Ridge, lasso et elastic-net .. . . . . . . . . . . . . . . . . . . . . . 195

8.3.1 Régressions avec la packageglmnet . . . . . . . . . . . . . . 199

8.3.2 Interprétation géométrique. . . . . . . . . . . . . . . . . . 202

8.3.3 Simplification quand les Xsont orthogonaux . . . . . . . . 203

8.3.4 Choix du paramètre de régularisationλ . . . . . . . . . . . 206

8.4 Intégration de variablesqualitatives . . . . . . . . . . . . . . . . . 208

8.5 Exercices . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 210

8.6 Note : lars et lasso . . . .. . . . . . . . . . . . . . . . . . . . . . . 213

9 Régression sur composantes :PCR et PLS 217

9.1 Régression sur composantesprincipales (PCR) . . . . . . . . . . . 218

9.1.1 Changement de base . . . .. . . . . . . . . . . . . . . . . . 218

9.1.2 Estimateurs des MCO . . . .. . . . . . . . . . . . . . . . . 219

9.1.3 Choix decomposantes/variables . . . . . . . . . . . . . . . 220

9.1.4 Retour aux donnéesd’origine . . . . . . . . . . . . . . . . . 222

9.1.5 La régression surcomposantes en pratique . . . . . . . . . . 223

9.2 Régression aux moindrescarrés partiels (PLS) . . . . . . . . . . . . 225

9.2.1 Algorithmes PLS . . . . . .. . . . . . . . . . . . . . . . . . 227

9.2.2 Choix decomposantes/variables . . . . . . . . . . . . . . . 228

9.2.3 Retour aux données d’origine. . . . . . . . . . . . . . . . . 229

9.2.4 La régression PLS enpratique . . . . . . . . . . . . . . . . 230

9.3 Exercices . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 231

9.4 Notes . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 233

9.4.1 ACP et changement de base .. . . . . . . . . . . . . . . . . 233

9.4.2 Colinéarité parfaite : |X[1]

X| = 0 . . . . . . . . . . . . .. . . 235

10 Comparaison des différentesméthodes, étude de cas réels 237

10.1 Erreur de prévision etvalidation croisée . . . . . . . . . . . . . . . 237

10.2 Analyse de l’ozone . . . . .. . . . . . . . . . . . . . . . . . . . . . 241

10.2.1 Préliminaires . . . . . .. . . . . . . . . . . . . . . . . . . . 241

10.2.2 Méthodes et comparaison .. . . . . . . . . . . . . . . . . . 241

10.2.3 Pour aller plus loin . . .. . . . . . . . . . . . . . . . . . . . 245

10.2.4 Conclusion . . . . . . . .. . . . . . . . . . . . . . . . . . . 248

IV Le modèle linéaire généralisé249

11 Régression logistique 251

11.1 Présentation du modèle . . .. . . . . . . . . . . . . . . . . . . . . 251

11.1.1 Exemple introductif . . .. . . . . . . . . . . . . . . . . . . 251

11.1.2 Modélisation statistique .. . . . . . . . . . . . . . . . . . . 252

11.1.3 Variables explicativesqualitatives, interactions . . . . . . . 255

11.2 Estimation . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 257

11.2.1 La vraisemblance . . . . .. . . . . . . . . . . . . . . . . . . 257

11.2.2 Calcul des estimateurs :l’algorithme IRLS . . . . . . . . . . 259

11.2.3 Propriétés asymptotiquesde l’EMV . . . . . . . . . . . . . 260

11.3 Intervalles de confiance ettests . . . . . . . . . . . . . . . . . . . . 261

11.3.1 IC et tests sur lesparamètres du modèle . . . . . . . . . . . 262

11.3.2 Test sur un sous-ensemblede paramètres . . . . . . . . . . 264

11.3.3 Prévision . . . . . . . .. . . . . . . . . . . . . . . . . . . . 267

11.4 Adéquation du modèle . . . .. . . . . . . . . . . . . . . . . . . . . 269

11.4.1 Le modèle saturé . . . . .. . . . . . . . . . . . . . . . . . . 270

11.4.2 Tests d’adéquation de ladéviance et de Pearson . . . . . . 272

11.4.3 Analyse des résidus . . .. . . . . . . . . . . . . . . . . . . . 275

11.5 Choix de variables . . . . .. . . . . . . . . . . . . . . . . . . . . . 279

11.5.1 Tests entre modèlesemboîtés . . . . . . . . . . . . . . . . . 279

11.5.2 Procédures automatiques .. . . . . . . . . . . . . . . . . . 280

11.6 Exercices . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 282

12 Régression de Poisson 289

12.1 Le modèle linéairegénéralisé (GLM) . . . . . . . . . . . . . . . . . 289

12.2 Exemple : modélisation dunombre de visites . . . . . . . . . . . . 292

12.3 Régression Log-linéaire . .. . . . . . . . . . . . . . . . . . . . . . . 295

12.3.1 Le modèle . . . . . . . .. . . . . . . . . . . . . . . . . . . . 295

12.3.2 Estimation . . . . . . . .. . . . . . . . . . . . . . . . . . . 296

12.3.3 Tests et intervalles deconfiance . . . . . . . . . . . . . . . . 297

12.3.4 Choix de variables . . . .. . . . . . . . . . . . . . . . . . . 302

12.4 Exercices . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 303

13 Régularisation de lavraisemblance 309

13.1 Régressions ridge, lasso etelastic-net . . . . . . . . . . . . . . . . . 309

13.2 Choix du paramètre derégularisation λ . . . . . . . . . . . . . . . 313

13.3 Group-lasso . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 317

13.4 Exercices . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 319

14 Comparaison en classificationsupervisée 321

14.1 Prévision en classificationsupervisée . . . . . . . . . . . . . . . . . 321

14.2 Performance d’une règle . .. . . . . . . . . . . . . . . . . . . . . . 323

14.2.1 Erreur de classificationet accuracy . . . . . . . . . . . . . . 326

14.2.2 Sensibilité (recall) ettaux de faux négatifs . . . . . . . . . . 327

14.2.3 Spécificité et taux defaux positifs . . . . . . . . . . . . . . 327

14.2.4 Mesure sur les tables decontingence . . . . . . . . . . . . . 328

14.3 Performance d’un score . . .. . . . . . . . . . . . . . . . . . . . . 329

14.3.1 Courbe ROC . . . . . . . .. . . . . . . . . . . . . . . . . . 329

14.3.2 Courbe lift . . . . . . .. . . . . . . . . . . . . . . . . . . . 331

14.4 Choix du seuil . . . . . . .. . . . . . . . . . . . . . . . . . . . . . 332

14.4.1 Respect des proportionsinitiales . . . . . . . . . . . . . . . 332

14.4.2 Maximisation d’indices adhoc . . . . . . . . . . . . . . . . 332

14.4.3 Maximisation d’un coûtmoyen . . . . . . . . . . . . . . . . 333

14.5 Analyse des données chd . .. . . . . . . . . . . . . . . . . . . . . . 334

14.5.1 Les données . . . . . . .. . . . . . . . . . . . . . . . . . . . 334

14.5.2 Comparaison desalgorithmes . . . . . . . . . . . . . . . . . 334

14.5.3 Pour aller plus loin . . .. . . . . . . . . . . . . . . . . . . . 340

14.6 Application : détectiond’images publicitaires sur internet . . . . . 346

14.6.1 Les données . . . . . . .. . . . . . . . . . . . . . . . . . . . 346

14.6.2 Ajustement des modèles . .. . . . . . . . . . . . . . . . . . 347

14.7 Exercices . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 351

15 Données déséquilibrées 353

15.1 Données déséquilibrées etmodèle logistique . . . . . . . . . . . . . 353

15.1.1 Un exemple . . . . . . . .. . . . . . . . . . . . . . . . . . . 353

15.1.2 Rééquilibrage pour lemodèle logistique . . . . . . . . . . . 355

15.1.3 Exemples de schéma derééquilibrage . . . . . . . . . . . . . 356

15.2 Stratégies pour donnéesdéséquilibrées . . . . . . . . . . . . . . . . 361

15.2.1 Quelques méthodes derééquilibrage . . . . . . . . . . . . . 361

15.2.2 Critères pour donnéesdéséquilibrées . . . . . . . . . . . . . 366

15.3 Choisir un algorithme derééquilibrage . . . . . . . . . . . . . . . . 370

15.3.1 Rééquilibrage etvalidation croisée . . . . . . . . . . . . . . 370

15.3.2 Application aux donnéesd’images publicitaires . . . . . . . 372

15.4 Exercices . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 376

V Introduction à la régressionnon paramétrique 379

16 Introduction à la régressionspline 381

16.1 Introduction . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 381

16.2 Régression spline . . . . .. . . . . . . . . . . . . . . . . . . . . . . 385

16.2.1 Introduction . . . . . . .. . . . . . . . . . . . . . . . . . . 385

16.2.2 Spline de régression . . .. . . . . . . . . . . . . . . . . . . 386

16.3 Spline de lissage . . . . .. . . . . . . . . . . . . . . . . . . . . . . 390

16.4 Exercices . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 393

17 Estimateurs à noyau et k plusproches voisins 395

17.1 Introduction . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 395

17.2 Estimateurs par moyenneslocales . . . . . . . . . . . . . . . . . . . 398

17.2.1 Estimateurs à noyau . . .. . . . . . . . . . . . . . . . . . . 398

17.2.2 Les k plus proches voisins. . . . . . . . . . . . . . . . . . . 402

17.3 Choix des paramètres delissage . . . . . . . . . . . . . . . . . . . . 403

17.4 Ecriture multivariée etfléau de la dimension . . . . . . . . . . . . . 406

17.4.1 Ecriture multivariée . . .. . . . . . . . . . . . . . . . . . . 406

17.4.2 Biais et variance . . . .. . . . . . . . . . . . . . . . . . . . 407

17.4.3 Fléau de la dimension . .. . . . . . . . . . . . . . . . . . . 409

17.5 Exercices . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 411

A Rappels 415

A.1 Rappels d’algèbre . . . . . .. . . . . . . . . . . . . . . . . . . . . . 415

A.2 Rappels de probabilités . . .. . . . . . . . . . . . . . . . . . . . . 418

Bibliographie 419

Index 423

Notations 431

Fonctions et packages R 433