@@ -17,3 +17,344 @@ Add a new chunk by clicking the *Insert Chunk* button on the toolbar or by press
When you save the notebook, an HTML file containing the code and output will be saved alongside it (click the *Preview* button or press *Ctrl+Shift+K* to preview the HTML file).
The preview shows you a rendered HTML copy of the contents of the editor. Consequently, unlike *Knit*, *Preview* does not run any R code chunks. Instead, the output of the chunk when it was last run in the editor is displayed.
1. Régression
1.1. Analyse exploratoire
Le dataset contient 50 prédicteurs (X1, X2, ..., X50), et une colonne y. Le fichier contient 200 lignes, et toutes les variables sont quantitatives.
On remarque que les prédicteurs sont très peu corrélés entre eux, il ne semble donc pas nécessaire de réaliser une ACP.
```{r}
reg.data <- read.table("tp3_a18_reg_app.txt")
reg.cor <- cor(reg.data)
corrplot(reg.cor)
```
1.2. Recherche du meilleur modèle
Pour rechercher le meilleur modèle, on peut commencer par réaliser une régression linéaire sur l'ensemble du jeu de données, afin de repérer les prédicteurs les plus significatifs.
```{r}
reg <- lm(y ~., data = reg.data)
summary(reg)
```
On compte 13 prédicteurs avec une p-value < 0.001, et 18 prédicteurs avec une p-value < 0.01.
Etant données les nombreuses possibilités de sous-ensembles pertinents pour la régression, on décide d'effecuer une étude exhaustive : on réalise des régressions sur différents sous-ensembles de 2 à 49 prédicteurs, sélectionné avec la méthode pas à pas exhaustive, puis on calcule par cross-validation l'espérance de l'erreur quadratique de chaque modèle.
title(main = "Choix des meilleurs sous-ensembles par sélection pas à pas exhaustive" )
```
On calcule ainsi l'espérance de l'erreur quadratique de la régression linéaire pour des sous-ensembles de 2 à 48 prédicteurs. On calcule de même l'espérance de l'erreur quadratique pour les régressions ridge et lasso à partir des mêmes sous-ensembles.
La cross-validation se fait en découpant le dataset en 5 parties égales : on calcule l'erreur de test en prennant chacun de ces sous-ensembles comme ensemble de test et les autres comme ensemble d'apprentissage, et on calcule l'erreur quadratique. On répète cette opération 100 fois, puis on calcule la moyenne de toutes les erreurs quadratique. On choisit de faire 100 répétitions pour avoir une moyenne qui ne varie pas trop selon les découpages aléatoires de la cross-validation. En effet, on observe que pour 10 ou 50 répétitions, une valeur d'erreur quadratique peut varier d'une exécution à une autre.
On obtient les courbes suivantes :
```{r}
n.reg = dim(reg.data)[1]
p.reg = dim(reg.data)[2]
reg.models.list <- c("lm", "ridge", "lasso") # Liste des modeles
reg.trials <- 100 # Nombre d'essais de cross-validation par modèle
reg.n_folds <- 5 # Nombre de blocs pour la cross-validation
reg.subset.error <- c()
reg.models.error <- matrix(0,nrow = 48,ncol = 3)
colnames(reg.models.error) <- reg.models.list
rownames(reg.models.error) <- c(2:49)
reg.error.model <- function(model)
{
for (subset in c(2:49))
{
reg.subset.error[subset] <- 0
for(i in c(1:reg.trials)) # On fait plusieurs essais
plot(x=c(10:48),y=reg.models.error[10:48,"lm"], col = "red", type = "b", xlab = "nombre de prédicteurs", ylab = "espérance de l'erreur quadratique")
lines(x=c(10:48),y=reg.models.error[10:48,"ridge"], col = "blue", type = "b")
lines(x=c(10:48),y=reg.models.error[10:48,"lasso"], col = "green", type = "b")
```
On observe que l'espérance de l'erreur quadratique la plus faible est obtenue pour 23 prédicteurs, avec la régression lasso, avec une espérance égale à 1271.033.
Il s'agit du sous-ensemble contenant les prédicteurs X1, X2, X3, X10, X14, X16, X17, X18, X19, X24, X28, X31, X32, X34, X35, X37, X38, X39, X40, X41, X43, X46 et X49.
Ces variables ont une p-value comprise entre 2e-16 et 0.12519.
On peut cependant remarquer que cette méthode de sélection d'un modèle de régression n'est pas optimale. En effet, parcourir tous les sous-ensembles en cross-validation est long, et malgré le nombre de répétitions, on observe toujours des variations des valeurs de l'espérance d'une exécution à une autre.
On décide donc de réaliser d'autres sélections de modèles, par la sélection pas à pas avec critères AIC et BIC, ainsi qu'en observant les prédicteurs les plus significatifs.
```{r}
plot(reg.fit,scale="adjr2", main = "")
title(main = "AIC")
plot(reg.fit,scale="bic", main = "")
title(main = "BIC")
```
Le meilleur sous-ensemble selon le critère AIC contient 33 prédicteurs, le sous-ensemble BIC en contient 20.
On peut donc réaliser les régressions linéaire, ridge et lasso sur 4 sous-ensembles : les meilleurs sous-ensembles donnés par les sélections AIC et BIC, et les sous-ensembles des 13 ou 18 prédicteurs les plus significatifs.
On observe sur les courbes présentées précédemment que la régression ridge donne de moins bons résultats que les régressions linéaire et lasso, on décide donc de ne pas effectuer cette régression.
De plus, afin de pouvoir comparer les résultats de tous les modèles pertinents pour les mêmes ensembles d'apprentissage et de test, on recalcule dans la même fonction l'espérance de l'erreur quadratique pour la régression linéaire et la régression lasso des sous-ensembles à 23, 24, 25 et 26 prédicteurs, puisque ce sont ceux pour lesquels les valeurs de l'espérance étaient les plus faibles.
if(model == "lm13" || model == "lm18" || model == "lmAIC" || model == "lmBIC" || model == "lm23" || model == "lm24" || model == "lm25" || model == "lm26")
plot(x = c(1:16), y = models.subsets.error, xlab = "modèle", ylab = "espérance de l'erreur quadratique")
```
On remarque que la plus faible valeur de l'espérance est obtenue cette fois pour le modèle de régression linéaire avec un sous-ensemble de 23 prédicteurs. On observe cependant que le modèle de régression lasso avec 23 prédicteurs obtient également une espérance parmis les plus faibles valeurs, ainsi que les régressions linéaire et lasso à 24 prédicteurs.
On choisit donc le modèle suivant : régression linéaire avec les 23 prédicteurs : X1, X2, X3, X10, X14, X16, X17, X18, X19, X24, X28, X31, X32, X34, X35, X37, X38, X39, X40, X41, X43, X46 et X49.
