Commit 0a071b58 authored by TheophilePACE's avatar TheophilePACE

Merge branch 'TP2_mardi' of gitlab.utc.fr:DataVenture/api-h19 into TP2_mardi

parents c5f26b16 93940d9a
...@@ -4,8 +4,8 @@ ...@@ -4,8 +4,8 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"# Regression\n", "# TP Apprentissage supervisé: Régression\n",
"Rappel problème de régression" "Dans ce TP, on va faire la regression. C'est pour analyser la relation d'une variable par rapport à une ou plusieurs autres."
] ]
}, },
{ {
...@@ -19,32 +19,56 @@ ...@@ -19,32 +19,56 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"On va utiliser les données Boston.\n",
"https://www.cs.toronto.edu/~delve/data/boston/bostonDetail.html\n",
"\n",
"Prix des maisons à Boston (cf le site pour les variables)\n",
"https://scikit-learn.org/stable/datasets/index.html#boston-dataset\n",
"\n",
"Importez les libraries de ce matin: `numpy` et `scikit datasets`.\n",
"Consultation de la doc du dataset\n", "Consultation de la doc du dataset\n",
"\n",
"Chargement du dataset boston" "Chargement du dataset boston"
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"## Analyse exploratoire et préparation du dataset\n", "## Analyse exploratoire et préparation du dataset\n",
"Étudier les corrélations" "Étudier les corrélations en utilisant `np.corrcoef`"
] ]
}, },
{ {
"cell_type": "markdown", "cell_type": "code",
"execution_count": null,
"metadata": {}, "metadata": {},
"source": [ "outputs": [],
"Split du dataset boston" "source": []
]
}, },
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"##" "Split du dataset boston\n",
"\n",
"Pour cela, utilisez la fonction scikit-learn `sklearn.model_selection.train_test_split`. Importez cette méthode, "
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -54,6 +78,13 @@ ...@@ -54,6 +78,13 @@
"Trouver le modèle sur scikit learn." "Trouver le modèle sur scikit learn."
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -61,15 +92,28 @@ ...@@ -61,15 +92,28 @@
"Run sur boston. afficher les coef de chaque features. Quelles features sont significative?" "Run sur boston. afficher les coef de chaque features. Quelles features sont significative?"
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"## Arbre de régression\n", "## Arbre de régression\n",
"Rappel modèle\n", "![](https://fr.wikipedia.org/wiki/Arbre_de_d%C3%A9cision#/media/File:Arbre_de_decision.jpg)"
"image"
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -77,6 +121,13 @@ ...@@ -77,6 +121,13 @@
"Essayer avec une profondeur max de 3" "Essayer avec une profondeur max de 3"
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -84,6 +135,13 @@ ...@@ -84,6 +135,13 @@
"Essayer avec une profondeur max de 5" "Essayer avec une profondeur max de 5"
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -91,6 +149,13 @@ ...@@ -91,6 +149,13 @@
"Essayer avec une profondeur max de 10" "Essayer avec une profondeur max de 10"
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -98,6 +163,13 @@ ...@@ -98,6 +163,13 @@
"Comparer les résultats" "Comparer les résultats"
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -108,6 +180,13 @@ ...@@ -108,6 +180,13 @@
"modèle" "modèle"
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -115,6 +194,13 @@ ...@@ -115,6 +194,13 @@
"Essayer avec 3 arbres" "Essayer avec 3 arbres"
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -122,6 +208,13 @@ ...@@ -122,6 +208,13 @@
"Essayer avec 10 arbres" "Essayer avec 10 arbres"
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -129,6 +222,13 @@ ...@@ -129,6 +222,13 @@
"100 arbres" "100 arbres"
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -136,6 +236,13 @@ ...@@ -136,6 +236,13 @@
"Comparer avec les arbres de régression. Quels sont les avantages?" "Comparer avec les arbres de régression. Quels sont les avantages?"
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -143,6 +250,13 @@ ...@@ -143,6 +250,13 @@
"_optionel_ Tracer le résultat avec 1 arbre, 3 arbres et 100 arbres " "_optionel_ Tracer le résultat avec 1 arbre, 3 arbres et 100 arbres "
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -152,6 +266,13 @@ ...@@ -152,6 +266,13 @@
"\n", "\n",
"Faire une régression sur le résultat d'une PCA (touchy)\n" "Faire une régression sur le résultat d'une PCA (touchy)\n"
] ]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
} }
], ],
"metadata": { "metadata": {
...@@ -170,7 +291,7 @@ ...@@ -170,7 +291,7 @@
"name": "python", "name": "python",
"nbconvert_exporter": "python", "nbconvert_exporter": "python",
"pygments_lexer": "ipython3", "pygments_lexer": "ipython3",
"version": "3.6.6" "version": "3.7.2"
} }
}, },
"nbformat": 4, "nbformat": 4,
......
...@@ -22,18 +22,11 @@ ...@@ -22,18 +22,11 @@
"outputs": [], "outputs": [],
"source": [] "source": []
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"Chargez les données depuis `datasets.load_boston`. Que renvoie ceette fonction ? Chargez vos données dans des variables appelées X et y pour avoir, respectivement, les données et les labels." "Chargez les données depuis `datasets.load_boston`. Que renvoie cette fonction ? Chargez vos données dans des variables appelées X et y pour avoir, respectivement, les données et les labels."
] ]
}, },
{ {
...@@ -48,7 +41,7 @@ ...@@ -48,7 +41,7 @@
"\n", "\n",
"Pourquoi est-ce nécessaire?\n", "Pourquoi est-ce nécessaire?\n",
"\n", "\n",
"Pour cela, utilisez la fonction scikit-learn `sklearn.model_selection.train_test_split`. Importez cette méthode, " "Pour cela, utilisez la fonction scikit-learn `sklearn.model_selection.train_test_split`. Importez cette méthode, appliquer là à nos données."
] ]
}, },
{ {
...@@ -63,7 +56,7 @@ ...@@ -63,7 +56,7 @@
"metadata": {}, "metadata": {},
"source": [ "source": [
"# K-NNs\n", "# K-NNs\n",
"On va lancer les k-nns sur ce dataset. Essayez K = 1, puis K = n (n est le nombre de samples). Commentez." "On va lancer les k-nns sur ce dataset. Essayez `K = 1`, puis `K = n` (n est le nombre de samples). Observez dans $R^2$. Commentez."
] ]
}, },
{ {
...@@ -91,74 +84,90 @@ ...@@ -91,74 +84,90 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"# NBC / Algrotihme baeysien naif\n", "# Algorithme Bayésien naif (NBC)\n",
"\n",
"On va maintenant utiliser l'agorithme bayésien naif (*naive baeysian classifier* pour les gens hype). Pour rappel, le modèle se base sur l'indépendance des _features_ et l'hypothèse gaussienne. Les amoureux de SY01 se souviendront de la formule de bayes: \n", "On va maintenant utiliser l'agorithme bayésien naif (*naive baeysian classifier* pour les gens hype). Pour rappel, le modèle se base sur l'indépendance des _features_ et l'hypothèse gaussienne. Les amoureux de SY01 se souviendront de la formule de bayes: \n",
"$$\n", "$$\n",
"P(X | Y) = \\frac{P(Y|X) \\times P(X)}{P(Y)}\n", "P(X | Y) = \\frac{P(Y|X) \\times P(X)}{P(Y)}\n",
"$$\n", "$$\n",
"Bref, commencez par importer le NBC depuis scikit-learn." "Bref, commencez par importer le NBC depuis scikit-learn. https://scikit-learn.org/stable/modules/generated/sklearn.naive_bayes.GaussianNB.html"
] ]
}, },
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"Consultez la doc pour connaître les arguments demandés. Utilisez cet algorithme sur le jeu `boston`" "Consultez la doc pour connaître les arguments demandés. Utilisez cet algorithme sur le jeu de données `boston`."
] ]
}, },
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"_Optionel_ Quels sont vos résultats? Essayez d'afficher vos clusters en 2D. (un peu chaud, à voir)" "**Optionel** Quels sont vos résultats? Essayez d'afficher vos clusters en 2D dans $R^2$. Vous pouvez appliquer une PCA et garder 2 composantes. De là, c'est possible de plot dans $R^2$."
] ]
}, },
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"# Regression logistique\n", "# Régression logistique\n",
"On va utiliser la regression logistique (aka *logistic regression*). \n", "\n",
"Rappel de notre modèle, pour deux classes: \n", "On va utiliser la régression logistique (aka *logistic regression*). Rappel de ce modèle, pour deux classes: \n",
"\n",
"$$Pr(C_0 | features) + Pr(C_1 | features) = 1$$\n", "$$Pr(C_0 | features) + Pr(C_1 | features) = 1$$\n",
"$$Pr(C_1 | features) = \\frac{1}{1+\\exp^{w_O +w_1\\times features}}$$\n", "$$Pr(C_1 | features) = \\frac{1}{1+\\exp^{w_O +w_1\\times features}}$$\n",
"On veut donc déterminer $w = (w_0,w_1)$\n",
"Et, de manière assez inattendue, Scikit propose un implémentation de la regression logistique. La doc scikit est consultable ici: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html .\n",
"\n", "\n",
"Consultez la doc, puis lancez une regression logistique. " "Avec $C_0$ et $C_1$ les deux classes à discriminer. On veut donc déterminer les poids $w = (w_0,w_1)$.\n",
"\n",
"Et, de manière assez inattendue... Scikit propose un implémentation de la régression logistique. La doc est consultable ici: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html\n",
"\n",
"Appliquez la régression logistique toujours sur les données `boston`."
] ]
}, },
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"Quels sont vos résultats? Sont-ils meilleurs que pour le NBC?" "Quels sont vos résultats (calculer l'accuracy) ? Sont-ils meilleurs que pour le NBC?"
] ]
}, },
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"Le principal avantage de la regression logistique est son interprétabilité, grâce aux poids. \n", "Le principal avantage de la régression logistique est son interprétabilité, grâce aux poids. Quelles sont les features qui vous ont permis de discriminer entre les classes? Regardez et comparer pour cela les poids du vecteur $w$."
"Quelles sont les features qui vous ont permis de discriminer entre les classes? Utilisez pour cela les poids du vecteurs $w$."
] ]
}, },
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"_optionel_ Essayez de tracer vos classes dans $R^2$, en utilisant les 2 features les plus discriminantes." "**optionel** Essayez de tracer vos classes dans $R^2$, en utilisant les 2 features les plus discriminantes."
] ]
}, },
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"# SVM -- Support Vector Machine\n", "# Support Vector Machine (SVM)\n",
"Machine à vecteur de Support (Système à Vaste Marge pour les littéraires), les SVMs sont des algorithmes plus complexes. Ils perdent l'interprétabilité de la *logistic regression*, mais permettent d'obtenir des frontières de décision non linéaires grâce au kernel. Très puissants, ils ont été les algorithmes phares des années 90 et début 2000.\n", "\n",
"Machine à vecteur de Support (Système à Vaste Marge pour les littéraires), les SVMs sont des algorithmes plus complexes. \n",
"\n",
"Ils perdent l'interprétabilité de la *logistic regression*, mais permettent d'obtenir des frontières de décision non linéaires grâce au kernel trick. Très puissants, ils ont été les algorithmes phares des années 90 et début 2000.\n",
"\n",
"Le modèle est assez complexe, basé sur l'estimation de la marge. Voici pour rappel un schéma volé sur Wikipédia, qui présente le cas facilement séparable:\n", "Le modèle est assez complexe, basé sur l'estimation de la marge. Voici pour rappel un schéma volé sur Wikipédia, qui présente le cas facilement séparable:\n",
"![](https://upload.wikimedia.org/wikipedia/commons/7/72/SVM_margin.png)\n", "\n",
"La puissance des SVM est basé sur la notion de Kernel explorée en détail ce matin. On utilisera le noyeau gaussien, appelé `rbf` dans scikit." "<img src=\"https://upload.wikimedia.org/wikipedia/commons/7/72/SVM_margin.png\" width=\"400\" height=\"400\" />\n",
"\n",
"La puissance des SVM est basée sur la notion de kernel explorée en détail ce matin. On utilisera le noyau gaussien, appelé `rbf` dans scikit."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Utilisation"
] ]
}, },
{ {
...@@ -176,6 +185,13 @@ ...@@ -176,6 +185,13 @@
"Lancez un SVM sur nos données, avec un noyeau linéaire `kernel='linear'`. " "Lancez un SVM sur nos données, avec un noyeau linéaire `kernel='linear'`. "
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -194,31 +210,53 @@ ...@@ -194,31 +210,53 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"C'eest fini? Pas encore? Toujours pas? La méthode est bien plus complexe que la regression logistique. Plus complexe --> plus de calculs --> plus lent.\n", "## Performances / complexité"
"Quels sont vos résultats? Sont-ils meilleurs que précédemment?"
] ]
}, },
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"En fait, il n'y a pas que le kernel qui paramètrise votre SVM. Le paramètre de régularisation aussi. Pour l'instant quel est votre paramètre C? Regardez dans la doc.\n", "C'est fini? Pas encore? Toujours pas? La méthode est bien plus complexe que la régression logistique. \n",
"Plus complexe --> plus de calculs --> plus lent.\n",
"Quels sont vos résultats (calculer l'accuracy ici)? Sont-ils meilleurs que précédemment?"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"En fait, il n'y a pas que le kernel qui paramètrise votre SVM. Le paramètre de régularisation est aussi à fixer. Pour l'instant quel est votre paramètre C? Regardez dans la doc (il y a une valeur par défaut).\n",
"\n", "\n",
"Essayez `C=20`. Commentez vos résultats." "Essayez `C=20`. Commentez vos résultats."
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"Cherchez un `C` optimal. Nous verrons plus tard comment faire cela automatiquement." "Cherchez \"à la main\" un `C` optimal. Nous verrons plus tard comment faire cela automatiquement."
] ]
}, },
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"_optionel_ Vous souvenez-vous de la commande magic permettant de connaitre le temps de calcul pour un ligne? `%timeit`\n", "**optionel** Vous souvenez-vous de la commande magic permettant de connaitre le temps de calcul d'une cellule ? `%timeit`\n",
"Comparez le temps pris par la régression logistique et le SVM." "Comparez le temps pris par la régression logistique et le SVM."
] ]
}, },
...@@ -227,12 +265,22 @@ ...@@ -227,12 +265,22 @@
"metadata": {}, "metadata": {},
"source": [ "source": [
"# Arbres de décision\n", "# Arbres de décision\n",
"Les arbres de décision sont une méthode extrêmement puissante, surtout quand ils sont utilisés avec des méthodes de boosting (que nous verrons aussi aujourd'hui). De plus, les arbres sont très interprétables.\n", "Les arbres de décision sont une méthode extrêmement puissante, surtout quand ils sont utilisés avec des méthodes de boosting (que nous verrons peut-être aussi aujourd'hui). De plus, les arbres sont très interprétables. C'est à dire qu'on peut comprendre facilement comment une prédiction à été faite, en suivant dans l'arbre le chemin à travers les noeuds.\n",
"\n",
"![](https://upload.wikimedia.org/wikipedia/commons/2/25/Cart_tree_kyphosis.png)\n", "![](https://upload.wikimedia.org/wikipedia/commons/2/25/Cart_tree_kyphosis.png)\n",
"On va utiliser cette méthode pour faire de la classification. Cherchez l'implémentation scikit de cette méthode. En anglais, on parle de *decision tree classifier*.\n", "\n",
"Consulter la doc string. " "On va utiliser cette méthode pour faire de la classification. Cherchez l'implémentation scikit de cette méthode. En anglais, on parle de *decision tree classifier*. https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html#sklearn.tree.DecisionTreeClassifier\n",
"\n",
"Consulter la doc string."
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
...@@ -240,12 +288,25 @@ ...@@ -240,12 +288,25 @@
"Lancez un arbre avec `DecisionTreeClassifier`. Essayez sur votre ensemble de validation." "Lancez un arbre avec `DecisionTreeClassifier`. Essayez sur votre ensemble de validation."
] ]
}, },
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"Bravo! Vous venez de découvrir l'*overfitting*!! C'est-à-dire que votre arbre a tout appris par coeur, et a donc trop de branches. Pour poursuivre la métaphore, on va utiliser une forêt, afin que les surapprentissages se compensent.\n", "Bravo! Vous venez de découvrir l'*overfitting*!! C'est-à-dire que votre arbre a tout appris par coeur, et a donc trop de branches. Pour poursuivre la métaphore, on va utiliser une forêt, afin que les surapprentissages se compensent."
"_optionel_ : tracer votre arbre en 2D. Vous pouvez utiliser le tuto suivant: https://scikit-learn.org/stable/auto_examples/tree/plot_iris.html#sphx-glr-auto-examples-tree-plot-iris-py" ]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"**optionel** tracer votre arbre en 2D. Vous pouvez utiliser le tuto suivant: https://scikit-learn.org/stable/auto_examples/tree/plot_iris.html#sphx-glr-auto-examples-tree-plot-iris-py"
] ]
}, },
{ {
...@@ -253,10 +314,12 @@ ...@@ -253,10 +314,12 @@
"metadata": {}, "metadata": {},
"source": [ "source": [
"# Random Forest\n", "# Random Forest\n",
"Les forêts aléatoires sont des classifieurs extrêmement puissants, qui s'appuie sur le bootstrap, et le bagging. Ce sont des techniques statistiques assez avancées qui consistent à:\n", "Les forêts aléatoires sont des classifieurs extrêmement puissants, qui s'appuient sur le bootstrap, et le bagging. Ce sont des techniques statistiques assez avancées qui consistent à:\n",
"- *bootstrap*: faire des tirages avec remise dans le jeu de données\n", "- *bootstrap*: faire des tirages avec remise dans le jeu de données\n",
"- *bagging*: entrainer le même modèle sur différents bootstrap, et faire un vote pour classifier.\n", "- *bagging*: entrainer le même modèle sur différents bootstrap, et faire un vote pour classifier.\n",
"Problème: l'interprétation devient difficile.\n", "\n",
"Problème: l'interprétation devient plus difficile avec tous les arbres.\n",
"\n",
"La documentation est disponible à https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html" "La documentation est disponible à https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html"
] ]
}, },
...@@ -264,28 +327,28 @@ ...@@ -264,28 +327,28 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"Après avoir regardé la documentation, lancez une random forest avec `n_arbres = 15`," "Après avoir regardé la documentation, lancez une random forest avec `n_estimators = 15`:"
] ]
}, },
{ {
"cell_type": "markdown", "cell_type": "code",
"execution_count": null,
"metadata": {}, "metadata": {},
"source": [ "outputs": [],
"Comparez vos résultats avec votre arbre. Regardez bien sur l'ensemble de test puis sur l'ensemble de validation. Que remarquez-vous? À quoi cela est dû?" "source": []
]
}, },
{ {
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"Rééssayez avec `n_arbres = 100`, `n_arbres = 333`. " "Comparez vos résultats avec ceux obtenu avec un arbre (`DecisionTreeClassifier`). Regardez bien sur l'ensemble de test puis sur l'ensemble de validation. Que remarquez-vous? À quoi cela est dû?"