diff --git a/TP/TP2_mardi/TP_Regression.ipynb b/TP/TP2_mardi/TP_Regression.ipynb index f99517df7d7bdc576be97e4372801b7fc1cdf47c..85629602908f0c770e554bba2d5a451c4d6f5c52 100644 --- a/TP/TP2_mardi/TP_Regression.ipynb +++ b/TP/TP2_mardi/TP_Regression.ipynb @@ -4,8 +4,8 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "# Regression\n", - "Rappel problème de régression" + "# TP Apprentissage supervisé: Régression\n", + "Dans ce TP, on va faire la regression. C'est pour analyser la relation d'une variable par rapport à une ou plusieurs autres." ] }, { @@ -19,32 +19,56 @@ "cell_type": "markdown", "metadata": {}, "source": [ + "On va utiliser les données Boston.\n", + "https://www.cs.toronto.edu/~delve/data/boston/bostonDetail.html\n", + "\n", + "Prix des maisons à Boston (cf le site pour les variables)\n", + "https://scikit-learn.org/stable/datasets/index.html#boston-dataset\n", + "\n", + "Importez les libraries de ce matin: numpy et scikit datasets.\n", "Consultation de la doc du dataset\n", + "\n", "Chargement du dataset boston" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Analyse exploratoire et préparation du dataset\n", - "Étudier les corrélations" + "Étudier les corrélations en utilisant np.corrcoef" ] }, { - "cell_type": "markdown", + "cell_type": "code", + "execution_count": null, "metadata": {}, - "source": [ - "Split du dataset boston" - ] + "outputs": [], + "source": [] }, { "cell_type": "markdown", "metadata": {}, "source": [ - "##" + "Split du dataset boston\n", + "\n", + "Pour cela, utilisez la fonction scikit-learn sklearn.model_selection.train_test_split. Importez cette méthode, " ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -54,6 +78,13 @@ "Trouver le modèle sur scikit learn." ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -61,15 +92,28 @@ "Run sur boston. afficher les coef de chaque features. Quelles features sont significative?" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, "source": [ "## Arbre de régression\n", - "Rappel modèle\n", - "image" + "![](https://fr.wikipedia.org/wiki/Arbre_de_d%C3%A9cision#/media/File:Arbre_de_decision.jpg)" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -77,6 +121,13 @@ "Essayer avec une profondeur max de 3" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -84,6 +135,13 @@ "Essayer avec une profondeur max de 5" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -91,6 +149,13 @@ "Essayer avec une profondeur max de 10" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -98,6 +163,13 @@ "Comparer les résultats" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -108,6 +180,13 @@ "modèle" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -115,6 +194,13 @@ "Essayer avec 3 arbres" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -122,6 +208,13 @@ "Essayer avec 10 arbres" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -129,6 +222,13 @@ "100 arbres" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -136,6 +236,13 @@ "Comparer avec les arbres de régression. Quels sont les avantages?" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -143,6 +250,13 @@ "_optionel_ Tracer le résultat avec 1 arbre, 3 arbres et 100 arbres " ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -152,6 +266,13 @@ "\n", "Faire une régression sur le résultat d'une PCA (touchy)\n" ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] } ], "metadata": { @@ -170,7 +291,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.6.6" + "version": "3.7.2" } }, "nbformat": 4, diff --git a/TP/TP2_mardi/tp_supervised.ipynb b/TP/TP2_mardi/TP_classification.ipynb similarity index 57% rename from TP/TP2_mardi/tp_supervised.ipynb rename to TP/TP2_mardi/TP_classification.ipynb index f845eecfef3e4e0d4f3d0a07d968f81c302a3121..9ec5d393328721923676a582fe7ff36854f54887 100644 --- a/TP/TP2_mardi/tp_supervised.ipynb +++ b/TP/TP2_mardi/TP_classification.ipynb @@ -22,18 +22,11 @@ "outputs": [], "source": [] }, - { - "cell_type": "code", - "execution_count": null, - "metadata": {}, - "outputs": [], - "source": [] - }, { "cell_type": "markdown", "metadata": {}, "source": [ - "Chargez les données depuis datasets.load_boston. Que renvoie ceette fonction ? Chargez vos données dans des variables appelées X et y pour avoir, respectivement, les données et les labels." + "Chargez les données depuis datasets.load_boston. Que renvoie cette fonction ? Chargez vos données dans des variables appelées X et y pour avoir, respectivement, les données et les labels." ] }, { @@ -48,7 +41,7 @@ "\n", "Pourquoi est-ce nécessaire?\n", "\n", - "Pour cela, utilisez la fonction scikit-learn sklearn.model_selection.train_test_split. Importez cette méthode, " + "Pour cela, utilisez la fonction scikit-learn sklearn.model_selection.train_test_split. Importez cette méthode, appliquer là à nos données." ] }, { @@ -63,7 +56,7 @@ "metadata": {}, "source": [ "# K-NNs\n", - "On va lancer les k-nns sur ce dataset. Essayez K = 1, puis K = n (n est le nombre de samples). Commentez." + "On va lancer les k-nns sur ce dataset. Essayez K = 1, puis K = n (n est le nombre de samples). Observez dans $R^2$. Commentez." ] }, { @@ -91,74 +84,90 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "# NBC / Algrotihme baeysien naif\n", + "# Algorithme Bayésien naif (NBC)\n", + "\n", "On va maintenant utiliser l'agorithme bayésien naif (*naive baeysian classifier* pour les gens hype). Pour rappel, le modèle se base sur l'indépendance des _features_ et l'hypothèse gaussienne. Les amoureux de SY01 se souviendront de la formule de bayes: \n", "$$\n", "P(X | Y) = \\frac{P(Y|X) \\times P(X)}{P(Y)}\n", "$$\n", - "Bref, commencez par importer le NBC depuis scikit-learn." + "Bref, commencez par importer le NBC depuis scikit-learn. https://scikit-learn.org/stable/modules/generated/sklearn.naive_bayes.GaussianNB.html" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ - "Consultez la doc pour connaître les arguments demandés. Utilisez cet algorithme sur le jeu boston" + "Consultez la doc pour connaître les arguments demandés. Utilisez cet algorithme sur le jeu de données boston." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ - "_Optionel_ Quels sont vos résultats? Essayez d'afficher vos clusters en 2D. (un peu chaud, à voir)" + "**Optionel** Quels sont vos résultats? Essayez d'afficher vos clusters en 2D dans $R^2$. Vous pouvez appliquer une PCA et garder 2 composantes. De là, c'est possible de plot dans $R^2$." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ - "# Regression logistique\n", - "On va utiliser la regression logistique (aka *logistic regression*). \n", - "Rappel de notre modèle, pour deux classes: \n", + "# Régression logistique\n", + "\n", + "On va utiliser la régression logistique (aka *logistic regression*). Rappel de ce modèle, pour deux classes: \n", + "\n", "$$Pr(C_0 | features) + Pr(C_1 | features) = 1$$\n", "$$Pr(C_1 | features) = \\frac{1}{1+\\exp^{w_O +w_1\\times features}}$$\n", - "On veut donc déterminer $w = (w_0,w_1)$\n", - "Et, de manière assez inattendue, Scikit propose un implémentation de la regression logistique. La doc scikit est consultable ici: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html .\n", "\n", - "Consultez la doc, puis lancez une regression logistique. " + "Avec $C_0$ et $C_1$ les deux classes à discriminer. On veut donc déterminer les poids $w = (w_0,w_1)$.\n", + "\n", + "Et, de manière assez inattendue... Scikit propose un implémentation de la régression logistique. La doc est consultable ici: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html\n", + "\n", + "Appliquez la régression logistique toujours sur les données boston." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ - "Quels sont vos résultats? Sont-ils meilleurs que pour le NBC?" + "Quels sont vos résultats (calculer l'accuracy) ? Sont-ils meilleurs que pour le NBC?" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ - "Le principal avantage de la regression logistique est son interprétabilité, grâce aux poids. \n", - "Quelles sont les features qui vous ont permis de discriminer entre les classes? Utilisez pour cela les poids du vecteurs $w$." + "Le principal avantage de la régression logistique est son interprétabilité, grâce aux poids. Quelles sont les features qui vous ont permis de discriminer entre les classes? Regardez et comparer pour cela les poids du vecteur $w$." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ - "_optionel_ Essayez de tracer vos classes dans $R^2$, en utilisant les 2 features les plus discriminantes." + "**optionel** Essayez de tracer vos classes dans $R^2$, en utilisant les 2 features les plus discriminantes." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ - "# SVM -- Support Vector Machine\n", - "Machine à vecteur de Support (Système à Vaste Marge pour les littéraires), les SVMs sont des algorithmes plus complexes. Ils perdent l'interprétabilité de la *logistic regression*, mais permettent d'obtenir des frontières de décision non linéaires grâce au kernel. Très puissants, ils ont été les algorithmes phares des années 90 et début 2000.\n", + "# Support Vector Machine (SVM)\n", + "\n", + "Machine à vecteur de Support (Système à Vaste Marge pour les littéraires), les SVMs sont des algorithmes plus complexes. \n", + "\n", + "Ils perdent l'interprétabilité de la *logistic regression*, mais permettent d'obtenir des frontières de décision non linéaires grâce au kernel trick. Très puissants, ils ont été les algorithmes phares des années 90 et début 2000.\n", + "\n", "Le modèle est assez complexe, basé sur l'estimation de la marge. Voici pour rappel un schéma volé sur Wikipédia, qui présente le cas facilement séparable:\n", - "![](https://upload.wikimedia.org/wikipedia/commons/7/72/SVM_margin.png)\n", - "La puissance des SVM est basé sur la notion de Kernel explorée en détail ce matin. On utilisera le noyeau gaussien, appelé rbf dans scikit." + "\n", + "\n", + "\n", + "La puissance des SVM est basée sur la notion de kernel explorée en détail ce matin. On utilisera le noyau gaussien, appelé rbf dans scikit." + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "## Utilisation" ] }, { @@ -176,6 +185,13 @@ "Lancez un SVM sur nos données, avec un noyeau linéaire kernel='linear'. " ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -194,31 +210,53 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "C'eest fini? Pas encore? Toujours pas? La méthode est bien plus complexe que la regression logistique. Plus complexe --> plus de calculs --> plus lent.\n", - "Quels sont vos résultats? Sont-ils meilleurs que précédemment?" + "## Performances / complexité" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ - "En fait, il n'y a pas que le kernel qui paramètrise votre SVM. Le paramètre de régularisation aussi. Pour l'instant quel est votre paramètre C? Regardez dans la doc.\n", + "C'est fini? Pas encore? Toujours pas? La méthode est bien plus complexe que la régression logistique. \n", + "Plus complexe --> plus de calculs --> plus lent.\n", + "Quels sont vos résultats (calculer l'accuracy ici)? Sont-ils meilleurs que précédemment?" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "En fait, il n'y a pas que le kernel qui paramètrise votre SVM. Le paramètre de régularisation est aussi à fixer. Pour l'instant quel est votre paramètre C? Regardez dans la doc (il y a une valeur par défaut).\n", "\n", "Essayez C=20. Commentez vos résultats." ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, "source": [ - "Cherchez un C optimal. Nous verrons plus tard comment faire cela automatiquement." + "Cherchez \"à la main\" un C optimal. Nous verrons plus tard comment faire cela automatiquement." ] }, { "cell_type": "markdown", "metadata": {}, "source": [ - "_optionel_ Vous souvenez-vous de la commande magic permettant de connaitre le temps de calcul pour un ligne? %timeit\n", + "**optionel** Vous souvenez-vous de la commande magic permettant de connaitre le temps de calcul d'une cellule ? %timeit\n", "Comparez le temps pris par la régression logistique et le SVM." ] }, @@ -227,12 +265,22 @@ "metadata": {}, "source": [ "# Arbres de décision\n", - "Les arbres de décision sont une méthode extrêmement puissante, surtout quand ils sont utilisés avec des méthodes de boosting (que nous verrons aussi aujourd'hui). De plus, les arbres sont très interprétables.\n", + "Les arbres de décision sont une méthode extrêmement puissante, surtout quand ils sont utilisés avec des méthodes de boosting (que nous verrons peut-être aussi aujourd'hui). De plus, les arbres sont très interprétables. C'est à dire qu'on peut comprendre facilement comment une prédiction à été faite, en suivant dans l'arbre le chemin à travers les noeuds.\n", + "\n", "![](https://upload.wikimedia.org/wikipedia/commons/2/25/Cart_tree_kyphosis.png)\n", - "On va utiliser cette méthode pour faire de la classification. Cherchez l'implémentation scikit de cette méthode. En anglais, on parle de *decision tree classifier*.\n", - "Consulter la doc string. " + "\n", + "On va utiliser cette méthode pour faire de la classification. Cherchez l'implémentation scikit de cette méthode. En anglais, on parle de *decision tree classifier*. https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html#sklearn.tree.DecisionTreeClassifier\n", + "\n", + "Consulter la doc string." ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "markdown", "metadata": {}, @@ -240,12 +288,25 @@ "Lancez un arbre avec DecisionTreeClassifier. Essayez sur votre ensemble de validation." ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Bravo! Vous venez de découvrir l'*overfitting*!! C'est-à-dire que votre arbre a tout appris par coeur, et a donc trop de branches. Pour poursuivre la métaphore, on va utiliser une forêt, afin que les surapprentissages se compensent." + ] + }, { "cell_type": "markdown", "metadata": {}, "source": [ - "Bravo! Vous venez de découvrir l'*overfitting*!! C'est-à-dire que votre arbre a tout appris par coeur, et a donc trop de branches. Pour poursuivre la métaphore, on va utiliser une forêt, afin que les surapprentissages se compensent.\n", - "_optionel_ : tracer votre arbre en 2D. Vous pouvez utiliser le tuto suivant: https://scikit-learn.org/stable/auto_examples/tree/plot_iris.html#sphx-glr-auto-examples-tree-plot-iris-py" + "**optionel** tracer votre arbre en 2D. Vous pouvez utiliser le tuto suivant: https://scikit-learn.org/stable/auto_examples/tree/plot_iris.html#sphx-glr-auto-examples-tree-plot-iris-py" ] }, { @@ -253,10 +314,12 @@ "metadata": {}, "source": [ "# Random Forest\n", - "Les forêts aléatoires sont des classifieurs extrêmement puissants, qui s'appuie sur le bootstrap, et le bagging. Ce sont des techniques statistiques assez avancées qui consistent à:\n", + "Les forêts aléatoires sont des classifieurs extrêmement puissants, qui s'appuient sur le bootstrap, et le bagging. Ce sont des techniques statistiques assez avancées qui consistent à:\n", "- *bootstrap*: faire des tirages avec remise dans le jeu de données\n", "- *bagging*: entrainer le même modèle sur différents bootstrap, et faire un vote pour classifier.\n", - "Problème: l'interprétation devient difficile.\n", + "\n", + "Problème: l'interprétation devient plus difficile avec tous les arbres.\n", + "\n", "La documentation est disponible à https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html" ] }, @@ -264,28 +327,28 @@ "cell_type": "markdown", "metadata": {}, "source": [ - "Après avoir regardé la documentation, lancez une random forest avec n_arbres = 15," + "Après avoir regardé la documentation, lancez une random forest avec n_estimators = 15:" ] }, { - "cell_type": "markdown", + "cell_type": "code", + "execution_count": null, "metadata": {}, - "source": [ - "Comparez vos résultats avec votre arbre. Regardez bien sur l'ensemble de test puis sur l'ensemble de validation. Que remarquez-vous? À quoi cela est dû?" - ] + "outputs": [], + "source": [] }, { "cell_type": "markdown", "metadata": {}, "source": [ - "Rééssayez avec n_arbres = 100, n_arbres = 333. " + "Comparez vos résultats avec ceux obtenu avec un arbre (DecisionTreeClassifier). Regardez bien sur l'ensemble de test puis sur l'ensemble de validation. Que remarquez-vous? À quoi cela est dû?" ] }, { "cell_type": "markdown", "metadata": {}, "source": [ - "Comparez vos résultats. " + "Rééssayez avec n_estimators = 100, n_estimators = 333. " ] }, { @@ -296,11 +359,11 @@ "source": [] }, { - "cell_type": "code", - "execution_count": null, + "cell_type": "markdown", "metadata": {}, - "outputs": [], - "source": [] + "source": [ + "Comparez vos résultats. " + ] } ], "metadata": { @@ -319,7 +382,31 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.6.6" + "version": "3.7.1" + }, + "toc": { + "colors": { + "hover_highlight": "#DAA520", + "navigate_num": "#000000", + "navigate_text": "#333333", + "running_highlight": "#FF0000", + "selected_highlight": "#FFD700", + "sidebar_border": "#EEEEEE", + "wrapper_background": "#FFFFFF" + }, + "moveMenuLeft": true, + "nav_menu": { + "height": "192px", + "width": "252px" + }, + "navigate_menu": true, + "number_sections": true, + "sideBar": true, + "threshold": 4, + "toc_cell": false, + "toc_section_display": "block", + "toc_window_display": false, + "widenNotebook": false } }, "nbformat": 4,