Commit 26de8ff6 authored by Sylvain Marchienne's avatar Sylvain Marchienne

Improvements TP_classification

parent 499801d2
......@@ -22,18 +22,11 @@
"outputs": [],
"source": []
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Chargez les données depuis `datasets.load_boston`. Que renvoie ceette fonction ? Chargez vos données dans des variables appelées X et y pour avoir, respectivement, les données et les labels."
"Chargez les données depuis `datasets.load_boston`. Que renvoie cette fonction ? Chargez vos données dans des variables appelées X et y pour avoir, respectivement, les données et les labels."
]
},
{
......@@ -48,7 +41,7 @@
"\n",
"Pourquoi est-ce nécessaire?\n",
"\n",
"Pour cela, utilisez la fonction scikit-learn `sklearn.model_selection.train_test_split`. Importez cette méthode, "
"Pour cela, utilisez la fonction scikit-learn `sklearn.model_selection.train_test_split`. Importez cette méthode, appliquer là à nos données."
]
},
{
......@@ -63,7 +56,7 @@
"metadata": {},
"source": [
"# K-NNs\n",
"On va lancer les k-nns sur ce dataset. Essayez K = 1, puis K = n (n est le nombre de samples). Commentez."
"On va lancer les k-nns sur ce dataset. Essayez `K = 1`, puis `K = n` (n est le nombre de samples). Observez dans $R^2$. Commentez."
]
},
{
......@@ -91,74 +84,90 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"# NBC / Algrotihme baeysien naif\n",
"# Algorithme Bayésien naif (NBC)\n",
"\n",
"On va maintenant utiliser l'agorithme bayésien naif (*naive baeysian classifier* pour les gens hype). Pour rappel, le modèle se base sur l'indépendance des _features_ et l'hypothèse gaussienne. Les amoureux de SY01 se souviendront de la formule de bayes: \n",
"$$\n",
"P(X | Y) = \\frac{P(Y|X) \\times P(X)}{P(Y)}\n",
"$$\n",
"Bref, commencez par importer le NBC depuis scikit-learn."
"Bref, commencez par importer le NBC depuis scikit-learn. https://scikit-learn.org/stable/modules/generated/sklearn.naive_bayes.GaussianNB.html"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Consultez la doc pour connaître les arguments demandés. Utilisez cet algorithme sur le jeu `boston`"
"Consultez la doc pour connaître les arguments demandés. Utilisez cet algorithme sur le jeu de données `boston`."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"_Optionel_ Quels sont vos résultats? Essayez d'afficher vos clusters en 2D. (un peu chaud, à voir)"
"**Optionel** Quels sont vos résultats? Essayez d'afficher vos clusters en 2D dans $R^2$. Vous pouvez appliquer une PCA et garder 2 composantes. De là, c'est possible de plot dans $R^2$."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# Regression logistique\n",
"On va utiliser la regression logistique (aka *logistic regression*). \n",
"Rappel de notre modèle, pour deux classes: \n",
"# Régression logistique\n",
"\n",
"On va utiliser la régression logistique (aka *logistic regression*). Rappel de ce modèle, pour deux classes: \n",
"\n",
"$$Pr(C_0 | features) + Pr(C_1 | features) = 1$$\n",
"$$Pr(C_1 | features) = \\frac{1}{1+\\exp^{w_O +w_1\\times features}}$$\n",
"On veut donc déterminer $w = (w_0,w_1)$\n",
"Et, de manière assez inattendue, Scikit propose un implémentation de la regression logistique. La doc scikit est consultable ici: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html .\n",
"\n",
"Consultez la doc, puis lancez une regression logistique. "
"Avec $C_0$ et $C_1$ les deux classes à discriminer. On veut donc déterminer les poids $w = (w_0,w_1)$.\n",
"\n",
"Et, de manière assez inattendue... Scikit propose un implémentation de la régression logistique. La doc est consultable ici: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html\n",
"\n",
"Appliquez la régression logistique toujours sur les données `boston`."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Quels sont vos résultats? Sont-ils meilleurs que pour le NBC?"
"Quels sont vos résultats (calculer l'accuracy) ? Sont-ils meilleurs que pour le NBC?"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Le principal avantage de la regression logistique est son interprétabilité, grâce aux poids. \n",
"Quelles sont les features qui vous ont permis de discriminer entre les classes? Utilisez pour cela les poids du vecteurs $w$."
"Le principal avantage de la régression logistique est son interprétabilité, grâce aux poids. Quelles sont les features qui vous ont permis de discriminer entre les classes? Regardez et comparer pour cela les poids du vecteur $w$."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"_optionel_ Essayez de tracer vos classes dans $R^2$, en utilisant les 2 features les plus discriminantes."
"**optionel** Essayez de tracer vos classes dans $R^2$, en utilisant les 2 features les plus discriminantes."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# SVM -- Support Vector Machine\n",
"Machine à vecteur de Support (Système à Vaste Marge pour les littéraires), les SVMs sont des algorithmes plus complexes. Ils perdent l'interprétabilité de la *logistic regression*, mais permettent d'obtenir des frontières de décision non linéaires grâce au kernel. Très puissants, ils ont été les algorithmes phares des années 90 et début 2000.\n",
"# Support Vector Machine (SVM)\n",
"\n",
"Machine à vecteur de Support (Système à Vaste Marge pour les littéraires), les SVMs sont des algorithmes plus complexes. \n",
"\n",
"Ils perdent l'interprétabilité de la *logistic regression*, mais permettent d'obtenir des frontières de décision non linéaires grâce au kernel trick. Très puissants, ils ont été les algorithmes phares des années 90 et début 2000.\n",
"\n",
"Le modèle est assez complexe, basé sur l'estimation de la marge. Voici pour rappel un schéma volé sur Wikipédia, qui présente le cas facilement séparable:\n",
"![](https://upload.wikimedia.org/wikipedia/commons/7/72/SVM_margin.png)\n",
"La puissance des SVM est basé sur la notion de Kernel explorée en détail ce matin. On utilisera le noyeau gaussien, appelé `rbf` dans scikit."
"\n",
"<img src=\"https://upload.wikimedia.org/wikipedia/commons/7/72/SVM_margin.png\" width=\"400\" height=\"400\" />\n",
"\n",
"La puissance des SVM est basée sur la notion de kernel explorée en détail ce matin. On utilisera le noyau gaussien, appelé `rbf` dans scikit."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Utilisation"
]
},
{
......@@ -176,6 +185,13 @@
"Lancez un SVM sur nos données, avec un noyeau linéaire `kernel='linear'`. "
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {},
......@@ -194,31 +210,53 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"C'eest fini? Pas encore? Toujours pas? La méthode est bien plus complexe que la regression logistique. Plus complexe --> plus de calculs --> plus lent.\n",
"Quels sont vos résultats? Sont-ils meilleurs que précédemment?"
"## Performances / complexité"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"En fait, il n'y a pas que le kernel qui paramètrise votre SVM. Le paramètre de régularisation aussi. Pour l'instant quel est votre paramètre C? Regardez dans la doc.\n",
"C'est fini? Pas encore? Toujours pas? La méthode est bien plus complexe que la régression logistique. \n",
"Plus complexe --> plus de calculs --> plus lent.\n",
"Quels sont vos résultats (calculer l'accuracy ici)? Sont-ils meilleurs que précédemment?"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"En fait, il n'y a pas que le kernel qui paramètrise votre SVM. Le paramètre de régularisation est aussi à fixer. Pour l'instant quel est votre paramètre C? Regardez dans la doc (il y a une valeur par défaut).\n",
"\n",
"Essayez `C=20`. Commentez vos résultats."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Cherchez un `C` optimal. Nous verrons plus tard comment faire cela automatiquement."
"Cherchez \"à la main\" un `C` optimal. Nous verrons plus tard comment faire cela automatiquement."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"_optionel_ Vous souvenez-vous de la commande magic permettant de connaitre le temps de calcul pour un ligne? `%timeit`\n",
"**optionel** Vous souvenez-vous de la commande magic permettant de connaitre le temps de calcul d'une cellule ? `%timeit`\n",
"Comparez le temps pris par la régression logistique et le SVM."
]
},
......@@ -227,12 +265,22 @@
"metadata": {},
"source": [
"# Arbres de décision\n",
"Les arbres de décision sont une méthode extrêmement puissante, surtout quand ils sont utilisés avec des méthodes de boosting (que nous verrons aussi aujourd'hui). De plus, les arbres sont très interprétables.\n",
"Les arbres de décision sont une méthode extrêmement puissante, surtout quand ils sont utilisés avec des méthodes de boosting (que nous verrons peut-être aussi aujourd'hui). De plus, les arbres sont très interprétables. C'est à dire qu'on peut comprendre facilement comment une prédiction à été faite, en suivant dans l'arbre le chemin à travers les noeuds.\n",
"\n",
"![](https://upload.wikimedia.org/wikipedia/commons/2/25/Cart_tree_kyphosis.png)\n",
"On va utiliser cette méthode pour faire de la classification. Cherchez l'implémentation scikit de cette méthode. En anglais, on parle de *decision tree classifier*.\n",
"Consulter la doc string. "
"\n",
"On va utiliser cette méthode pour faire de la classification. Cherchez l'implémentation scikit de cette méthode. En anglais, on parle de *decision tree classifier*. https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html#sklearn.tree.DecisionTreeClassifier\n",
"\n",
"Consulter la doc string."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {},
......@@ -240,12 +288,25 @@
"Lancez un arbre avec `DecisionTreeClassifier`. Essayez sur votre ensemble de validation."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Bravo! Vous venez de découvrir l'*overfitting*!! C'est-à-dire que votre arbre a tout appris par coeur, et a donc trop de branches. Pour poursuivre la métaphore, on va utiliser une forêt, afin que les surapprentissages se compensent."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Bravo! Vous venez de découvrir l'*overfitting*!! C'est-à-dire que votre arbre a tout appris par coeur, et a donc trop de branches. Pour poursuivre la métaphore, on va utiliser une forêt, afin que les surapprentissages se compensent.\n",
"_optionel_ : tracer votre arbre en 2D. Vous pouvez utiliser le tuto suivant: https://scikit-learn.org/stable/auto_examples/tree/plot_iris.html#sphx-glr-auto-examples-tree-plot-iris-py"
"**optionel** tracer votre arbre en 2D. Vous pouvez utiliser le tuto suivant: https://scikit-learn.org/stable/auto_examples/tree/plot_iris.html#sphx-glr-auto-examples-tree-plot-iris-py"
]
},
{
......@@ -253,10 +314,12 @@
"metadata": {},
"source": [
"# Random Forest\n",
"Les forêts aléatoires sont des classifieurs extrêmement puissants, qui s'appuie sur le bootstrap, et le bagging. Ce sont des techniques statistiques assez avancées qui consistent à:\n",
"Les forêts aléatoires sont des classifieurs extrêmement puissants, qui s'appuient sur le bootstrap, et le bagging. Ce sont des techniques statistiques assez avancées qui consistent à:\n",
"- *bootstrap*: faire des tirages avec remise dans le jeu de données\n",
"- *bagging*: entrainer le même modèle sur différents bootstrap, et faire un vote pour classifier.\n",
"Problème: l'interprétation devient difficile.\n",
"\n",
"Problème: l'interprétation devient plus difficile avec tous les arbres.\n",
"\n",
"La documentation est disponible à https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html"
]
},
......@@ -264,28 +327,28 @@
"cell_type": "markdown",
"metadata": {},
"source": [
"Après avoir regardé la documentation, lancez une random forest avec `n_arbres = 15`,"
"Après avoir regardé la documentation, lancez une random forest avec `n_estimators = 15`:"
]
},
{
"cell_type": "markdown",
"cell_type": "code",
"execution_count": null,
"metadata": {},
"source": [
"Comparez vos résultats avec votre arbre. Regardez bien sur l'ensemble de test puis sur l'ensemble de validation. Que remarquez-vous? À quoi cela est dû?"
]
"outputs": [],
"source": []
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Rééssayez avec `n_arbres = 100`, `n_arbres = 333`. "
"Comparez vos résultats avec ceux obtenu avec un arbre (`DecisionTreeClassifier`). Regardez bien sur l'ensemble de test puis sur l'ensemble de validation. Que remarquez-vous? À quoi cela est dû?"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Comparez vos résultats. "
"Rééssayez avec `n_estimators = 100`, `n_estimators = 333`. "
]
},
{
......@@ -296,11 +359,11 @@
"source": []
},
{
"cell_type": "code",
"execution_count": null,
"cell_type": "markdown",
"metadata": {},
"outputs": [],
"source": []
"source": [
"Comparez vos résultats. "
]
}
],
"metadata": {
......@@ -319,7 +382,31 @@
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.6.6"
"version": "3.7.1"
},
"toc": {
"colors": {
"hover_highlight": "#DAA520",
"navigate_num": "#000000",
"navigate_text": "#333333",
"running_highlight": "#FF0000",
"selected_highlight": "#FFD700",
"sidebar_border": "#EEEEEE",
"wrapper_background": "#FFFFFF"
},
"moveMenuLeft": true,
"nav_menu": {
"height": "192px",
"width": "252px"
},
"navigate_menu": true,
"number_sections": true,
"sideBar": true,
"threshold": 4,
"toc_cell": false,
"toc_section_display": "block",
"toc_window_display": false,
"widenNotebook": false
}
},
"nbformat": 4,
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment