Commit 94dff63a authored by TheophilePACE's avatar TheophilePACE

V.1 avec tous les classifiers

parent e1331eaf
...@@ -226,7 +226,66 @@ ...@@ -226,7 +226,66 @@
"cell_type": "markdown", "cell_type": "markdown",
"metadata": {}, "metadata": {},
"source": [ "source": [
"# Arbres de décision" "# Arbres de décision\n",
"Les arbres de décision sont une méthode extrêmement puissante, surtout qaund ils sont utilisés avec des méthodes de boosting (que nous verront aussi aujourd'hui). De plus, les arbres sont très interprétables.\n",
"![](https://upload.wikimedia.org/wikipedia/commons/2/25/Cart_tree_kyphosis.png)\n",
"On va utiliser cette méthode pour faire de la classification. Chercher l'implémentation scikit de cette méthode. En anglais, on parle de decision tree classifier.\n",
"Consulter la doc string. "
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Lancer un arbre avec DecisionTreeClassifier. Essayer sur votre ensemble de validation."
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Bravo! Vous venez de découvrir l'overfitting!! C'est à dire que votre arbre a tout appris par coeur, et a donc trop de branche. Pour poursuivre la métaphore, on va utiliser une forêt, afin que les surapprentissage se compensent.\n",
"_optionel_ : tracer votre arbre en 2D. Vous pouvez utiliser le tuto suivant: https://scikit-learn.org/stable/auto_examples/tree/plot_iris.html#sphx-glr-auto-examples-tree-plot-iris-py"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# Random Forest\n",
"Les forêts aléatoires sont des classifieurs extrêmement puissants, qui s'appuie sur le bootstrap, et le bagging. Ce sont des techniques statistiques assez avancées qui consistent à:\n",
"- bootstrap: faire des tirages avec remises dans le jeu de données\n",
"- bagging: entrainer le même modèle sur différents bootstrap, et faire un vote pour classifier.\n",
"Problème: l'interprétation devient difficile.\n",
"La documentation est disponible à https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Après avoir regardé la documentation, lancez une random forest avec `n_arbres = 15`,"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Comparer vos résultats avec votre arbre. Regarder bien sur l'ensemble de test puis sur l'ensemble de validation. Que remarquez vous? À quoi cela est dû?"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Réssayez avec `n_arbres = 100`, `n_arbres = 333`. "
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Comparez vos résultats. "
] ]
}, },
{ {
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment