But de la Cross-validation

[TPLaf]

Bonjour,
Je ne comprends pas l’intérêt de la cross-validation.
En effet, on peut utiliser la cross-validation pour trouver les meilleurs paramètres dans certaines fonctions en statistique comme la pénalisation du LASSO. Ici, on utilise pour évaluer l’accuracy du modèle. Mais c’est bien là le problème. Quel modèle évaluons nous vraiment? Un mélange de 5 modèles? Quel intérêt? J’ai bien lu que c’était utilisée dans les petits échantillons pour faire un genre d’évaluation quand on ne peut pas se permettre de split en deux les data et que du coup on entraîne sur tous l’échantillon. Cela me dérange de dire: “le modèle que j’ai entraîné sur tout mon échantillon a l’accuracy de la moyenne des 5 modèles faits avec la cv”.
Ai-je mal compris quelque chose?
Merci d’avance pour votre réponse

Thibaut

[glemaitre58]

Le but de la “cross-validation” est d’obtenir une information concernant la distribution des scores. En effet, en repetant l’evaluation avec des datasets differentes choisies a random, on peut obtenir une estimation de la standard deviation des erreurs.

Sans cross-validation, on obtiendrait seulement un seul point de la distribution et on ne peut pas conclure sur cette estimation car il se pourrait que le resultat est juste du a la chance (que le resultat soit bon ou mauvais).

Dans le module 3, on montre que la cross-validation peut-etre egalement utilise pour choisir les meilleurs parametres des modeles (tel que alpha pour LASSO). Le principe est le meme, on repete l’evaluation pour avoir des information de la distribution de l’evaluation. Scikit-learn utilise la moyenne empirique pour selectionne le meilleur parametre.

[TPLaf]

D’accord, c’est comme si à chaque fois on faisait des simulations pour montrer que notre résultat ne semble pas être un épiphénomène. Si la cv nous donne une distribution large on pourra douter plus ou moins. Merci beaucooup!

[glemaitre58]

Exactement. On revient plus en detail sur ce sujet dans le module 2.