Les dispositifs (observation, expérimentation) produisant des données en éducation peuvent être répartis grossièrement en trois catégories à partir de la taille du groupe des “sujets” étudiés et de la finalité:
G.-L. Baron (Prof. Paris V) 1) situe ces trois catégories par rapport aux méthodes de la façon suivante:
D'abord, les méthodes doivent absolument être en harmonie avec la problématique et les théories convoquées : on peut ainsi pas analyser des genèses instrumentales (qui se déroulent dans une durée assez longue)2) par une seule prise d'information par questionnaire.
Vouloir étudier le rapport au savoir par une expérimentation portant sur deux groupes constitués de manière aléatoire soumis à un pré-test et un post-test est une entreprise bien risquée. Les approches ayant une dimension longitudinale, présentant un caractère anthropologique ou clinique sont certainement mieux adaptées. D'ailleurs, en éducation, étudier des processus est bien plus riche que de s'intéresser à des phénomènes statiques.
Ensuite, toute procédure statistique suppose un échantillon de taille assez grande : la loi des grands nombres est un peu comme la pesanteur : elle est dure, mais c'est la loi.
Quand l'échantillon est petit, qu'on l'analyse en profondeur, d'autres approches sont préférables, qu'on classe dans la catégorie au reste un peu floue des méthodes qualitatives.
Toutefois, certaines techniques statistiques peuvent encore servir pour de petits échantillons. Mais alors le "paradigme" standard de l'utilisation des statistiques est modifié.