Cette page présente une partie de l'étude présentée dans l'article de Richardson (2006). Le but de l'article est de trouver une meilleure façon de mettre en relation la variance de résultats obtenus d’un même groupe sur deux tests différents. Cette mise en relation n’est pas chose facile mais peut être d'un intérêt particulier pour les recherches dans l’éducation.

Il existe différentes approches pour tenter d’offrir une solution à la question mais sans véritablement être accepté par tous les chercheurs. Différentes techniques ont été utilisées par ceux-ci afin de trouver cette mise en relation.

Ribich & Schmeck ont par exemple imposé à 106 étudiants trois questionnaires différents : «Un inventaire des processus d’apprentissage» (ILP - Inventory of Learning Processes) de Schmeck, Ribich et Ramaniah (1977)¹⁾, «un autre questionnaire sur le processus d’étude» (SPQ -Study Process Questionnaire) de Bigg (1973) et enfin «un inventaire sur les différents méthodes d’apprentissage» (LSI - Learning Style Inventory) de Kolb, Rubin et McIntyre (1971). Ceci dans la but de déterminer les corrélations linéaires entres les paires de questionnaires. La notion d’analyse des corrélations linéaires, connu sous la détermination anglaise «Canonical correlation analysis» méritent d’être approfondie : cet outil de statistique développé par Hotelling en 1936, un éminent statisticien américain et théoricien économique, permet de dériver une série de transformations linéaires de deux ensembles de variables qui représentent leur divers rapports entre eux. Elle représente la variance entre les groupes et la variance totale estimée par la fonction discriminante. La première paire de transformations linéaires ou de variables aléatoires canoniques est choisie pour maximiser l'association entre les deux ensembles de résultats. Si le coefficient de corrélation entre la ith paire de variable est R_i alors R²_i est la proportion de variance qui est partagée entre cette paire de variable et (1 – R²_i) qui est la proportion de variance qui n’est pas partagée entre cette paire de variable. En algèbre, ce calcul est exprimé par l’écriture suivante : Π(1 – R²_i)

Il ressort de la recherche de Ribich & Schmeck des résultats non satisfaisants avec une asymétrie d’une part et un pourcentage trop faible dans la relation des résultats d’autre part.

Il n’était peut-être pas envisageable de comparer ces trois questionnaires ensemble pour obtenir des résultats satisfaisants. C’est pourquoi Ramsden & Entwisle (1981) ont tenté de mesurer une relation dans les réponses des étudiants en leur soumettant deux questionnaires qui étaient le «Course Perceptions Questionnaire» et le «Approaches to Studying Inventory». Malheureusement, en utilisant la même technique, ils en conclurent une insuffisance dans la relation des résultats. Sur cette expérience, Thompson en 1997 conclu que cette application (canonical correlation analysis) ne permettait pas d’obtenir des résultats satisfaisants car la fonction ne prenait pas en considération les variables dépendantes qui se séparait en deux ensemble différents.

Watkins quant à lui en 1994 suggéra deux autres questionnaires (Marsh’s Student’s Evaluation of Educational Quality and Frey et le Leonard and Beatty’s Endeavor instructional rating form). Cependant, malgré de meilleurs résultats, l’approche de Watkins fut réfutée car elle ne proposait pas une mesure simple de la force de la relation des réponses à deux questionnaires.

Il semblait donc difficile de pouvoir trouver une façon de calculer cette relation mais c’était sans compter sur la découverte de Wilk et son lambda (Λ). Aujourd’hui 1 - Λ représente la formule qui permet de calculer l’association des réponses d’un même groupe de personne à plusieurs questionnaires. Cette méthode mérite bien entendue d’être approfondie : Le lambda de Wilk (Λ) fonctionne comme un coefficient de relation entres plusieurs variables non expliquées. Sa valeur varie entre 0 (quand il y a une relation linéaire parfaite entre les variables dans au moins deux questionnaires) et 1 (quand il y a une indépendance totale de tous les questionnaires). Cependant, on peut mettre en relation la lambda de Wilk et l’analyse de corrélation canonique de non détermination de Hotelling. En d’autres mots, le Λ est un cas spécial de la mesure d’Hotelling si l’on prend en considération le fait qu’un des deux questionnaires consiste en une variable catégorique simple de facteur prédictif.

Pour comparer l’index de Wilk et le coefficient de non détermination de Hotelling, John T.E Richardson nous propose un exemple concret que je vais reprendre. Il décide donc de comparer les motivations et les attitudes d’étudiants face à leurs études. Ces deux aspects ont été mesuré grâce une petite version du questionnaire sur «les stratégies de motivations pour apprendre» (MSLQ – Motivated Strategies for Learning Questionnaire) de Pintrich, Smith, Garcia et McKeachie (1991-1993) et un «inventaire des approches révisées pour apprendre» (RASI – Revised Approaches to Studying Inventory) de Entwistle, Tait et McCune (2000). Six sous-catégories composaient le tableau d’analyse, selon trois types d’approches d’études. Il s’agissait d’une approche profonde (Deep Approach) (comprendre la signification des cours), d’une approche stratégique (Strategic Approach) (pouvoir réaliser les exercices les plus complexes) et d’une approche extérieure (Surface Approaches) (apprendre par cœur la matière). Il en ressort les analyses suivantes :

1. Le tableau démontre les coefficients de corrélation entres les résultats respectifs du MSLQ et du RASI. On observe que les étudiants qui ont des attitudes positives face au travail utilisent plutôt l’approche profonde ou l’approche stratégique pour étudier et surtout qu’il n’emploient pas l’approche de surface. Par ailleurs, on observe également que pour le test d’anxiété, ceux-ci ne démontrent presque aucuns résultats (+.025 et -.068) tandis que les étudiants qui apprennent par cœur (Surface Approach) répondent très positivement au test (+.511)

2. Si on utilise la stratégie de Hotelling pour analyser le rendement des données, on s’aperçoit que les résultats des étudiants sur ces deux questionnaires partagent 72.1% de leur variance ( Le Λ de Wilk donne .279, F(18,1143) = 36.199, p<0.001).

Les résultats d'une analyse de corrélation canonique effectuée sur les mêmes données sont affichés dans la tableau ci-dessus. En observant les résultats, on remarque que la corrélation canonique sous les trois variables sont au-dessus de .30 et est donc significative. Si je reprends le calcul du Λ de Wilk, on peut utiliser les valeurs de la corrélation canonique pour arriver à une conclusion de relation :

Λ = Π( 1 - R²_i ) = ( 1 – .735² ) x ( 1 - .532² ) x ( 1 - .393² ) = .279

Le coefficient de la moyenne du carré des corrélations vaut:

(.735² + .532² + .393²)/3 = .313

valeur nettement inférieure à 1 – Λ = .721. Ceci confirme l’utilisation la nature hautement conservative du coefficient de corrélation comme mesure de relation multivariées.

A la base de ses recherches, Wilk développa son lambda dans le but de mesurer la proportion de la variance résiduelle dans les analyses multivariées de la variance.

Texte scientifique très difficile à comprendre car il propose des analyses sur de la statistique assez poussée et il faudrait avoir de plus amples connaissances en la matière pour pouvoir tenter une critique scientifique ou du moins en connaître davantage. Il n'a pas toujours été évident de traduire correctement certains passages du texte en français.

L'article ne propose pas d'information détaillée sur le calcul de Wilk et son lambda. Voici donc un lien pour nous permettre de mieux comprendre l'analyse de variance multivariée (MANOVA) :

http://geai.univ-brest.fr/~carpenti/2007-2008/intro-manova.html

Il reste une chose à noter qui a son importance, quelque soit l'étude entreprise par n'importe quel chercheur à travers le monde concernant des données récupérées sur des personnes tiers. Il ne faut jamais oublier que les résultats dépendent toujours de facteurs psychosociaux et environnementaux. Les réponses obtenues dans des questionnaires, des entretiens, etc. peuvent être biaisées par une non-motivation à répondre correctement aux attentes du chercheur par exemple. Il se peut également que le chercheur par des questions implicites, influencent le résultat du questionnaire. Le fait d'attribuer de la réussite à des personnes implicitement influence leurs résultats, cet effet connu sous le nom "d'effet pygmalion" pourrait être approfondi dans l'étude de cas suivante et j'invite les personnes désirant en savoir davantage à ce sujet. Les techniques introduites par l'article pourraient être aussi utilisées pour étudier le lien entre le même questionnaire passé dans des contextes différents.

Richardson, J.T.E. (2007). Measuring the relationship between scores on two questionnaires. Educational Research Review, 2(2007), 13-27.

Wikipédia