Plus de répondants oui, mais à quel prix?
Ceux qui veulent continuer leurs études à la maitrise seront d’accord avec moi : les notes ne suffisent pas. Même avec un GPA parfait, il est important de s’impliquer au sein des organisations universitaires. C’est pourquoi j’ai pris la décision l’an dernier de travailler dans un laboratoire à McGill. De ce fait, depuis plusieurs mois maintenant, j’effectue plusieurs tâches dans ce laboratoire dont recruter des participants au téléphone. Les participants qui acceptent ont le droit de répondre à des questionnaires en ligne ou par téléphone. Sans nécessairement rentrer dans les détails, je peux affirmer que les questions posées dans les tests sont assez personnelles. On leur demande de relater leurs pensées les plus intimes, d’inscrire s’ils se livrent à certains comportements qui sont souvent mal-vus, etc. Je me suis donc posé la question à savoir si le fait d’offrir deux possibilités aux participants (répondre en ligne ou par téléphone) ne poserait pas problème quant à la validité et à la fiabilité des réponses obtenues.
En effet, est-ce que le fait d’offrir deux options pour répondre aux tests afin d’obtenir le plus de réponses possibles nuit à la validité du test? C’est après le chapitre sur l’administration de tests standardisés que je me suis posé la question. Comme nous l’avons vu, plusieurs facteurs tels que le contexte dans lequel le questionnaire est administré ou la manière dont ce dernier est administré, peuvent influencer les réponses obtenues. C’est pourquoi tous les experts s’accordent pour dire qu’il vaut mieux que les tests/questionnaires soient administrés dans des conditions normalisées. Si ce n’est pas le cas, on risque de se retrouver avec des résultats invalides (p.9). En d’autres mots, les déductions que l’ont peut tirer ne seraient pas significatives et appropriées car l’administration du questionnaire aurait mal été réalisée, rendant les données invalides. J’ai donc abordé la question avec mon superviseur qui m’a répondu qu’on offrait devait offrir ces deux options afin d’accommoder le plus de participants possible et pour donner une alternative à ceux ayant une déficience ou un trouble quelconque les empêchant de répondre au questionnaire en ligne. Bien entendu, je salue le fait de vouloir accommoder les participants en ayant besoin, mais je doute que d’offrir le choix à tous les participants est valable car les informations recueillies seront peut-être difficilement comparables.
Étant donné que les questions posées dans le questionnaire sont de nature intime et touchent à des sujets très sensibles pour certains, je crois qu’il aurait été optimal de ne donner que la possibilité de répondre au questionnaire en ligne. Certains participants, sans nécessairement l’avouer, peuvent être gênés, honteux ou mal à l’aise par les questions posées par l’examinateur. Ils pourraient donc modifier ou atténuer leurs réponses davantage si l’interview se déroule par téléphone. Autrement dit, les participants sont peut-être moins honnêtes en répondant à un intervieweur au téléphone qu’en répondant à des questions sur un écran d’ordinateur, seul. Par exemple, N. Brewer et al. (2004) rapporte que les répondants peuvent parfois rapporter une meilleure santé par questionnaires administrés par téléphone (vs. papier ou en ligne). Je pense que ceci pourrait donc être le cas pour le questionnaire que j’administre : les participants auraient peut-être tendance à se montrer sous un meilleur jour lors d’un questionnaire par téléphone. Le fait de répondre au téléphone pourrait peut-être influencer certains à répondre différemment que si le questionnaire avait été rempli en ligne. Les conclusions tirées des résultats seront donc peut-être invalides à cause des différentes méthodes d’échantillonnage utilisées.
J’ai également pensé que le sexe de l’intervieweur aurait pu influencer les réponses des répondants. Par exemple, une jeune femme pourrait être gênée de répondre à des questions concernant ses habitudes sexuelles si l’intervieweur est un homme. Toutefois, mes recherches à ce sujet sont peu concluantes. Les études portant sur l’influence du sexe de l’intervieweur se contredisent. Impossible donc d’affirmer que le sexe de l’intervieweur influence les réponses obtenues par téléphone. Mais la possibilité reste présente…
Bref, le fait d’offrir la possibilité de répondre de deux manières différentes aux questionnaires réduit de beaucoup la validité de celui-ci alors que ceci peut être facilement évitable. Les conditions d’administration du questionnaire ne sont, à mon avis, aucunement standardisées*. Selon moi, il aurait été optimal de proposer une version par téléphone uniquement aux participants déclarant souffrir d’une déficience physiques/psychologiques les empêchant de répondre au questionnaire en ligne. Nous aurions donc pu optimiser validité de nos résultats en pouvant les comparer de façon plus fiable. Plus de répondants je veux bien, mais pas au détriment de la validité des résultats. J’ai fait part de mes réserves quant à la manière dont le questionnaire est administré. Reste à voir si mes observations seront prises en compte par mon superviseur…
*En plus d’offrir deux possibilités aux candidats, il est important de mentionner que les examinateurs sont très peu formés et sont peu familier avec l’administration de ce genre de questionnaire. Le manuel (p.10) donne les éléments avec lesquels les examinateurs devraient être familiers, ce qui n’est pas le cas pour les examinateurs travaillant avec moi.
Références (autres que le manuel)
Brewer, N., Hallman, W.K., Fiedler, N., Kipen, H. (2004).Why Do People Report Better Health by Phone Than by Mail?. Medical Care, 42(9), 875–883
