Dr. Linda Kaye, es tune experte mondiale de la cyberpsychologie, Elle étudie l’impact des mondes virtuels sur notre comportement et explore le potentiel d’internet pour favoriser le bien-être. Elle est autrice ou co-autrices de plusieurs études majeures dans ce champ. Je mets en ligne cette traduction de son billet “Observateur d’un évaluateur fatigué” parce qu’il souligne des manquements importants de la recherche en cyberpsychologie.

Observations d’un évaluateur fatigué

Comme beaucoup d’universitaires et de chercheurs, je reçois des tonnes de demandes d’évaluation de manuscrits provenant de nombreuses revues différentes. Étant donné ma spécialisation en cyberpsychologie, la majorité d’entre elles portent évidemment sur des sujets relevant de ce domaine. Malheureusement, il y a une abondance écrasante de recherches qui adoptent une vision très étroite et pessimiste des technologies, et donc un grand nombre de documents que l’on me demande d’évaluer suivent un format très similaire :

“L’utilisation problématique de [insérer la plateforme de médias sociaux] et [insérer les variables négatives en matière de santé mentale]”. Dans presque tous les cas, cette recherche pose les mêmes types de problèmes, à tel point que je me dis que je pourrais simplement utiliser les mêmes commentaires chaque fois que je reçois une telle demande.

Je sais que je ne suis pas la seule personne à être fatiguée par ces questions et j’ai donc pensé qu’il était temps d’écrire un article de blog qui identifie ce que je considère comme les problèmes les plus typiques de ce type d’études.

1.    Mauvaise conceptualisation 

L’un des principaux problèmes de la recherche sur la question de l’utilisation “problématique” des technologies sont que les termes sont souvent interchangeables. C’est un sujet que nous avons déjà abordé à propos de la ” dépendance à Internet ” (Ryding & Kaye, 2018), mais les chercheurs, même au sein d’un même manuscrit, sont connus pour faire référence de manière interchangeable à l'” usage problématique “, à la ” dépendance “, à l'” usage excessif ” et à l'” usage pathologique “, qui sont sans doute des concepts différents. Cela n’aide vraiment pas les lecteurs à s’y retrouver dans ce domaine et à comprendre quel est le concept spécifique qui les intéresse et ce qu’il apporte au domaine de la recherche. En outre, cela a également des conséquences sur les mesures utilisées, comme nous le verrons au point 2.

Validité des mesures

3.   La conceptualisation des concepts de recherche étant fréquemment floue, cela a souvent un impact sur les mesures sélectionnées par les chercheurs. Il est très courant de voir des chercheurs théoriser qu’ils s’intéressent à l'”usage problématique”, mais utiliser ensuite des échelles de dépendance. Le fait de s’assurer que l’on mesure correctement la construction à laquelle on s’intéresse n’est-il pas une leçon de base de la recherche en psychologie ? D’éminents collègues ont récemment écrit sur ce sujet et ont joliment souligné les implications de cette question (Davidson et al., 2022).
4.   Une question plus générale concernant les concepts de ce domaine de recherche est que l’on peut se demander s’il s’agit ou non de concepts significatifs et valides, bien qu’il existe des outils de mesure qui se sont avérés valides sur le plan psychométrique. Nous avons déjà écrit à ce sujet et démontré qu’il est assez facile de valider une échelle qui mesure un concept totalement absurde tel que la “dépendance à l’égard des amis hors ligne” ((Satchell et al., 2020). Il est intéressant de noter qu’environ deux tiers des personnes présentent cette malheureuse “addiction” en utilisant notre échelle satirique ! En résumé, ce n’est pas parce que vous avez une mesure sophistiquée que ce que vous mesurez est significatif.

Explorer le comportement d’utilisation sans mesurer le comportement

4.   Un autre problème plus général dans ce domaine est qu’il s’agit d’aspects comportementaux de l’utilisation de la technologie, alors que très peu de recherches prennent réellement des mesures comportementales. Ainsi, malgré l’existence d’une littérature abondante qui adopte l’approche selon laquelle l’utilisation des médias sociaux peut être une dépendance comportementale, très peu de ces recherches prennent des mesures de comportement pour vérifier que c’est bien le cas. Nous avons écrit à ce sujet et noté certaines opportunités que les mesures comportementales pourraient apporter à ce domaine (Ellis et al., 2018).  

Affirmer faussement la causalité

5.   En termes d’approche méthodologique, la majorité de ces recherches sont transversales, bien que nombre de ces auteurs affirment qu’il existe un lien de causalité entre l’usage dit “problématique” et les variables relatives à la santé mentale. Cela est d’autant plus problématique que c’est ce type de données qui est généralement en première ligne pour nourrir la politique et le débat public sur cette question. Cela semble être largement influencé par une tendance à supposer un déterminisme technologique selon lequel un facteur en cause un autre, et aussi sans reconnaître le fait que ces facteurs existent dans un contexte plus large. Un excellent article publié récemment aborde ce sujet et démontre que lorsque l’on mesure l’utilisation des médias sociaux par rapport à un éventail plus large d’autres facteurs sur les variables de la santé mentale des adolescents, l’effet est quelque peu minuscule ((Panayiotou et al., 2023). De même, d’autres recherches suggèrent qu’il existe des facteurs de risque plus importants pour le bien-être des adolescents que l’utilisation des technologies numériques ((Orben & Przybylski,, 2019). 

Manque de cohérence dans les techniques de notation.

6.   Ce problème se pose en particulier lorsque les auteurs déterminent des seuils à partir de leurs échelles d'”usage problématique” pour déterminer ce qui est considéré comme problématique et ce qui ne l’est pas. Nous avons récemment écrit à ce sujet et démontré, données à l’appui, les implications de cette question (Connolly et al., 2021). Pour résumer, il existe un ensemble de techniques disponibles à cet effet et celles-ci sont souvent utilisées de manière interchangeable ou appliquées de manière incorrecte. Une technique courante semble être que les auteurs choisissent de ne pas utiliser de seuils du tout et utilisent à la place le score total ou moyen d’une mesure de “l’utilisation problématique” sans aucune analyse de sous-échantillon. Cela est préoccupant, car souvent les scores moyens ou médians de ces échelles sont relativement bas et indiqueraient que les participants n’approuvent pas ou ne sont pas “d’accord” avec les déclarations sur les aspects problématiques de l’utilisation. Pourtant, ces auteurs continuent à faire des déductions sur la manière dont “l’utilisation problématique” est liée à X, Y et Z, ce qui pose un problème conceptuel. 

D’autres pratiques de notation utilisent un critère de classification “polythétique” selon lequel l’utilisation “problématique” est déterminée par la réponse “ni d’accord ni en désaccord” (généralement 3 ou plus sur une échelle de 5 points) à plus de la moitié des questions d’un questionnaire donné (c’est-à-dire que sur un questionnaire de 10 questions évaluées sur une échelle de 5 points, il faudrait répondre “3” à moins six des questions). Une autre approche plus conservatrice est la “notation monothématique”. Cette méthode consiste à classer une personne qui a obtenu un score égal ou supérieur au point médian (par exemple, 3 ou plus sur une échelle de 5 points) pour tous les éléments d’une échelle. Toutefois, le problème persiste dans la mesure où les chercheurs dans ce domaine utilisent les techniques de notation de manière peu cohérente et même lorsque les seuils sont déterminés, aucune analyse de sous-échantillon entre les “utilisateurs problématiques” et les “utilisateurs non problématiques” n’est entreprise, ce qui semble quelque peu étrange. 

Manque de connaissances théoriques

7.   La recherche dans ce domaine n’offre souvent pas beaucoup d’informations au-delà de l’utilisation en soi pour théoriser les raisons pour lesquelles l’utilisation des médias sociaux, par exemple, pourrait être liée d’une manière ou d’une autre aux résultats en matière de santé mentale. Les mesures de l’utilisation ou de l'”utilisation problématique” sont souvent vagues ou mal définies et ne permettent pas de comprendre ce que, comment ou pourquoi les gens utilisent cette technologie donnée, et donc pourquoi, théoriquement, on devrait s’attendre à ce qu’elle soit liée d’une manière ou d’une autre à des variables de santé mentale. J’ai récemment écrit à ce sujet dans le cadre d’une réflexion plus large sur la mesure dans la recherche sur les médias sociaux (Kaye, 2021).

Analyse documentaire étroite et biaisée

8.   Enfin, je constate souvent que des concepts tels que la ” dépendance aux médias sociaux ” ou autres sont introduits par les auteurs dans leur manuscrit comme s’il s’agissait d’un concept établi et accepté. C’est loin d’être le cas et il est souvent décevant de constater que les auteurs ne font même pas référence au domaine hautement débattu et volatile dans lequel se situe leur recherche. En tant qu’évaluateur, j’ai l’impression qu’il s’agit, au pire, d’une attitude très partiale et orientée et, au mieux, que cela me fait douter de la capacité des auteurs à évaluer de manière critique la façon dont leur travail s’inscrit dans la littérature existante.

 

J’espère que ce billet trouvera un écho auprès des personnes travaillant dans ce domaine et dans des domaines connexes et qu’il nous incitera à mener des recherches de meilleure qualité pour étudier ces questions fascinantes mais importantes pour la société.

References 

Connolly, T., Atherton, G., Cross, L., & Kaye, L. K. (2021). The Wild West of measurement: Exploring problematic technology use cut off scores and their relation to psychosocial and behavioural outcomes in adolescence. Computers in Human Behavior, 125, e106965. https://doi.org/10.1016/j.chb.2021.106965

Ellis, D. A., Kaye, L. K., Wilcockson, T. D. W., & Ryding, F. C. (2018). Digital Traces of behaviour within addiction: Response to Griffiths (2017). International Journal of Mental Health and Addiction 16 (1), 240-245

Davidson, B. I., Shaw, H., & Ellis, D.A. (2022). Fuzzy Constructs in Technology Usage Scales. Computers in Human Behavior, 133, 107206. https://doi.org/10.1016/j.chb.2022.107206

Kaye, L. K. (2021). Exploring “socialness” in social media. Computers in Human Behavior Reports, 3. 100083. https://doi.org/10.1016/j.chbr.2021.100083

Orben, A., & Przybylski, A. K. (2019). The association between adolescent well-being and digital technology use. Nature Human Behaviour, 3, 173-182

Panayiotou, M., Black, L., Carmichael-Murphy, P., Qualter, P., & Humphrey, N. (2023). Time spent on social media among the least influential factors in adolescent mental health: preliminary results from a panel network analysis. Nature Mental Health 1, 316–326. https://doi.org/10.1038/s44220-023-00063-7

Ryding, F. C., & Kaye, L. K (2018). “Internet Addiction”: A conceptual minefield. International Journal of Mental Health and Addiction 16 (1), 225-232. doi: 10.1007/s11469-017-9811-6

Satchell, L., Fido, D., Harper, C., Shaw, H., Davidson, B. I., Ellis, D. A., Hart, C. M., Jalil, R., Jones, A., Kaye, L. K., Lancaster, G., & Pavetich, M. (2021). Development of an Offline-Friend Addiction Questionnaire (O-FAQ): Are most people really social addicts? Behavior Research Methods, 53, 1097–1106. https://doi.org/10.3758/s13428-020-01462-9