Revue systématique

À l'étape de la sélection des études, les MECIR recommandent notamment : 

• d'utiliser (au moins) deux personnes travaillant indépendamment pour déterminer si chaque étude répond aux critères d'éligibilité, et définir à l'avance le processus de résolution des désaccords (C39);
• d'inclure les études dans l'analyse, que les données mesurées sur les résultats soient ou non rapportées de manière « utilisable » (C40);
• de documenter le processus de sélection de manière suffisamment détaillée pour compléter un diagramme PRISMA et un tableau des « caractéristiques des études exclues » (C41).

Diagramme de flux PRISMA

Le diagramme de flux PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) est un outil visuel servant à documenter et présenter de manière transparente les étapes d’une revue systématique, depuis l’identification des sources initiales jusqu’à l’inclusion finale des études.

Il détaille le nombre d’études identifiées, exclues et retenues, en précisant les raisons des exclusions, tout en permettant d’adopter des modèles adaptés selon le type de revue et les sources utilisées. Ce diagramme assure ainsi la rigueur, la transparence et la reproductibilité du processus.

• Choisissez le modèle approprié pour votre revue et les sources que vous avez utilisées.
• Vous pouvez générer un diagramme de flux PRISMA avec l'application Shiny App.

Processus de sélection
Les résultats de recherche doivent être systématiquement évalués pour leur pertinence en fonction des critères d’éligibilité selon un processus en deux étapes :

1. Sélection des titres et des résumés : Évaluer les titres et résumés pour exclure les documents non pertinents.
2. Analyse des textes intégraux : Examiner le texte intégral des articles afin de sélectionner ceux qui répondent à tous les critères d’inclusion.

Aperçu du flux de travail suggéré pour une sélection rigoureuse

1. Pré-sélection des titres et des résumés (Pilotage)

• Objectif : Tester et affiner les critères d’inclusion et d'exclusion, et établir un niveau initial d’accord entre les évaluateurs.
• Processus :
  • Utiliser un échantillon aléatoire de 25 à 50 documents.
  • Viser un niveau d’accord d’au moins 75% entre les évaluateurs.
  • Prendre en compte les aspects pratiques : où se déroule la sélection (ex. logiciel) et combien d’évaluateurs sont impliqués.

2. Sélection des titres et des résumés

• Objectif : Examiner systématiquement tous les documents récupérés.
• Processus :
  • Utiliser un logiciel de sélection, si possible (i.e. Covidence).
  • Fournir une formation ou des démonstrations et définir les paramètres, comme les critères d’éligibilité.
  • Suivre le nombre de documents : # Inclus et # Exclus pour le diagramme PRISMA.

3. Collecte des textes intégraux

• Objectif : Récupérer les textes intégraux pour les documents retenus lors de la sélection des titres et des résumés.
• Processus :
  • Utiliser des outils tels que des logiciels de gestion des références (i.e. EndNote ou Zotero - voir rubrique suivante), des recherches en bibliothèque (i.e. catalogue Sofia) ou des prêts entre bibliothèques (i.e. catalogue Sofia en utilisant un filtre Détenu par bibliothèque - bibliothèques universitaires du Québec ou bibliothèques à travers les monde).
  • Établir un système pour :
    • Stocker les PDFs (ex. dans un dépôt centralisé).
    • Nommer les PDFs (ex. selon une convention standardisée).
  • Documenter :
    • # PDFs récupérés.
    • # PDFs non récupérés pour le diagramme PRISMA.

4. Pré-sélection des textes intégraux (Pilotage)

• Objectif : Affiner les critères d’inclusion/exclusion et établir un consensus sur les motifs d’exclusion.
• Processus :
  • Utiliser un échantillon aléatoire d'environ 5 PDFs, en s’assurant qu’au moins un soit inclus, si possible.
  • Définir et tester une hiérarchie des motifs d’exclusion - (si une référence est exclue avec 2 critères d'exclusion différents, il y aura un conflit dans Covidence).
  • Viser un niveau élevé d’accord entre les évaluateurs.

5. Analyse des textes intégraux

• Objectif : Réaliser une analyse complète de tous les textes intégraux.
• Processus :
  • Utiliser un logiciel pour suivre les décisions (i.e. Covidence et son diagramme PRISMA).
  • Définir et appliquer les motifs d’exclusion de manière cohérente.
  • Enregistrer :
    • # Inclus
    • # Exclus (avec motifs) pour le diagramme PRISMA.

(Evidence Synthesis Institute, 2024)

Utiliser Covidence pour faciliter le processus 

Covidence est une plateforme en ligne qui simplifie l'analyse et la sélection des articles dans le cadre d'une revue de littérature systématique ou d'autres types de revues exhaustives : revue de la portée (scoping reviews); parapluie (umbrella review); méta-analyse; etc.

L'équipe de chercheurs détermine les paramètres du projet et les critères utilisés pour :

• Importer les références bibliographiques de banques de données d'articles.
• Décider de conserver ou non chacun des articles d'après le titre et le résumé.
• Obtenir le texte intégral des articles restants et en évaluer la qualité et la pertinence.
• Extraire l'ensemble des références analysées sous différents formats.

Après l’importation, Covidence offre plusieurs outils pour la gestion et le traitement des références :

• Déduplication automatique : Covidence identifie et supprime automatiquement les doublons des références importées, permettant de travailler avec un ensemble de données nettoyé pour les étapes suivantes.
• Suivi du flux PRISMA : Covidence génère un flux PRISMA qui documente chaque étape de la sélection des articles, incluant les doublons retirés et les articles exclus à chaque phase.
• Évaluation (screening) des titres et des résumés : Cette phase permet de faire un tri initial en examinant les titres et les résumés des études, où chaque référence est classée selon les critères d’inclusion et d’exclusion.
• Sélection des textes intégraux : Après le tri des titres et des résumés, les références sélectionnées passent à l’évaluation du texte intégral.

Pour accéder aux textes intégraux, vous pouvez utiliser un logiciel de gestion bibliographique tel que EndNote ou Zotero. Voici la procédure recommandée :

• Exporter les références filtrées de Covidence : À cette étape, exportez les références restantes depuis Covidence dans un fichier RIS et importez-les dans EndNote ou Zotero.
• Utiliser la fonction « Find Full Text » : Dans EndNote ou Zotero, utilisez les options de recherche automatique des textes intégraux (qui se font par DOI, libre accès et connexion aux banques de données de la bibliothèque). Ces outils identifieront et téléchargeront les PDFs disponibles pour chaque référence. Assurez-vous de régler les paramètres adéquatement pour optimiser le taux de récupération.
  • EndNote 
  • Zotero 
• Réimporter les textes intégraux dans Covidence : Une fois les PDF trouvés, ils peuvent être réimportés dans Covidence, ce qui permet de les annoter et de centraliser les analyses.
  • Référez-vous à la section « Importation en lot » (bulk download) dans le guide Covidence.

Référence 

Evidence Synthesis Institute (2024). « Wirting a Search Strategy and Translating it to Multiple Databases », présentée à la Evidence Synthesis Institute Conference.

Le risque de biais fait référence aux erreurs systématiques dans les résultats des études ou dans leur synthèse, ce qui peut conduire à des conclusions inexactes sur l'effet réel d'une intervention. Le biais peut provenir de :

• défauts dans la conception des études;
• pratiques de diffusion des résultats (par exemple, le biais de publication ou de sélection des résultats);
• conflits d'intérêts,

et peut entraîner une surestimation ou une sous-estimation des effets. Les revues Cochrane abordent le risque de biais à deux niveaux : au sein des études individuelles et dans la synthèse globale, en veillant à ce que ces risques soient soigneusement évalués et intégrés à l'analyse pour améliorer la fiabilité et la validité des conclusions.

(Cochrane Handbook, section 7-1)

Pourquoi prendre en compte le risque de biais dans les revues systématiques?

Prendre en compte le risque de biais dans les revues systématiques est essentiel, car les preuves empiriques montrent que certains aspects de la conception, de la méthodologie et des pratiques de rapport peuvent introduire des erreurs systématiques (biais) qui affectent la fiabilité des résultats. Bien qu’il soit souvent impossible de mesurer précisément l’ampleur du biais dans une étude donnée, évaluer le risque de biais permet de structurer l’analyse de son impact potentiel sur les conclusions.

• Risque de biais ou imprécision?
  Le biais correspond à une erreur systématique qui fausse les résultats, même après plusieurs réplications d’une étude. L’imprécision, en revanche, est liée aux variations aléatoires dans les estimations d’effet dues à la taille de l’échantillon ou au nombre d’événements.

• Risque de biais ou validité externe?
  Un biais affecte les conclusions d’une étude en déviant de la vérité. La validité externe, quant à elle, concerne la généralisation des résultats à d’autres populations ou contextes, sans nécessairement influencer l’estimation de l’effet dans la population étudiée.

Une évaluation rigoureuse du risque de biais permet de détecter et d’atténuer les effets des erreurs systématiques pour garantir des conclusions fiables. Elle est également essentielle pour différencier les biais méthodologiques des autres facteurs comme l’imprécision ou la généralisabilité.

(Cochrane Handbook, section 7-1)

Types de risques de biais

Biais dans la conception et la réalisation des études

• Randomisation et allocation : L'absence de génération de séquences aléatoires adéquates ou de dissimulation de l'allocation peut conduire à une surestimation des effets de l'intervention.
• Insu (blinding) : L'absence de double insu ou d'insu pour les évaluateurs des résultats augmente le risque de surestimation des effets, en particulier pour les résultats mesurés subjectivement (par exemple, la douleur).

Caractéristiques des essais

• Taille de l'échantillon : Les petites études sont plus susceptibles de surestimer les effets en raison de la variabilité aléatoire et de biais potentiels.
• Essais monocentriques vs multicentriques : Les essais menés dans un seul centre rapportent souvent des effets plus importants, potentiellement en raison de biais de rapport sélectif ou d'un contrôle moins rigoureux.

Biais de non-publication

• Biais de publication : Les études avec des résultats significatifs ou positifs sont plus susceptibles d’être publiées.
• Biais de délai (time-lag) : Les résultats positifs sont souvent publiés plus rapidement que les résultats non significatifs.
• Biais de langue : Les résultats positifs sont plus susceptibles d’être publiés dans des revues anglophones.
• Biais de citation : Les résultats significatifs ont tendance à être cités plus fréquemment.
• Biais de publications multiples : Les études avec des résultats significatifs sont souvent publiées sous plusieurs formats.
• Biais de localisation : Les recherches publiées dans des revues facilement accessibles ou bien indexées tendent à présenter des estimations d’effet plus petites ou plus fiables.

Publication sélective

• Sélection des résultats : Seuls les résultats favorables sont rapportés, tandis que les résultats non significatifs peuvent être omis.
• Présentation incomplète : Les résultats peuvent être rapportés de manière incomplète (par exemple, avec des déclarations vagues comme p > 0,05 sans données détaillées).

Ces biais affectent la validité des études individuelles et la fiabilité des conclusions dans les revues systématiques ou les méta-analyses. Les comprendre et les traiter est essentiel pour garantir une synthèse des connaissances robuste.

(Cochrane Handbook, section 7-2)

Pour évaluer le risque de biais, les informations peuvent être collectées à partir de :

• Articles publiés : Souvent utilisés, mais ils manquent fréquemment de détails essentiels.
• Registres d'essais : Fournissent les résultats d'études non publiées, mais contiennent généralement peu de détails méthodologiques.
• Protocoles : Offrent des informations plus détaillées sur la conception et la méthodologie des études, et sont de plus en plus accessibles en ligne.
• Rapports d'études cliniques : Des rapports très détaillés des entreprises pharmaceutiques, précieux pour l'évaluation du biais.
• Contacter les investigateurs d'études : Pour clarifier les informations manquantes ou incertaines, des questions ouvertes permettent de réduire le biais dans les réponses.

(Cochrane Handbook, section 7-3)

Voici des outils et des répertoires d'outils conçus pour l'évaluation des risques de biais. Cette liste n'est pas exhaustive, et il est important de vérifier la validité des outils utilisés pour garantir la rigueur des évaluations.

Outils pour l'évaluation du risque

• Cochrane RoB 2 (Risk of Bias 2)
  • Un outil conçu pour évaluer le risque de biais dans les essais contrôlés randomisés (ECR). Il comprend cinq domaines (biais résultant de la randomisation, déviations par rapport aux interventions prévues, données manquantes, mesure du résultat et sélection des résultats rapportés). Cet outil fournit un cadre détaillé pour évaluer les biais et aide à l'interprétation des résultats synthétisés.
• ROBINS-I (Risk of Bias in Non-randomized Studies - of Interventions) :
  • Cet outil évalue le risque de biais dans les études non randomisées sur les interventions. Il est conçu pour les études de cohorte, cas-témoins et les études d'interventions non randomisées, et est idéal pour évaluer les biais dans la conception et l'analyse des études.
• AMSTAR 2 (A Measurement Tool to Assess Systematic Reviews) :
  • Un outil permettant d’évaluer la qualité méthodologique des revues systématiques. Il comprend 16 domaines critiques qui impactent la qualité des revues, y compris la sélection des études, l'extraction des données, le risque de biais et l'évaluation de l'hétérogénéité et du biais de publication.

• GRADE (Grading of Recommendations, Assessment, Development, and Evaluations) :

  • Un système pour évaluer la qualité des données dans les revues systématiques. Il est largement utilisé pour évaluer la certitude des données et la force des recommandations, en prenant en compte le risque de biais, l'incohérence, l'indirectivité, l'imprécision et le biais de publication.

Répertoires d'outils pour l'évaluation du risque

• Quality Assessment and Risk of Bias Tool Repository
  • Une collection d'outils divers conçus pour évaluer la qualité et le risque de biais dans les études. Elle inclut plusieurs ressources pour différents types d'études et fournit des critères d'évaluation complets.
• Critical appraisal tools (Joanna Briggs Institute)
  • Des listes de vérification qui aident à évaluer la qualité des études de recherche. Elles couvrent une large gamme de types d'études, notamment les essais contrôlés randomisés, les études de cohorte, la recherche qualitative, etc.
• CASP checklists (Critical Appraisal Skills Programme)
  • Un ensemble de listes de vérification structurées qui aident les utilisateurs à évaluer de manière critique les recherches. Elles couvrent divers types d'études telles que les essais randomisés, les études de cohorte et les études qualitatives. Elles sont particulièrement utiles pour les débutants en évaluation critique.
• SIGN checklists (Healthcare Improvement Scotland)
  • Un ensemble de listes de vérification conçues pour évaluer la qualité des revues systématiques, des essais contrôlés randomisés, des études de cohorte et d'autres types d'études en recherche sur la santé.
• Resources filtered to Appraisal (National Collaborating Centre for Methods and Tools)
  • Un répertoire de ressources d'évaluation filtrées, axées sur les outils pour évaluer la qualité des preuves de recherche. Cette collection est particulièrement utile pour évaluer les études dans les processus de prise de décision fondée sur des preuves.

Lecture suggérée

Research Techniques Made Simple : Assessing Risk of Bias in Systematic Reviews

Aaron M. Drucker, Patrick Fleming et An-Wen Chan (2016). Research Techniques Made Simple : Assessing Risk of Bias in Systematic Reviews, Journal of Investigative Dermatology, vol. 136, no 11, p. 109‑114. https://doi.org/10.1016/j.jid.2016.08.021 

Voici quelques éléments clés de la synthèse, tels que présentés dans le chapitre 9 du Cochrane Handbook : 

• La synthèse est un processus consistant à rassembler les données provenant d'un ensemble d'études incluses dans le but de tirer des conclusions sur un ensemble de données. Cela inclut la synthèse des caractéristiques des études et, potentiellement, la synthèse statistique des résultats des études.
• Un cadre général de synthèse peut être utilisé pour guider le processus de planification des comparaisons, de préparation à la synthèse, de réalisation de la synthèse et d'interprétation et de description des résultats.
• La tabulation des caractéristiques des études permet d'examiner et de comparer les éléments PICO à travers les études, facilite la synthèse de ces caractéristiques et le regroupement des études pour une synthèse statistique.
• La tabulation des données extraites des études permet d'évaluer le nombre d'études contribuant à une méta-analyse particulière et aide à déterminer quelles autres méthodes de synthèse statistique pourraient être utilisées si la méta-analyse n'est pas possible.

Gabarit d'extraction de Covidence

Voici comment Covidence peut être utilisé lors de la synthèse :

• Extraction des données : Covidence permet aux réviseurs d'extraire les données pertinentes des études, y compris les caractéristiques des études (par exemple, les éléments PICO) et les résultats. Cette extraction organisée permet de comparer et de synthétiser les résultats des études.

• Tabulation et organisation : Covidence aide à organiser les données extraites sous un format structuré, ce qui facilite la création de tableaux résumant les caractéristiques clés des études. Cela est utile pour identifier des motifs et des différences entre les études,.

• Groupement des études : Les fonctionnalités de filtrage et de marquage de Covidence permettent de regrouper les études en fonction de caractéristiques spécifiques, ce qui est utile lors de la préparation à une synthèse statistique ou à une analyse par sous-groupes.

• Collaboration : Covidence permet à plusieurs utilisateurs de travailler ensemble sur l'extraction des données et la synthèse, favorisant la cohérence et la transparence du processus, ce qui est nécessaire pour une synthèse des connaissances fiable.

Le chapitre 5 du Cochrane Handbook fournit des lignes directrices sur la collecte de données.

Données qualitatives

Les données qualitatives sont explorées par des méthodes narratives, comme la synthèse thématique, afin d'identifier, regrouper et interpréter les concepts et thèmes clés émergents des études.

Logiciels disponibles à HEC : 

• NVivo
• Atlas.ti

Données quantitatives

Les données quantitatives sont analysées par des méthodes statistiques, comme la méta-analyse, pour agréger les résultats chiffrés et fournir des estimations globales des relations ou des effets identifiés.

Support et logiciels disponibles à HEC :

• Centre d'aide en mathématiques et statistique
  • Notions mathématiques, Excel, Python, MATLAB, Stata, Langage R
• Laboratoire de calcul et d'exploitation des données
  • MATLAB, SAS, Stata, SPSS, Eviews, Scientific Workplace