Publié

L’ échelle de Newcastle-Ottawa (NOS) est un outil d’évaluation par étoiles conçu pour juger la qualité méthodologique des études non randomisées dans les revues systématiques et les méta-analyses. Il existe une version pour les études de cohorte et une autre pour les études cas-témoins. Une étude obtient des étoiles dans trois domaines, pour un score maximal de neuf. Ce guide détaille les deux versions, évalue une étude de cohorte hypothétique étoile par étoile, explique comment présenter les résultats dans la section « Méthodes » et expose les données publiées concernant sa fiabilité et ses limites.

En mots simples

L'échelle de Newcastle-Ottawa attribue jusqu'à neuf étoiles à une étude de cohorte ou cas-témoins. Ces étoiles récompensent la qualité du choix des groupes (sélection), leur homogénéité (comparabilité) et la rigueur de la mesure (résultat dans les études de cohorte, exposition dans les études cas-témoins). Plus le nombre d'étoiles est élevé, moins les faiblesses méthodologiques sont visibles. L'échelle ne précise pas l'ampleur de l'effet et ses propres documents ne définissent aucun seuil pour qualifier une étude de « bonne » ou de « mauvaise ».

Que mesure l'échelle de Newcastle-Ottawa et qui l'a construite ?

L’Institut de recherche de l’Hôpital d’Ottawa décrit l’échelle de Newcastle-Ottawa comme un outil d’évaluation de la qualité des études non randomisées, telles que les études cas-témoins et de cohortes, utilisées dans les revues systématiques et les méta-analyses. Cette échelle est le fruit d’une collaboration entre les universités de Newcastle (Australie) et d’Ottawa (Canada). L’Institut cite comme source l’article de Wells GA, Shea B, O’Connell D, Peterson J, Welch V, Losos M et Tugwell P, intitulé « The Newcastle-Ottawa Scale (NOS) for assessing the quality of nonrandomized studies in meta-analyses », et propose en téléchargement le manuel de codage et les grilles d’évaluation.

L'échelle utilise un système d'étoiles. Chaque étude est évaluée selon trois critères : la sélection des groupes d'étude, leur comparabilité et la détermination de l'exposition ou du résultat d'intérêt. La même page indique que la validité de contenu et la fidélité inter-juges ont été établies, tandis que la validité critérielle, la fidélité intra-juge et la validité de construit sont encore en cours d'évaluation. Cette dernière précision est importante pour la pondération du score total d'étoiles, et elle est reprise dans les sections suivantes.

Deux points essentiels sont à retenir. Premièrement, l'échelle de Newcastle-Ottawa (NOS) évalue une étude dans son ensemble, et non un résultat isolé. Deuxièmement, elle a été conçue pour les études observationnelles où les participants ne sont pas randomisés. Si votre revue inclut des essais randomisés, vous aurez besoin d'un autre outil ; notre guide des outils d'évaluation de la qualité des revues systématiques compare les options selon le type d'étude.

Structure de l'échelle de Newcastle-Ottawa : Trois domaines, neuf étoiles

Les deux versions partagent la même architecture. Selon les grilles d'évaluation, une étude peut obtenir jusqu'à une étoile pour chaque critère numéroté dans la catégorie « Sélection » et dans la catégorie « Résultat » (version de cohorte) ou « Exposition » (version cas-témoins). La comparabilité peut obtenir jusqu'à deux étoiles. Quatre critères de sélection, un critère de comparabilité valant jusqu'à deux étoiles et trois critères de résultat ou d'exposition permettent d'obtenir un total de neuf étoiles pour chaque version.

Échelle de Newcastle-Ottawa : budget à neuf étoiles prenant en compte la sélection, la comparabilité et le résultat ou l’exposition
Figure 1. Échelle de Newcastle-Ottawa : nombre maximal d’étoiles par domaine. Les segments bleu marine indiquent la sélection (4 étoiles), les segments verts la comparabilité (2 étoiles) et les segments orange le résultat dans la version cohorte ou l’exposition dans la version cas-témoins (3 étoiles). Les deux versions totalisent neuf étoiles. Source : Fiches d’évaluation NOS, Institut de recherche de l’Hôpital d’Ottawa. Préparé par Editverse.

La différence entre les deux versions réside dans le troisième domaine. Une étude de cohorte est évaluée selon la manière dont le résultat a été mesuré et suivi, car l'exposition est connue dès le départ. Une étude cas-témoins est évaluée selon la manière dont l'exposition a été déterminée, car le résultat est connu dès le départ. Si vous n'êtes pas certain du type d'étude utilisé dans un article, notre explication des études de cohorte et cas-témoins et de leurs mesures d'effet vous permettra de les distinguer.

Version Cohorte Article par article

Le tableau ci-dessous reprend la grille d'évaluation de la cohorte. La colonne « étoile » indique les réponses marquées d'une étoile, et la colonne « pas d'étoile » indique les autres.

DomaineProduitMérite une étoileAucune étoile
Sélection1. Représentativité de la cohorte exposéeVraiment représentatif de la personne exposée moyenne dans la communauté, ou quelque peu représentatifGroupe d'utilisateurs sélectionnés (par exemple, infirmières ou bénévoles) ; aucune description de la méthode de constitution de la cohorte.
Sélection2. Sélection de la cohorte non exposéeIssu de la même communauté que la cohorte exposéeTiré d'une autre source ; aucune description
Sélection3. Détermination de l'expositionDossier sécurisé (par exemple, dossier chirurgical) ou entretien structuréAuto-évaluation écrite ; aucune description
Sélection4. Le résultat d'intérêt n'était pas présent au début.Oui, démontréNon
Comparabilité1. Comparabilité des cohortes par conception ou analyseJusqu'à 2 étoiles. Une pour le contrôle du facteur le plus important, une pour tout facteur supplémentaire.Aucun contrôle pour l'un ou l'autre
Résultat1. Évaluation des résultatsÉvaluation indépendante à l'aveugle ou appariement de donnéesAuto-déclaration ; aucune description
Résultat2. Un suivi suffisamment long pour que les résultats se manifestent.Oui, en utilisant une période de suivi adéquate choisie en fonction du résultat.Non
Résultat3. Adéquation du suiviSuivi complet, ou pertes peu susceptibles d'introduire un biais (petit nombre de pertes supérieur à un pourcentage choisi, ou description des pertes).Taux de suivi inférieur au pourcentage choisi, sans description des personnes perdues de vue ; aucune déclaration.

Version cas-témoins, article par article

La fiche cas-témoins conserve la même structure de sélection et de comparabilité, mais remplace le bloc relatif aux résultats par trois variables d'exposition. Elle demande également si les cas et les témoins ont été traités de la même manière, question qui n'a pas d'équivalent pour les cohortes.

DomaineProduitMérite une étoileAucune étoile
Sélection1. La définition de cas est-elle adéquate ?Oui, avec validation indépendanteAppariement de données ou auto-déclaration uniquement ; aucune description
Sélection2. Représentativité des casSérie de cas consécutifs ou manifestement représentatifsRisque de biais de sélection, ou non précisé
Sélection3. Sélection des commandesContrôles communautairesContrôles hospitaliers ; aucune description
Sélection4. Définition des contrôlesAucun antécédent de maladie (critère d'évaluation)Aucune description de la source
Comparabilité1. Comparabilité des cas et des témoins par conception ou analyseJusqu'à 2 étoiles. Une pour le facteur le plus important, une pour tout facteur supplémentaire.Aucun contrôle pour l'un ou l'autre
Exposition1. Détermination de l'expositionDossier sécurisé ou entretien structuré à l'aveugle sur le statut cas/témoinEntretien non réalisé en aveugle ; auto-évaluation écrite ou dossier médical uniquement ; aucune description
Exposition2. Même méthode de détermination pour les cas et les témoinsOuiNon
Exposition3. Taux de non-réponseMême taux pour les deux groupesLes non-répondants sont décrits ; le taux est différent et aucune désignation n'est fournie.

Règles du manuel de codage qui modifient votre score

Les grilles d'évaluation sont succinctes, et la plupart des désaccords concernant la notation proviennent du manuel de codage, qui contient les règles non mentionnées dans ces grilles. Plusieurs d'entre elles méritent d'être intégrées à votre protocole d'évaluation avant même que quiconque n'ouvre un article.

  • La comparabilité nécessite une méthodologie ou une analyse, et non une valeur p. Le manuel précise que les groupes doivent être appariés lors de la conception de l'étude ou que les facteurs de confusion doivent être pris en compte dans l'analyse. Il indique également que l'absence de différences entre les groupes, ou la non-significativité statistique des différences, est insuffisante. Si le risque relatif (ou le rapport de cotes dans les études cas-témoins) est ajusté en fonction des facteurs de confusion mentionnés, les groupes sont considérés comme comparables pour chaque variable utilisée dans l'ajustement.
  • Vous choisissez le « facteur le plus important ». La feuille de calcul prévoit un espace vide à cet effet, et la seconde étoile de comparabilité peut être associée à un second facteur spécifique. Fixez les deux éléments dans le protocole afin que chaque évaluateur utilise la même liste.
  • La durée du suivi est fixée avant l'évaluation. Le manuel précise qu'une durée acceptable doit être définie avant le début de l'évaluation de la qualité et cite cinq ans pour l'exposition aux implants mammaires à titre d'exemple. Le même raisonnement s'applique au pourcentage de rétention dans le cadre de l'évaluation de la qualité du suivi.
  • Les données probantes relatives aux résultats dépendent du résultat. En cas de fracture de la hanche, la consultation du dossier médical suffit à confirmer l'événement, mais en cas de fracture vertébrale, il est nécessaire de se référer aux radiographies.
  • Les études de mortalité exigent toujours l’absence de maladie préexistante. En ce qui concerne les décès, le résultat pertinent reste la présence de la maladie ou de l'incident ; par conséquent, une déclaration d'absence d'antécédents de la maladie est particulièrement importante.
  • La définition du contrôle dépend de la définition du cas. Si les cas sont des événements inédits, l'article doit préciser que les témoins n'ont aucun antécédent de cet événement. Si les cas sont nouveaux mais pas nécessairement des événements inédits, les témoins ayant déjà présenté cet événement ne doivent pas être exclus.
  • La définition de cas exige une validation indépendante. Le manuel donne des exemples tels que plusieurs personnes, enregistrements, périodes ou processus d'extraction des informations, ou une référence à une source d'information primaire telle que des radiographies ou des dossiers hospitaliers.

Évaluation d'une étude de cohorte avec l'échelle de Newcastle-Ottawa, étoile par étoile

L'exemple ci-dessous est hypothétique et a été créé par Editverse pour illustrer le fonctionnement. Imaginons une cohorte publiée comparant des employés d'hôpital travaillant de nuit à leurs collègues de jour, suivis pour détecter l'incidence du diabète de type 2. Notre protocole d'étude, rédigé avant la sélection des participants, a fixé trois paramètres. L'âge est le facteur de comparabilité le plus important, l'indice de masse corporelle est un facteur secondaire, et un suivi d'au moins cinq ans avec un taux de rétention d'au moins 90 % est considéré comme adéquat.

ProduitCe que rapporte l'article (hypothétique)NoteÉtoiles
Sélection 1. Représentativité de la cohorte exposéePersonnel de nuit de six hôpitaux d'une même région, et non des bénévolesAssez représentatif1
Sélection 2. Cohorte non exposéePersonnel de jour des mêmes hôpitauxMême communauté1
Sélection 3. Détermination de l'expositionModèle de roulement tiré des listes de paieDossier sécurisé1
Sélection 4. Résultat absent au débutAucun dépistage initial ni antécédent de diabète n'ont été rapportés.Non démontré0
ComparabilitéRapport de risque ajusté en fonction de l'âge et de l'indice de masse corporelleFacteur le plus important plus facteur supplémentaire2
Résultat 1. ÉvaluationDiabète identifié par le biais du lien avec un registre nationalCouplage d'enregistrements1
Résultat 2. Suivi suffisamment longDurée médiane de suivi : 7.2 ans, contre une durée de 5 ans prévue par le protocole.Oui1
Résultat 3. Adéquation du suivi82 % ont été retenus, et ceux qui ont quitté l'entreprise ne sont pas décrits.Moins de 90% sans description0
Total7 de 9
Exemple d'application de l'échelle de Newcastle-Ottawa : notation d'une étude de cohorte hypothétique (7 étoiles sur 9).
Figure 2. Évaluation de l'étude de cohorte hypothétique selon l'échelle de Newcastle-Ottawa. La barre pleine représente le nombre d'étoiles obtenues et le contour indique le maximum possible. La sélection a obtenu 3 étoiles sur 4, la comparabilité 2 sur 2 et les résultats 2 sur 3, soit un total de 7 sur 9. Exemple hypothétique préparé par Editverse.

Le score total de 7 masque deux lacunes importantes. L'article n'indique pas si les participants étaient exempts de diabète au début de l'étude et ne décrit pas les 18 % qui l'ont abandonnée. Un compte rendu détaillé permet au lecteur de repérer précisément les faiblesses des données, ce qu'un simple « 7/9 » ne fait pas.

Voyez maintenant à quel point une catégorie peut être fragile. Le tableau applique la conversion de l'Agence pour la recherche et la qualité des soins de santé (AHRQ), décrite dans la section suivante, à trois cas plausibles de désaccord entre évaluateurs portant sur un seul élément.

ScénarioSélectionComparabilitéRésultatTotalCatégorie dans le cadre de la conversion de l'AHRQ
Évaluateur A tel que noté ci-dessus3227Bon
L’évaluateur B considère le groupe de nuit comme un « groupe sélectionné » (pas d’étoile sur la sélection 1).2226Moyen
L'évaluateur C constate que le registre manque de validation et refuse d'attribuer la note 1 étoile.3216Médiocre

Une seule étoile a fait basculer une étude de « Bon » à « Passable » ou à « Mauvais ». Il s'agit d'un calcul basé sur une convention établie, et non d'une observation empirique, mais cela explique pourquoi le recours à deux évaluateurs indépendants et à une règle de désaccord écrite est justifié. Hartling et ses collègues ont mesuré la fréquence réelle des divergences entre les évaluateurs ; leurs résultats figurent dans la section « Limites » ci-dessous.

Transformer les étoiles en bonnes, moyennes ou mauvaises est une convention

Le manuel et les grilles d'évaluation d'Ottawa ne comportent pas de note de passage. Ils indiquent comment attribuer des étoiles, sans plus. Les libellés figurant dans les revues publiées résultent de conversions effectuées par les auteurs eux-mêmes. L'une de ces conversions, associée à l'échelle NOS, est décrite comme une conversion aux normes de l'Agence pour la recherche et la qualité des soins de santé (AHRQ). Esmailian et al. (2026, PMID 42006405) l'utilisent ainsi, et Heera et Babu (2025, PMID 40756036) appliquent les mêmes seuils.

ConventionRègleOù il apparaît
Conversion AHRQ, « Bon »3 ou 4 étoiles pour la sélection ET 1 ou 2 étoiles pour la comparabilité ET 2 ou 3 étoiles pour les résultats/l'expositionEsmailian et coll. 2026 ; Heera et Babu 2025
Conversion AHRQ, « Équitable »2 étoiles pour la sélection ET 1 ou 2 étoiles pour la comparabilité ET 2 ou 3 étoiles pour les résultats/l'expositionMêmes avis
Conversion AHRQ, « Mauvais »0 ou 1 étoile pour la sélection OU 0 étoile pour la comparabilité OU 0 ou 1 étoile pour les résultats/l'expositionMêmes avis
NOS-xs (adaptation transversale)0 à 3 étoiles : risque de biais élevé ; 4 à 6 : risque modéré ; 7 à 9 : risque faibleCarra et al. 2026, pour l'outil adapté par les auteurs

Notez la structure de la règle AHRQ. Elle examine chaque domaine individuellement, et non le total général ; ainsi, une étude notée 7 étoiles peut être jugée de qualité médiocre si l’un des domaines présente des résultats décevants. Les seuils NOS-xs, en revanche, s’appliquent au total et relèvent d’un outil adapté et non du NOS original. Puisqu’aucun de ces seuils ne fait partie de l’échelle, indiquez celui que vous utilisez dans le protocole et citez l’auteur qui l’a défini.

Un exemple concret d'utilisation de l'échelle de Newcastle-Ottawa dans une étude de cohorte publiée

L'étude hypothétique présentée ci-dessus illustre le fonctionnement. Un article publié montre comment ces huit décisions se présentent lorsque les données probantes sont intégrées au texte et aux tableaux de la section Méthodes. Cette section évalue une étude de cohorte en libre accès à l'aide de la grille d'évaluation, critère par critère, et indique la partie de l'article où se trouve chaque réponse. Il s'agit d'un exemple d'évaluation d'Editverse à des fins pédagogiques, et non d'un jugement sur les auteurs ou la qualité de leur travail.

L'étude a obtenu un score dans cet exemple

Citation. Jørgensen H, Horváth-Puhó E, Laugesen K, Brækkan S, Hansen JB, Sørensen HT. Risque d'une pension d'invalidité permanente liée au travail après un accident thromboembolique veineux au Danemark : une étude de cohorte basée sur la population. PLoS Med . 2021;18(8):e1003770. est ce que je:10.1371/journal.pmed.1003770 . PMID 34464405 . PMCID PMC8443033.

Licence Creative Commons Attribution 4.0 ( CC BY 4.0 ), confirmée dans la version de référence des métadonnées Crossref et sur les pages de l’éditeur et de l’article dans PubMed Central. De courtes citations et une figure sont réutilisées ci-dessous sous cette licence, avec mention de la source.

Pourquoi cet article ? Il s’agit d’une cohorte nationale danoise de 43 769 personnes ayant présenté un épisode de thromboembolie veineuse (TEV) et de 218 845 personnes appariées issues de la population générale, constituée à partir de registres nationaux interconnectés. L’article précise que les données sont publiées conformément à la déclaration STROBE. Le protocole, qui consiste à comparer un groupe exposé à des personnes appariées issues de la population générale et à les suivre grâce aux registres, est un protocole qu’un auteur de revue systématique peut rencontrer pour toute question relative à une maladie ou à une exposition. Le texte intégral étant accessible, chaque ligne du tableau peut être vérifiée à partir de la source.

Étiquette. Exemple de notation Editverse à des fins pédagogiques, et non un jugement sur les auteurs. D'autres évaluateurs utilisant la même grille peuvent avoir des avis différents sur les lignes marquées comme relevant de l'appréciation.

La question de révision et les paramètres du protocole ont été supposés

La comparabilité selon l'échelle NOS dépend de la question de recherche ; celle-ci doit donc être définie avant tout calcul d'étoiles. Prenons l'exemple d'une revue qui cherche à déterminer si, chez les adultes en âge de travailler, un épisode de MTEV diagnostiqué à l'hôpital est associé à une perte de capacité de travail permanente ultérieure, mesurée par le versement d'une pension d'invalidité. Le protocole de cette revue définit l'âge comme le principal facteur de comparabilité, les comorbidités et le statut socio-économique comme facteurs secondaires, et considère qu'un suivi médian d'au moins trois ans est adéquat. Ces trois paramètres sont renseignés avant la sélection des patients, conformément aux règles du manuel de codage.

Évaluation étoile par étoile par rapport à la grille d'évaluation de la cohorte

Les lettres d’option dans la colonne « Justification » suivent la grille d’évaluation des cohortes de l’Institut de recherche de l’Hôpital d’Ottawa, et la justification applique le manuel de codage. Les références aux sections et aux tableaux renvoient à l’article en libre accès.

Article NOSCe que rapporte l'article (où le trouver)ÉtoilesRaisonnement tiré de la fiche et du manuel
Sélection 1. Représentativité de la cohorte exposéeTous les patients hospitalisés et ambulatoires âgés de 25 à 66 ans présentant un diagnostic principal ou secondaire de thrombose veineuse profonde ou d’embolie pulmonaire, enregistrés dans le Registre national danois des patients, de 1995 à 2016 (n = 43 769). Les diagnostics posés uniquement aux urgences ont été exclus. Méthodes : « Cohorte MTEV » ; Résultats.1L’option (a) « véritablement représentative » ou l’option (b) « relativement représentative » méritent toutes deux l’étoile. La collecte des données est effectuée à l’échelle nationale grâce à un système financé par les impôts, sans restriction quant au volontariat, à l’adhésion ou à l’employeur. Le manuel porte sur les personnes exposées, ici les patients atteints de MTEV, et non sur la population générale.
Sélection 2. Sélection de la cohorte non exposéeJusqu'à 5 personnes par patient atteint de MTEV ont été sélectionnées à partir du Registre national des naissances et appariées selon le sexe, l'année de naissance et l'année civile (n = 218 845). Selon les auteurs, « jusqu'à 5 individus issus de la population générale ont été appariés aléatoirement selon le sexe, l'année de naissance et l'année civile ». Méthodes : « Cohorte de comparaison issue de la population générale ».1L’option (a) provient de la même communauté que la cohorte exposée. Les deux groupes sont issus d’une même population nationale et d’un même registre.
Sélection 3. Détermination de l'expositionLes cas de MTEV ont été identifiés à partir des diagnostics hospitaliers codés selon la CIM-10 dans le registre. La discussion mentionne une étude de validation avec des valeurs prédictives positives de 86 % pour la thrombose veineuse profonde et de 90 % pour l’embolie pulmonaire. Méthodes : « Cohorte MTEV » ; Discussion.1Option (a), dossier sécurisé. Les données proviennent des dossiers hospitaliers et non des souvenirs des participants. Le champ « Recherche » de la fiche de cohorte ne prévoit aucune option de couplage de données ; par conséquent, un registre hospitalier validé est utilisé comme dossier sécurisé.
Sélection 4. Résultat non présent au débutLes auteurs ont exclu les personnes percevant déjà une pension d’invalidité liée au travail, ainsi que celles qui en avaient perçu une au cours de l’année civile précédente ou de la même année que la date d’index. Cette même règle s’appliquait aux membres du groupe témoin. Méthodes : « Cohorte VTE » et « Résultat ».1Option (a), oui. Le manuel indique qu'une déclaration d'absence d'antécédents concernant ce résultat justifie l'étoile, et ici, cette absence est intégrée à la définition de la cohorte pour les deux groupes.
Comparabilité. Cohortes comparables par conception ou analyseLes données ont été appariées selon le sexe, l'année de naissance et l'année civile, avec des modèles de Cox stratifiés par groupe d'âge et par sexe. Le modèle 3 intègre un indice socio-économique, l'obésité, le cancer, les maladies coronariennes, le diabète, les accidents vasculaires cérébraux, la BPCO, les maladies rénales, une intervention chirurgicale récente et le score de Charlson. Le rapport de risque est de 3.0 (IC à 95 % : 2.8 à 3.1) dans le modèle 1 et de 2.3 (IC à 95 % : 2.2 à 2.4) dans le modèle 3. Voir la section « Analyse statistique », tableau 2.2Le manuel autorise l'appariement lors de la conception et l'ajustement lors de l'analyse, et considère les groupes comme comparables pour chaque variable utilisée dans un ratio ajusté. L'âge est le facteur le plus important du protocole et obtient l'étoile « facteur principal » grâce à l'appariement et à la stratification, tandis que la comorbidité et le statut socio-économique sont des facteurs additionnels et obtiennent l'étoile « facteur additionnel ». Décision Les étoiles suivent les facteurs nommés par votre protocole, et non les facteurs que l'article prend en compte.
Résultat 1. Évaluation des résultatsPerception d’une pension d’invalidité permanente liée au travail, extraite de la base de données intégrée pour la recherche sur le marché du travail de Statistics Denmark, vérifiée annuellement. Méthodes : « Résultat ».1Option (b), appariement des données. La feuille attribue une étoile pour l'évaluation indépendante à l'aveugle ou pour l'appariement des données, et un extrait de registre administratif constitue un appariement des données sans auto-déclaration.
Résultat 2. Un suivi suffisamment long pour que les résultats se manifestent.13 652 pensions (5.2 %) ont été versées au cours d’un suivi médian global de 4.9 ans, ce suivi s’étant poursuivi jusqu’à fin 2016. L’incidence cumulative est représentée graphiquement sur une période allant jusqu’à 15 ans ; les taux à 5 ans sont de 11.8 % (45 à 54 ans) et de 9.2 % (35 à 44 ans). Résultats : voir figure 1 des auteurs, reproduite ci-dessous en figure 3.1L’option (a) est correcte, contrairement à la règle des trois ans fixée par le protocole. Les auteurs expliquent que la pension est rarement versée directement après la période d’activité professionnelle, car la plupart des personnes passent par des arrêts maladie et des mesures d’incapacité de travail avant de percevoir une pension ; c’est pourquoi une durée minimale a été fixée. Décision Un protocole fixant la durée médiane minimale à 5 ans donnerait une durée légèrement inférieure, à 4.9 ans. C'est pourquoi le manuel recommande de définir cette durée avant le début de l'évaluation.
Résultat 3. Adéquation du suiviChaque résident est suivi grâce à un identifiant personnel, ce qui, selon les auteurs, permet une censure précise en cas d'émigration ou de décès. Les données des participants sont censurées en cas d'émigration, de décès, à l'âge de 66 ans ou à la fin de l'année 2016. L'ensemble des 43 769 participants exposés et des 218 845 participants du groupe témoin sont inclus dans l'analyse. Voir la section « Méthodes », sous-sections « Conception et cadre » et « Analyse statistique », tableau 2.1Option (a) : suivi complet de tous les sujets. L’article ne mentionne aucun nombre de personnes perdues de vue, car le système d’enregistrement suit les résidents par nature. Décision Un évaluateur qui souhaite un chiffre de perte explicite dans le texte pourrait choisir l'option (b) à la place, qui obtient la même étoile.
TotalSélection 4 sur 4, Comparabilité 2 sur 2, Résultat 3 sur 3.9 de 9Avec ces paramètres de protocole, aucun élément de la feuille n'est laissé sans étoile.

Trois lignes comportent une mention d'appréciation, car l'évaluation dépend d'un paramètre choisi par l'équipe d'évaluation et non du seul document. La comparabilité dépend des facteurs mentionnés dans le protocole. La ligne relative au suivi dépend de la longueur minimale, et celle relative à l'adéquation dépend de la manière dont un évaluateur traite un registre recensant chaque résident. Les quatre autres lignes découlent directement du libellé du document, bien que la sélection 3 repose sur le traitement d'un registre hospitalier validé comme un dossier sécurisé.

Exemple de cohorte selon l'échelle de Newcastle-Ottawa : risque cumulatif de pension d'invalidité après une thromboembolie veineuse par groupe d'âge
Figure 3. Incidence cumulée d'une pension d'invalidité liée au travail chez les personnes avec (VTE+, traits pleins) et sans (VTE-, traits pointillés) thromboembolie veineuse, par groupe d'âge, le décès étant considéré comme un événement concurrent. Un évaluateur examinant le critère de jugement 2 recherche ce type d'élément : une courbe de risque qui s'accroît au fil des années d'observation. Reproduit de Jørgensen et al. PLoS Med 2021;18(8):e1003770, est ce que je:10.1371/journal.pmed.1003770. Sous licence CC BY 4.0Le format de l'image a été modifié en WebP, le contenu est inchangé.

L'étiquette « Bon, Passable ou Mauvais » est une convention distincte.

Les documents d'Ottawa ne prévoient pas de note minimale requise ; l'indication ci-dessous correspond donc à une étape supplémentaire que l'équipe d'évaluation choisit d'ajouter. La conversion AHRQ décrite précédemment , telle qu'appliquée par Esmailian et al. (2026) et Heera et Babu (2025), vérifie chaque domaine et non le score global. Les critères de sélection (4), de comparabilité (2) et de résultat (3) satisfont aux exigences de « bon » (3 ou 4 étoiles, 1 ou 2 étoiles et 2 ou 3 étoiles respectivement). La deuxième ligne du tableau illustre la notation qu'un évaluateur plus exigeant attribuerait au même document.

ScénarioSélectionComparabilitéRésultatTotalCatégorie dans le cadre de la conversion de l'AHRQ
Noté comme ci-dessus4239Bon
Évaluateur plus strict dont le protocole désigne la demande physique professionnelle comme le facteur le plus important (aucune donnée d'enregistrement à ce sujet, donc une étoile de comparabilité) et exige un suivi médian de 5 ans (pas de résultat 2 étoiles)4127Bon

Dans le second scénario, deux étoiles ont disparu sans que la catégorie ne change. Dans l'exemple hypothétique du travail de nuit présenté plus haut, une seule étoile a entraîné le changement de catégorie d'une étude. Le schéma observé dépend de l'endroit où les étoiles disparaissent ; c'est pourquoi il est important de présenter les étoiles par élément et non pas seulement le total.

Ce qu'un 9 sur 9 vous dit et ne vous dit pas

Un score total de 9 signifie que la fiche n'a décelé aucune faiblesse de conception apparente dans les éléments évalués. Cela ne signifie pas pour autant que l'estimation est exempte de biais. Les auteurs indiquent qu'« un biais résiduel dû à des facteurs non mesurés ne peut être totalement exclu » (Discussion) et citent les comportements individuels en matière de santé et les facteurs liés au lieu de travail comme des informations manquantes dans les registres. La fiche ne comporte aucun élément permettant de prendre en compte cette information ; par conséquent, un examinateur souhaitant l'intégrer à la synthèse doit la consigner séparément, par exemple dans une analyse de sensibilité par domaine.

L'article décrit sa conception selon les recommandations STROBE, ce qui explique pourquoi chaque ligne ci-dessus trouve sa réponse dans le texte, sans qu'il soit nécessaire de contacter les auteurs. Notre tutoriel sur les recommandations STROBE pour les études observationnelles détaille les informations qu'une étude de cohorte doit inclure. Dans un tableau d'évaluation supplémentaire, cette étude serait présentée sur une seule ligne, avec les scores suivants : Sélection 4, Comparabilité 2, Critère d'évaluation 3 et un total de 9, correspondant aux trois paramètres de protocole ayant permis d'obtenir ces scores.

Comment présenter les résultats de l'échelle de Newcastle-Ottawa dans une revue systématique

Un lecteur devrait pouvoir reproduire votre évaluation. Un rapport efficace comporte cinq parties.

  • Version et source. Indiquez la version de cohorte ou cas-témoins, citez Wells et al. avec la page de l'Institut de recherche de l'Hôpital d'Ottawa et précisez si vous avez utilisé la feuille sans modification.
  • Paramètres du protocole. Indiquez les facteurs de comparabilité « les plus importants » et « supplémentaires », la durée minimale du suivi et le seuil de rétention, chacun étant fixé avant la sélection.
  • Évaluateurs et gestion des désaccords. Indiquez le nombre d'évaluateurs, s'ils ont travaillé indépendamment et comment les conflits ont été résolus. Les études de fiabilité publiées ont utilisé deux examinateurs (Hartling) et six évaluateurs (Kalaycioglu) ; par conséquent, deux évaluateurs indépendants avec une règle de départage clairement définie constituent un minimum acceptable.
  • Tableau au niveau de l'article. Afficher des étoiles par élément pour chaque étude incluse, dans le texte principal ou un supplément, plutôt que seulement des totaux.
  • Utilisation des scores. Indiquez si vous décrivez, regroupez par sous-groupes ou effectuez des analyses de sensibilité par qualité, et précisez tout seuil de catégorie avec sa source.

Voici un exemple de phrase méthodologique que vous pouvez adapter : « Deux évaluateurs ont examiné indépendamment chaque étude de cohorte à l’aide de l’échelle de Newcastle-Ottawa (version cohorte ; Wells et al., Institut de recherche de l’Hôpital d’Ottawa), attribuant jusqu’à neuf étoiles pour la sélection, la comparabilité et les résultats. L’âge était prédéfini comme le facteur de comparabilité le plus important et l’indice de masse corporelle comme facteur secondaire ; un suivi d’au moins cinq ans et un taux de rétention d’au moins 90 % étaient prédéfinis comme adéquats. Les désaccords ont été résolus par discussion avec un troisième évaluateur. Les études ont été classées comme bonnes, moyennes ou faibles selon les seuils de conversion de l’AHRQ. »

Lorsqu'un article ne mentionne pas un point, vous pouvez contacter les auteurs. Lo et ses collègues ont comparé les évaluations des relecteurs avec celles fournies par les auteurs eux-mêmes et ont conclu qu'il est nécessaire de contacter les auteurs pour obtenir des informations non publiées dans les études. En l'absence de réponse, indiquez que le point n'a pas été rapporté, et non que l'étude présente un échec. Il est plus facile de rapporter cette même évaluation dans un manuscrit lorsque l'article sous-jacent respecte également les recommandations de publication, sujet de notre tutoriel sur les directives STROBE pour les études observationnelles.

Limites connues de l'échelle de Newcastle-Ottawa dans la littérature

Cette échelle est largement utilisée et a également fait l'objet d'analyses critiques. Les points ci-dessous reprennent les résultats des études publiées, avec leurs valeurs numériques.

Définitions arbitraires des articles et critique mal citée

Stang (2010, European Journal of Epidemiology , volume 25, pages 603-605) a publié une évaluation critique de l'échelle de Newcastle-Ottawa (NOS). Une analyse ultérieure de Stang, Jonas et Poole (2018) décrit ce commentaire comme critiquant l'échelle pour ses définitions arbitraires des critères de qualité. Ils ont examiné un échantillon aléatoire de 100 articles le citant, dont 96 étaient des revues systématiques. Aucun ne citait directement le commentaire, et 98 % des 96 citations indirectes (à l'exception de deux) le présentaient comme un soutien à l'utilisation de la NOS, alors que c'était le contraire. Le commentaire avait été cité 2 1,250 fois jusqu'en décembre 2016. La leçon pratique à retenir est de lire la critique avant de la citer, et de la citer correctement.

Fiabilité inter-évaluateurs

Hartling et ses collègues ont fait appliquer l'échelle de Newcastle-Ottawa (NOS) à 131 études de cohorte issues de huit méta-analyses par deux évaluateurs. Le degré de concordance variait de substantiel pour la durée du suivi (kappa = 0.68) à faible pour la sélection de la cohorte non exposée (kappa = -0.03) et pour la démonstration de l'absence de l'événement au début du suivi (kappa = -0.06). La fiabilité globale du score était acceptable (kappa = 0.29, intervalle de confiance à 95 % : 0.10 à 0.47). Les évaluateurs ont jugé l'outil difficile à utiliser et les règles de décision imprécises. L'étude n'a par ailleurs mis en évidence aucune association entre les items individuels ou le score global et les estimations de l'effet. Il est à noter que les deux items les moins pertinents sont les items 2 et 4 du bloc de sélection de la cohorte utilisé dans l'exemple présenté ci-dessus.

Dépendance vis-à-vis des choix de publication des auteurs

Lo, Mertz et Loeb ont comparé les scores NOS attribués par les relecteurs d'une revue systématique publiée avec ceux attribués par les auteurs des mêmes études de cohorte. Les auteurs de 65 des 182 études (36 %) ont répondu. Le score global médian était de 6 (intervalle interquartile : 6 à 6) pour les relecteurs et de 5 (intervalle interquartile : 4 à 6) pour les auteurs, soit une différence significative (p < 0.001). Le degré de concordance sur le score global était faible (kappa = -0.004). La concordance au niveau des items variait de faible (kappa = 0.15) à faible (kappa = -0.06).

Les résultats ne sont pas uniformément mauvais

Kalaycioglu et ses collègues ont fait évaluer 30 études d'exposition par six évaluateurs à l'aide de trois outils différents, les classant selon un risque de biais faible, intermédiaire ou élevé. Tous les outils, y compris l'échelle de Newcastle-Ottawa (NOS), ont démontré une fiabilité inter-évaluateurs substantielle (coefficient de corrélation intraclasse de 0.61 à 0.80), tandis que la liste de contrôle SIGN50 a atteint un accord quasi parfait. Les auteurs soulignent que des outils comportant moins de critères et des critères plus simples pourraient fournir des évaluations plus fiables. Au vu des études mentionnées précédemment, il apparaît clairement que la fiabilité dépend de la méthodologie d'évaluation, de la formation des évaluateurs et de la façon dont les scores sont regroupés en catégories.

Domaine

L’échelle de Newcastle-Ottawa (NOS) a été conçue pour les études de cohorte et cas-témoins. Carra et ses collègues ont proposé une adaptation pour les études transversales (NOS-xs, avec une variante à quatre étoiles pour les études de prévalence), ce qui témoigne à la fois du besoin d’un outil plus étendu et du fait que l’échelle originale ne couvre pas ce type d’étude. Pour les études d’interventions non randomisées, le chapitre 25 du Manuel Cochrane (version 6.5, 2024) décrit l’outil ROBINS-I pour évaluer le risque de biais et le présente comme un cadre d’analyse d’un résultat unique.

NOS vs ROBINS-I vs JBI : Tableau de décision

Le choix d'un outil dépend principalement des objectifs de votre revue et de la méthodologie employée par les études incluses. Les lignes descriptives ci-dessous proviennent des sources mentionnées dans la dernière colonne. La ligne « Quand choisir ? » correspond à la règle de décision d'Editverse, proposée à titre indicatif et non comme norme établie.

FonctionnalitéÉchelle de Newcastle-OttawaROBINS-IListes de contrôle d'évaluation critique JBI
Types d'entreprisesÉtudes non randomisées, avec versions de cohorte et cas-témoinsRisque de biais dans les estimations de l'efficacité comparative (bénéfice ou risque) des interventions, à partir d'études non randomiséesUne liste de contrôle par type d'étude, y compris les études de cohorte, cas-témoins, transversales analytiques, de prévalence et quasi-expérimentales.
SortieÉtoiles, jusqu'à 9 par étudeÉvaluation du risque de biais pour un résultat uniqueRéponses à la liste de contrôle élément par élément pour chaque étude
MatériauWells et al., Institut de recherche de l'Hôpital d'OttawaSterne et al., BMJ 2016 ; chapitre 25 du Manuel Cochranepage des outils d'évaluation critique de JBI
Choisissez-le quandVotre protocole ou revue cible mentionne le NOS, et la question porte sur une exposition dans des études de cohorte ou cas-témoins.La question porte sur l'effet d'une intervention et les études incluses sont des comparaisons non randomisées.L'analyse mélange plusieurs modèles et vous souhaitez une seule liste de contrôle pour les englober, ou incluant des études de prévalence
Votre question de révisionConception des études inclusesOutil à considérer en premier
Effet d'une interventionComparaison non randomiséeROBINS-I
Effet d'une exposition environnementale, professionnelle ou comportementaleÉtudes de suivi non randomiséesROBINS-E (Higgins et al. 2024), ou la version de cohorte NOS si votre protocole la nomme ainsi.
association à un facteur de risque ou à une expositionCas-témoinsversion cas-témoins NOS, ou liste de contrôle cas-témoins JBI
Association issue d'une seule enquêtesection transversale analytiqueListe de contrôle transversale analytique JBI, ou adaptation NOS-xs
PrévalenceEtudes de prévalenceListe de contrôle de prévalence JBI, ou NOS-xs2

Si la revue ou le comité d'experts mentionne un outil, utilisez celui-ci et justifiez tout ajout. Notre guide d'outils ROBINS-I décrit en détail l'alternative basée sur le domaine.

Questions fréquemment posées

Combien d'étoiles une étude peut-elle obtenir sur l'échelle de Newcastle-Ottawa ?

Jusqu'à neuf dans les deux versions, composées de 4 étoiles de sélection, 2 étoiles de comparabilité et 3 étoiles de résultat (cohorte) ou d'exposition (cas-témoins).

Existe-t-il un seuil officiel pour un bon score au test NOS ?

Non. Le manuel et les grilles d'évaluation d'Ottawa n'en fournissent aucune. Les évaluations appliquent leurs propres conversions, comme les seuils « bon », « passable » et « mauvais » de l'AHRQ, et doivent citer leurs sources.

Puis-je utiliser l'échelle de Newcastle-Ottawa (NOS) pour des essais randomisés ou des études transversales ?

L'échelle a été conçue pour les études de cohorte non randomisées et les études cas-témoins. Les essais randomisés utilisent d'autres outils, et une adaptation transversale (NOS-xs) a été proposée par Carra et ses collègues.

Le score total NOS doit-il être utilisé pour pondérer les études dans une méta-analyse ?

Hartling et ses collègues ont testé directement la validité et n'ont trouvé aucune association entre les items individuels ou le score global et les estimations d'effet. Il est plus facile de justifier la présentation des résultats au niveau de l'item et la vérification de la sensibilité par domaine que la pondération par étoiles.

Outils de recherche gratuits d'Editverse

  • GraphProCréez des graphiques prêts à être publiés (25 types disponibles) avec tests t, ANOVA, corrélation et valeurs p du chi carré intégrés. Gratuit, sans inscription.
  • StatPro: des calculateurs statistiques gratuits et un outil de sélection de tests couvrant les comparaisons de groupes, les résultats catégoriels, l'analyse du temps jusqu'à l'événement et la précision diagnostique.
  • Flowchart Pro: générez directement dans votre navigateur les diagrammes de flux PRISMA 2020, PRISMA-ScR, CONSORT, STROBE, STARD, MOOSE et ARRIVE.

Assistance professionnelle pour l'évaluation selon l'échelle de Newcastle-Ottawa dans votre revue

Le choix de l'outil, la configuration du protocole et la formation des évaluateurs à son application uniforme sont les étapes qui déterminent la réussite d'un tableau de l'échelle de Newcastle-Ottawa lors de l'évaluation par les pairs. Les méthodologues d'Editverse vous accompagnent dans ces choix, travaillent en conformité avec les recommandations du COPE, de l'ICMJE et des GPP 2022, et respectent les exigences institutionnelles et nationales. Les formules ci-dessous correspondent à l'étape de votre évaluation.

Passerelle

$500

Protocole PROSPERO prêt à l'emploi avec cadre PICO, stratégie de recherche et sélection d'outils d'évaluation des risques de biais. 2 à 3 semaines.

Développement de protocoles uniquement →

Revue complète

$1,800

Revue systématique et méta-analyse portant sur un maximum de 15 études éligibles, avec évaluation de la qualité et des risques de biais. Délai : 10 à 14 semaines.

Revue systématique complète + méta-analyse – Petite →

Analyse uniquement

$1,000

Méta-analyse de vos données extraites, avec graphiques en forêt, analyse de l'hétérogénéité et de la sensibilité. 2 à 3 semaines.

Méta-analyse autonome →

Si votre protocole est déjà rédigé et que vos études incluses sont extraites, le module d'analyse autonome est la solution la plus rapide pour réaliser une analyse de sensibilité par domaine de qualité. Si vous souhaitez qu'une seule équipe prenne en charge l'ensemble du processus, du protocole à la publication, le module « Révision systématique complète + Méta-analyse » inclut l'évaluation de la qualité et l'analyse du risque de biais.

Conclusion

L'échelle de Newcastle-Ottawa attribue au maximum neuf étoiles aux caractéristiques de conception d'une étude. Elle propose une liste d'items claire pour les études de cohorte et cas-témoins, ainsi qu'un guide de codage concis qui permet de résoudre la plupart des cas particuliers. Ses atouts sont sa rapidité et sa simplicité d'utilisation. Ses faiblesses, comme le démontre la littérature, résident dans des définitions d'items jugées arbitraires par les critiques, un accord inégal entre les évaluateurs et une dépendance aux informations rapportées par les auteurs. Il est recommandé de l'utiliser avec des paramètres fixes définis par le protocole, deux évaluateurs indépendants, des tableaux détaillés au niveau des items et une source clairement indiquée pour toute qualification (bonne, moyenne ou mauvaise). Pour les études nécessitant une évaluation plus précise, il convient d'utiliser l'échelle ROBINS-I ou une liste de contrôle JBI.

Références

  1. Wells GA, Shea B, O'Connell D, Peterson J, Welch V, Losos M, Tugwell P. L'échelle de Newcastle-Ottawa (NOS) pour évaluer la qualité des études non randomisées dans les méta-analyses. Institut de recherche de l'Hôpital d'Ottawa. ohri.ca/programs/clinical_epidemiology/oxford.asp
  2. Stang A. Évaluation critique de l’échelle de Newcastle-Ottawa pour l’appréciation de la qualité des études non randomisées dans les méta-analyses. Eur J Epidemiol. 2010;25(9):603-605. PMID 20652370. doi: 10.1007 / s10654-010-9491-z
  3. Stang A, Jonas S, Poole C. Étude de cas sur les erreurs majeures de citation : commentaire critique de l’échelle de Newcastle-Ottawa. Eur J Epidemiol. 2018;33(11):1025-1031. PMID 30259221. doi:10.1007/s10654-018-0443-3
  4. Hartling L, Milne A, Hamm MP, Vandermeer B, Ansari M, Tsertsvadze A, Dryden DM. L’évaluation de l’échelle de Newcastle-Ottawa a révélé une faible fiabilité inter-évaluateurs. J Clin Epidemiol. 2013;66(9):982-993. PMID 23683848. est ce que je:10.1016/j.jclinepi.2013.03.003
  5. Lo CK, Mertz D, Loeb M. Échelle de Newcastle-Ottawa : comparaison des évaluations des relecteurs et des auteurs. BMC Med Res Methodol. 2014 ;14 :45. PMID 24690082. doi:10.1186/1471-2288-14-45
  6. Kalaycioglu I, Rioux B, Briard JN, Nehme A, Touma L, Dansereau B, Veilleux-Carpentier A, Keezer MR. Fiabilité inter-évaluateurs des outils d'évaluation du risque de biais dans les études non randomisées. Syst Rev. 2023;12:227. PMID 38057883. doi: 10.1186 / s13643-023-02389-w
  7. Sterne JA, Hernan MA, Reeves BC, et al. ROBINS-I : un outil d’évaluation du risque de biais dans les études non randomisées d’interventions. BMJ. 2016 ;355 :i4919. PMID 27733354. doi:10.1136/bmj.i4919
  8. Sterne JAC, Hernan MA, McAleenan A, Reeves BC, Higgins JPT. Chapitre 25 : Évaluation du risque de biais dans une étude non randomisée. Dans : Higgins JPT, Thomas J, Chandler J, et al. (dir.). Manuel Cochrane pour les revues systématiques des interventions, version 6.5. Cochrane ; 2024. cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-25
  9. Higgins JPT, Morgan RL, Rooney AA, et al. Un outil d'évaluation du risque de biais dans les études de suivi non randomisées des effets de l'exposition (ROBINS-E). Environ Int. 2024. PMID 38555664. doi:10.1016/j.envint.2024.108602
  10. Carra MC, Romandini P, Romandini M. Évaluation du risque de biais dans les études transversales : adaptation de l'échelle de Newcastle-Ottawa. J Res. Parodontale. 2026. PMID 40293188. est ce que je:10.1111/jre.13405.
  11. Esmailian A, Raki C, Han HC, Alasti M. Rôle de l'exercice physique dans la réduction des récidives de syncope vasovagale : revue systématique et méta-analyse. Am J Prev Cardiol. 2026. PMID 42006405. doi : 10.1016/j.ajpc.2026.101504
  12. Heera T, Babu R. Revue systématique et méta-analyse comparant les résultats de la pyéloplastie de réduction versus la pyéloplastie non réductrice chez l'enfant. J Indian Assoc Pediatr Surg. 2025. PMID 40756036. doi:10.4103/jiaps.jiaps_1_25
  13. Outils d'évaluation critique JBI (listes de contrôle par type d'étude). JBI. jbi.global/critical-appraisal-tools
  14. Jørgensen H, Horváth-Puhó E, Laugesen K, Brækkan S, Hansen JB, Sørensen HT. Risque d'une pension d'invalidité permanente liée au travail après un accident thromboembolique veineux au Danemark : une étude de cohorte basée sur la population. PLoS Med. 2021;18(8):e1003770. PMID 34464405. est ce que je:10.1371/journal.pmed.1003770
  15. Wells GA, Shea B, O'Connell D, et al. Échelle d'évaluation de la qualité de Newcastle-Ottawa, grille d'évaluation des études de cohorte et manuel de codage pour les études de cohorte. Institut de recherche de l'Hôpital d'Ottawa. fiche d'évaluation (PDF), manuel de codage (PDF)