뉴캐슬-오타와 척도(NOS): 코호트 및 사례-대조군 평가, 보고 및 한계점

게재 2026 년 10 월 29 일

뉴캐슬 -오타와 척도 (NOS)는 체계적 문헌고찰 및 메타분석에서 비무작위 연구의 방법론적 질을 평가하기 위해 개발된 별점 기반 평가 도구로, 코호트 연구용과 사례-대조 연구용 두 가지 버전이 있습니다. 연구는 세 가지 영역에서 별점을 받으며, 최대 9점입니다. 이 가이드에서는 두 가지 버전의 NOS를 항목별로 자세히 살펴보고, 가상의 코호트 연구에 별점을 매겨 평가하며, 방법론 섹션에서 NOS를 보고하는 방법을 보여주고, NOS의 신뢰성과 한계에 대한 기존 문헌의 견해를 제시합니다.

뉴캐슬-오타와 척도는 무엇을 측정하는가? 그리고 누가 만들었는가?

오타와 병원 연구소는 뉴캐슬-오타와 척도를 체계적 문헌고찰 및 메타분석에 사용되는 사례-대조 연구 및 코호트 연구와 같은 비무작위 연구의 질을 평가하는 도구로 설명합니다. 이 척도는 호주 뉴캐슬 대학교와 캐나다 오타와 대학교의 공동 연구를 통해 개발되었습니다. 연구소는 해당 척도의 출처를 Wells GA, Shea B, O'Connell D, Peterson J, Welch V, Losos M 및 Tugwell P의 "메타분석에서 비무작위 연구의 질을 평가하기 위한 뉴캐슬-오타와 척도(NOS)"로 명시하고 있으며, 코딩 매뉴얼과 평가표를 다운로드할 수 있도록 제공하고 있습니다.

이 척도는 별점 시스템을 사용합니다. 각 연구는 연구 대상 집단 선정, 집단 간 비교 가능성, 그리고 관심 있는 노출 또는 결과의 확인이라는 세 가지 관점에서 평가됩니다. 같은 페이지에는 내용 타당도와 평가자 간 신뢰도가 확립되었지만, 기준 타당도, 평가자 내 신뢰도 및 구성 타당도는 아직 평가 중이라고 명시되어 있습니다. 마지막 문장은 별점 총점의 가중치에 중요한 영향을 미치며, 이후 섹션에서 다시 언급됩니다.

이후 설명은 두 가지 핵심 사항에 기반합니다. 첫째, NOS는 단일 결과가 아닌 연구 전체를 평가합니다. 둘째, NOS는 참가자가 무작위 배정되지 않은 관찰 연구 설계를 위해 만들어졌습니다. 만약 여러분의 검토에 무작위 배정 연구가 포함된다면, 다른 도구가 필요하며, 체계적 검토에서 질 평가 도구 에 대한 가이드 에서 연구 설계별 옵션을 비교해 볼 수 있습니다.

뉴캐슬-오타와 규모 구조: 3개 영역, 9개 별

두 버전 모두 동일한 아키텍처를 공유합니다. 평가표에 따르면, 연구는 선택 범주와 결과 범주(코호트 버전) 또는 노출 범주(환자-대조군 버전) 내의 각 항목에 대해 최대 별 1개를 받을 수 있습니다. 비교 가능성 항목에는 최대 별 2개를 줄 수 있습니다. 선택 항목 4개, 비교 가능성 항목 1개(최대 별 2개), 결과 또는 노출 항목 3개를 합하면 두 버전 모두 총 9개의 별을 받을 수 있습니다.

두 연구 설계 방식의 차이점은 세 번째 영역에 있습니다. 코호트 연구는 노출 요인이 연구 시작 시점에 이미 알려져 있기 때문에 결과 변수의 평가 및 추적 관찰 방식에 따라 평가됩니다. 반면 사례-대조 연구는 노출 요인을 어떻게 파악했는지에 따라 평가됩니다. 논문에서 어떤 연구 설계 방식을 사용했는지 확실하지 않다면, 코호트 연구와 사례-대조 연구 설계 및 그 효과 측정 방법 에 대한 설명 자료 를 참고하세요.

코호트 버전 항목별 분석

아래 표는 코호트 평가표를 다시 정리한 것입니다. "별표" 열에는 평가표에 별표가 표시된 응답이, "별표 없음" 열에는 나머지 응답이 나열됩니다.

사례-대조군 버전 항목별 분석

환자-대조군 비교표는 동일한 선정 및 비교 가능성 틀을 유지하면서 결과 변수 항목을 세 가지 노출 변수 항목으로 대체합니다. 또한 환자군과 대조군을 동일한 방식으로 처리했는지 여부를 묻는데, 이는 코호트 연구에서는 찾아볼 수 없는 질문입니다.

코딩 매뉴얼에서 점수를 좌우하는 규칙들

별점 평가표는 간략하며, 대부분의 점수 불일치는 평가표에 포함되지 않은 규칙이 담긴 코딩 매뉴얼에서 발생합니다. 따라서 논문을 검토하기 전에 평가표 중 몇 가지를 검토 프로토콜에 포함시키는 것이 좋습니다.

• 비교 가능성을 확보하려면 p값이 아니라 설계 또는 분석이 필요합니다. 매뉴얼에는 연구 설계 단계에서 두 그룹을 일치시키거나 분석에서 교란 변수를 보정해야 하며, 그룹 간 차이가 없거나 통계적으로 유의미하지 않은 차이가 있다는 진술만으로는 충분하지 않다고 명시되어 있습니다. 상대 위험도(또는 환자-대조군 연구의 경우 오즈비)가 나열된 교란 변수를 보정한 경우, 해당 보정에 사용된 각 변수에 대해 두 그룹은 비교 가능한 것으로 간주됩니다.
• 가장 중요한 요소를 직접 선택하세요. 평가표에는 해당 항목을 위한 빈칸이 있으며, 두 번째 비교 가능성 별점은 특정 두 번째 요소와 연결될 수 있습니다. 모든 평가자가 동일한 목록을 적용할 수 있도록 프로토콜에서 두 가지 모두를 수정하십시오.
• 평가 전에 추적 관찰 기간이 설정됩니다. 매뉴얼에는 품질 평가를 시작하기 전에 적절한 기간을 정해야 한다고 명시되어 있으며, 유방 보형물 노출의 경우 5년을 예로 들고 있습니다. 추적 관찰의 적절성 항목에서 유지율에도 동일한 논리가 적용됩니다.
• 결과에 대한 증거는 결과에 따라 달라집니다. 고관절 골절의 경우 의료 기록만 확인해도 발생 사실을 확인할 수 있지만, 척추 골절의 경우에는 엑스레이 사진을 참조해야 합니다.
• 사망률 연구에서는 여전히 "기존 질병이 없는" 조건을 요구합니다. 사망 결과의 경우, 관심 결과는 여전히 질병 또는 사건의 발생 여부이므로, 질병 이력이 없다는 진술은 별표를 받게 됩니다.
• 제어 정의는 사례 정의에 따라 달라집니다. 만약 해당 사례가 처음 발생한 경우, 논문에는 대조군이 해당 결과에 대한 이력이 없음을 명시해야 합니다. 만약 해당 사례가 새로 발생했지만 반드시 처음 발생한 것은 아닌 경우, 이전에 해당 결과가 발생한 이력이 있는 대조군을 제외해서는 안 됩니다.
• 사례 정의에는 독립적인 검증이 요구됩니다. 매뉴얼에는 정보 추출에 관여한 사람, 기록, 시간 또는 프로세스가 둘 이상인 경우, 또는 엑스레이나 병원 기록과 같은 1차 기록 출처를 참조하는 경우와 같은 예시가 나와 있습니다.

뉴캐슬-오타와 척도를 이용한 코호트 연구 평가 (별별 평가)

아래 예시는 Editverse에서 작동 방식을 설명하기 위해 만든 가상의 사례입니다. 정규 야간 근무자와 주간 근무자를 대상으로 제2형 당뇨병 발생률을 추적 관찰한 코호트 연구가 있다고 가정해 보겠습니다. 스크리닝 전에 작성된 검토 프로토콜에는 세 가지 설정이 있습니다. 연령이 가장 중요한 비교 요소이고, 체질량 지수가 추가적인 요소이며, 최소 5년의 추적 관찰 기간과 90% 이상의 참여율을 적절한 것으로 간주합니다.

총점 7점에는 두 가지 중요한 허점이 숨겨져 있습니다. 논문에서는 참가자들이 연구 시작 시점에 당뇨병이 없었는지 여부를 명시하지 않았고, 연구에서 중도 탈락한 18%에 대한 설명도 없습니다. 항목별 보고는 독자에게 근거가 부족한 부분을 정확히 보여주지만, 단순히 "7/9"라고만 표시하는 것은 그렇지 않습니다.

이제 범주가 얼마나 취약할 수 있는지 살펴보세요. 이 표는 다음 섹션에서 설명하는 의료 연구 및 품질 기관(Agency for Healthcare Research and Quality)의 변환 기준을 평가자 간의 세 가지 가능한 단일 항목 불일치 사례에 적용한 것입니다.

별점 하나가 동일한 연구의 평가를 '좋음'에서 '보통' 또는 '나쁨'으로 변경했습니다. 이는 발표된 평가 기준에 따른 산술적인 계산일 뿐, 실제적인 연구 결과는 아닙니다. 하지만 두 명의 독립적인 평가자와 서면으로 작성된 의견 불일치 규칙이 왜 중요한지 설명해 줍니다. 하틀링과 그의 동료들은 평가자들 간의 실제 의견 차이를 측정했으며, 그 결과는 아래의 한계점 섹션에 제시되어 있습니다.

별을 좋거나, 보통이거나, 나쁘게 만드는 것은 관례입니다.

오타와 매뉴얼과 평가표에는 합격점이 없습니다. 별점을 부여하는 방법만 설명하고 거기서 끝납니다. 발표된 리뷰에서 볼 수 있는 라벨은 리뷰 작성자가 직접 추가한 변환 값이며, 발표된 리뷰의 NOS에 첨부된 한 변환 값은 미국 의료 연구 및 품질 기관(AHRQ)의 표준으로의 변환으로 설명됩니다. Esmailian et al.(2026, PMID 42006405)은 이를 그렇게 표기했고, Heera and Babu(2025, PMID 40756036)도 동일한 기준을 적용했습니다.

AHRQ 규칙의 구조에 주목하세요. 이 규칙은 총점이 아닌 각 영역을 기준으로 평가하므로, 7개의 별점을 받은 연구라도 한 영역에서 문제가 발생하면 '미흡'으로 판정될 수 있습니다. 반면 NOS-xs 등급은 총점을 기준으로 하며, 기존 NOS가 아닌 새롭게 수정된 도구를 사용합니다. 이러한 기준점들은 모두 기존 척도에 포함되지 않으므로, 연구 프로토콜에 사용하는 기준점을 명시하고 누가 정의했는지 인용해야 합니다.

발표된 코호트 연구에서 뉴캐슬-오타와 척도 점수 산정의 실제 사례

위의 가상 연구는 그 작동 방식을 보여줍니다. 출판된 논문은 실제 방법론 텍스트와 표에 근거가 제시될 때 동일한 8가지 결정이 어떻게 나타나는지 보여줍니다. 이 섹션에서는 공개 접근 가능한 코호트 연구 하나를 코호트 평가표를 사용하여 항목별로 평가하고 각 답변이 논문의 어느 부분에 있는지 알려줍니다. 이는 교육 목적으로 Editverse 채점 방식을 예시로 보여주는 것이며, 저자나 연구의 질에 대한 판단이 아닙니다.

검토 질문 및 프로토콜 설정은 다음과 같이 가정했습니다.

NOS 비교 가능성은 검토 질문에 따라 달라지므로, 별점을 매기기 전에 질문을 확정해야 합니다. 예를 들어, 근로 연령 성인에서 병원에서 진단된 정맥혈전색전증(VTE)이 이후 영구적인 근로 능력 상실(장애 연금 수령으로 측정)과 관련이 있는지 묻는 검토를 생각해 보겠습니다. 해당 검토 프로토콜에서는 연령을 가장 중요한 비교 요소로, 동반 질환과 사회경제적 지위를 추가 요소로, 그리고 최소 3년의 추적 관찰 기간을 적절한 기간으로 설정합니다. 코딩 매뉴얼 규칙 에 따라 이 세 가지 설정은 모두 스크리닝 전에 작성됩니다.

집단 평가표를 기준으로 별점별 점수를 매긴 결과

추론 열의 선택 문자는 오타와 병원 연구소의 코호트 평가표를 따르며, 추론에는 코딩 매뉴얼이 적용됩니다. 섹션 및 표 참조는 공개 접근 가능한 논문을 가리킵니다.

세 줄에는 평가팀이 선택한 설정에 따라 별점이 결정되기 때문에 판단 기준 배지가 붙어 있습니다. 비교 가능성은 프로토콜에서 언급하는 요소에 따라 달라집니다. 후속 조치 항목은 최소 길이에 따라 결정되고, 적합성 항목은 평가자가 모든 레지던트의 정보를 추적하는 등록 시스템을 어떻게 다루는지에 따라 결정됩니다. 나머지 네 줄은 시트의 내용을 그대로 따르지만, 세 번째 항목은 검증된 병원 등록 시스템을 안전한 기록으로 취급하는 것에 기반합니다.

좋음, 보통, 나쁨 등급 표시는 별도의 관례입니다.

오타와 문서에는 합격 점수가 없으므로 아래 표시는 검토팀이 추가하기로 선택한 두 번째 단계입니다. Esmailian et al.(2026) 및 Heera and Babu(2025)가 적용한 앞서 설명한 AHRQ 변환 방식은 총점이 아닌 각 영역을 확인합니다. 선택 4, 비교 가능성 2 및 결과 3은 각각 별 3개 또는 4개, 별 1개 또는 2개, 별 2개 또는 3개로 "우수" 기준을 충족합니다. 표의 두 번째 행은 더 엄격한 평가자가 동일한 논문에 대해 어떻게 점수를 매길지를 보여줍니다.

두 번째 시나리오에서는 별 두 개가 사라졌지만 범주는 변경되지 않았습니다. 이 페이지 앞부분에 나온 가상의 야간 근무 예시에서는 별 하나가 사라지면서 연구의 범주가 바뀌었습니다. 어떤 패턴이 나타나는지는 별이 사라진 위치에 따라 달라지며, 이것이 바로 총 별 개수뿐만 아니라 항목별로 별 개수를 보고해야 하는 이유입니다.

9점 만점에 9점이 의미하는 바와 의미하지 않는 바는 무엇일까요?

총 9라는 수치는 해당 설문지가 질문 항목에서 눈에 띄는 설계상의 약점을 발견하지 못했음을 의미합니다. 하지만 이는 추정치가 편향에서 완전히 자유롭다는 것을 의미하는 것은 아닙니다. 저자들은 "측정되지 않은 요인으로 인한 잔여 교란 변수를 완전히 배제할 수는 없다"고 지적하며(토론), 개인의 건강 행동 및 직장 환경 요인을 해당 등록 자료에 부족한 정보로 언급합니다. 설문지에는 이러한 내용을 고려하는 항목이 없으므로, 종합 분석에 해당 정보를 포함시키고자 하는 검토자는 영역별 민감도 분석과 같은 방식으로 별도로 기록해야 합니다.

이 논문은 STROBE 가이드라인에 따라 연구 설계를 보고하고 있으며, 이것이 바로 저자에게 문의하지 않고도 위의 각 질문에 대한 답을 본문에서 찾을 수 있는 이유 중 하나입니다. 관찰 연구를 위한 STROBE 가이드라인 튜토리얼 에는 코호트 연구 논문에서 보고해야 할 사항이 자세히 설명되어 있습니다. 추가 평가표에서 이 연구는 한 줄에 선택 4, 비교 가능성 2, 결과 3, 총점 9와 함께 해당 별점을 얻은 세 가지 프로토콜 설정을 기재하면 됩니다.

체계적 문헌 고찰에서 뉴캐슬-오타와 척도를 보고하는 방법

독자는 당신의 평가를 반복해서 말할 수 있어야 합니다. 이를 제대로 수행하는 보고서 블록은 다섯 부분으로 구성됩니다.

• 버전 및 출처. 코호트 연구 또는 사례 대조 연구 버전을 명시하고, Wells et al. 논문과 오타와 병원 연구소 페이지를 인용하며, 양식을 수정 없이 사용했는지 여부를 밝히십시오.
• 프로토콜 설정. 선별 전에 확정된 "가장 중요한" 비교 요소와 "추가적인" 비교 요소, 최소 추적 관찰 기간 및 유지 임계값을 보고하십시오.
• 평가자 및 의견 불일치 처리. 평가자 수, 독립적인 평가 여부, 그리고 의견 충돌 해결 방식을 명시하십시오. 기존에 발표된 신뢰도 연구에서는 두 명의 검토자(Hartling)와 여섯 명의 평가자(Kalaycioglu)를 사용했으므로, 명확한 의견 충돌 해결 규칙을 정한 두 명의 독립적인 평가자가 참여하는 것이 최소한의 기준이 될 수 있습니다.
• 항목별 표. 총합만 표시하는 대신, 본문이나 부록에 포함된 모든 연구 항목별로 별점을 표시하십시오.
• 점수 활용. 품질별로 분류, 하위 그룹화 또는 민감도 분석을 수행하는지 명시하고, 범주 임계값과 그 출처를 밝히십시오.

다음은 참고할 수 있는 방법론 설명문입니다. “두 명의 검토자가 뉴캐슬-오타와 척도(코호트 버전; ​​Wells 외, 오타와 병원 연구소)를 사용하여 각 코호트 연구를 독립적으로 평가하고, 선정, 비교 가능성 및 결과에 대해 최대 9점까지 부여했습니다. 연령은 가장 중요한 비교 가능성 요소로, 체질량 지수는 추가 요소로 미리 정의되었습니다. 최소 5년의 추적 관찰 기간과 최소 90%의 참여율 유지는 적절한 것으로 미리 정의되었습니다. 의견 불일치는 제3의 검토자와의 논의를 통해 해결했습니다. 연구는 AHRQ 변환 기준을 사용하여 우수, 보통 또는 미흡으로 분류했습니다.”

논문에 특정 항목에 대한 언급이 없을 경우, 저자에게 문의할 수 있습니다. Lo와 동료 연구진은 심사자 점수와 저자가 제공한 점수를 비교하여 연구에서 공개되지 않은 정보에 대해서는 저자에게 연락하는 것이 필요하다고 결론지었습니다. 답변을 받지 못한 경우, 해당 항목을 연구의 실패로 간주하지 않고 '보고되지 않음'으로 기록하십시오. 논문이 보고 지침을 준수할 경우, 원고에 동일한 평가 내용을 기록하는 것이 더 쉬워집니다. 이는 관찰 연구를 위한 STROBE 가이드라인 튜토리얼 에서 자세히 다루고 있습니다.

문헌에 나타난 뉴캐슬-오타와 척도의 알려진 한계점

이 척도는 널리 적용되고 있지만, 비판적인 검토도 받아왔습니다. 아래는 발표된 연구 결과와 그 수치입니다.

자의적인 항목 정의와 잘못 인용된 비판

Stang(2010, European Journal of Epidemiology , 25권, 603-605쪽)은 NOS에 대한 비판적 평가를 발표했습니다. Stang, Jonas, Poole(2018)의 후속 분석에서는 해당 논평이 질적 항목에 대한 자의적인 정의를 비판하는 것이라고 설명했습니다. 그들은 해당 논평을 인용한 논문 100편을 무작위로 표본 추출하여 분석했는데, 그중 96편이 체계적 문헌 고찰이었습니다. 이 중 어느 논문도 논평을 직접 인용하지 않았으며, 간접 인용 96편 중 2편을 제외한 98%가 NOS 사용을 지지하는 것처럼 묘사했지만 실제로는 정반대였습니다. 해당 논평은 2016년 12월까지 1,250회 인용되었습니다. 여기서 얻을 수 있는 실질적인 교훈은 비판문을 인용하기 전에 먼저 읽고, 정확하게 인용해야 한다는 것입니다.

평가자 간 신뢰도

하틀링과 동료들은 두 명의 검토자에게 8개의 메타분석에서 추출한 131개의 코호트 연구에 NOS를 적용하도록 했습니다. 일치도는 추적 관찰 기간 항목에서 상당한 수준(카파 0.68)을 보였지만, 비노출 코호트 선정 항목(카파 -0.03)과 연구 시작 시점에 결과가 없었음을 입증하는 항목(카파 -0.06)에서는 낮은 수준을 보였습니다. 전체 점수의 신뢰도는 보통 수준(카파 0.29, 95% 신뢰구간 0.10~0.47)이었습니다. 검토자들은 이 도구가 사용하기 어렵고 결정 규칙이 모호하다고 지적했으며, 연구 결과 개별 항목이나 전체 점수와 효과 추정치 사이에는 연관성이 없는 것으로 나타났습니다. 위의 예시에서 사용된 코호트 선정 항목 중 2번과 4번 항목이 가장 낮은 일치도를 보였습니다.

저자들이 보고하기로 선택한 내용에 대한 의존성

Lo, Mertz 및 Loeb는 발표된 체계적 문헌고찰 검토자들이 작성한 NOS 점수와 동일한 코호트 연구에 참여한 연구 저자들이 작성한 점수를 비교했습니다. 182개 연구 중 65개 연구(36%)의 저자가 응답했습니다. 검토자들의 전체 점수 중앙값은 6점(사분위 범위 6~6점), 연구 저자들의 점수 중앙값은 5점(사분위 범위 4~6점)으로, 통계적으로 유의미한 차이(p < 0.001)를 보였으며, 전체 점수에 대한 일치도는 낮았습니다(카파 -0.004). 항목별 일치도는 약간(카파 0.15)에서 낮음(카파 -0.06)까지 다양했습니다.

결과가 모두 나쁜 것은 아닙니다.

Kalaycioglu와 동료 연구진은 6명의 평가자가 30개의 노출 연구를 각각 3가지 평가 도구를 사용하여 평가하고, 편향 위험을 낮음, 중간, 높음으로 분류하도록 했습니다. NOS를 포함한 모든 도구는 상당한 수준의 평가자 간 신뢰도(급내 상관계수 0.61~0.80)를 보였으며, SIGN50 체크리스트는 거의 완벽한 일치도를 나타냈습니다. 저자들은 기준이 적고 간단한 도구가 더 신뢰할 수 있는 평가를 제공할 수 있다고 지적합니다. 위의 연구들을 종합해 볼 때, 신뢰도는 평가 설계, 평가자 교육, 그리고 점수를 범주로 분류하는 방식에 따라 달라진다는 결론을 내릴 수 있습니다.

범위

NOS는 코호트 연구 및 사례-대조 연구를 위해 개발되었습니다. Carra와 동료들은 횡단 연구를 위한 적응형 도구(NOS-xs, 유병률 연구를 위한 4점 척도 변형 포함)를 제안했는데, 이는 더 광범위한 도구에 대한 요구와 기존 도구가 해당 연구 설계를 포괄하지 못한다는 사실을 보여줍니다. 비무작위 중재 연구의 경우, 코크란 핸드북(버전 6.5, 2024) 25장에서는 편향 위험 평가 도구로 ROBINS-I를 설명하고, 이를 단일 결과 평가 프레임워크로 제시합니다.

NOS vs ROBINS-I vs JBI: 결정표

어떤 도구를 선택할지는 주로 검토 목적과 포함된 연구에서 사용된 설계 방식에 따라 결정됩니다. 아래 설명은 마지막 열에 명시된 출처에서 가져온 것입니다. "선택 기준" 행은 Editverse 자체의 결정 규칙으로, 실용적인 지침으로 제공되는 것이며 공식적인 표준은 아닙니다.

대상 저널이나 가이드라인 패널에서 특정 도구를 언급하는 경우, 해당 도구를 사용하고 추가 도구가 필요한 경우 그 이유를 설명하십시오. ROBINS-I 도구 가이드 에서는 도메인 기반 대안에 대해 자세히 다루고 있습니다.

자주 묻는 질문

뉴캐슬-오타와 척도에서 연구는 몇 점을 받을 수 있을까요?

두 버전 모두 최대 9개까지 가능하며, 4개의 선정 기준, 2개의 비교 가능성 기준, 그리고 3개의 결과 기준(코호트 연구) 또는 3개의 노출 기준(환자-대조군 연구)으로 구성됩니다.

NOS 점수가 높다고 인정되는 공식적인 기준점이 있나요?

아니요. 오타와 매뉴얼과 평가표에는 그러한 내용이 없습니다. 검토자들은 AHRQ의 좋음, 보통, 나쁨 기준과 같은 자체적인 변환 기준을 적용하며, 출처를 명시해야 합니다.

NOS를 무작위 대조 시험이나 횡단 연구에 사용할 수 있나요?

이 척도는 무작위 배정되지 않은 코호트 연구 및 사례 대조 연구를 위해 개발되었습니다. 무작위 배정 임상시험에서는 다른 도구가 사용되며, Carra와 동료들은 횡단 연구에 적용한 척도(NOS-xs)를 제안했습니다.

메타분석에서 연구 간 가중치를 부여할 때 NOS 총점을 사용해야 할까요?

하틀링과 그의 동료들은 타당성을 직접 검증한 결과, 개별 항목이나 전체 점수와 효과 추정치 사이에 연관성이 없음을 발견했습니다. 항목별 결과를 보고하고 영역별 민감도를 확인하는 것이 별점으로 가중치를 부여하는 것보다 타당성을 입증하기가 더 쉽습니다.

뉴캐슬-오타와 규모 평가 검토에 대한 전문가 지원

평가 도구 선택, 프로토콜 설정 확정, 그리고 평가자들이 동일한 방식으로 적용하도록 교육하는 것은 뉴캐슬-오타와 척도 표가 동료 평가를 통과할지 여부를 결정하는 중요한 단계입니다. Editverse의 방법론 전문가들은 이러한 결정을 여러분과 함께 내리고, COPE, ICMJE 및 GPP 2022의 기준에 맞춰 작업하며, 기관 및 국가별 요구 사항을 준수합니다. 아래 패키지는 여러분의 평가 단계에 맞춰 제공됩니다.

프로토콜이 이미 작성되었고 포함될 연구가 추출되었다면, 독립형 분석 패키지가 질적 영역별 민감도 분석을 가장 빠르게 수행할 수 있는 방법입니다. 프로토콜 작성부터 원고 작성까지 전체 검토 과정을 한 팀에서 진행하려는 경우, Complete SR + Meta-Analysis 패키지를 사용하면 질적 평가 및 비뚤림 위험 분석 결과를 포함한 모든 단계를 처리할 수 있습니다.

맺음말

뉴캐슬-오타와 척도(Newcastle-Ottawa Scale)는 연구 설계 특징을 최대 9점 만점으로 평가하는 도구로, 코호트 연구와 사례-대조 연구에 적합한 명확한 항목 목록과 대부분의 예외적인 경우를 해결할 수 있는 간략한 코딩 매뉴얼을 제공합니다. 이 척도의 장점은 신속성과 익숙함입니다. 문헌에서 지적하듯, 단점으로는 비판자들이 자의적이라고 지적하는 항목 정의, 평가자 간의 불일치, 그리고 연구자의 보고 내용에 대한 의존성이 있습니다. 따라서 프로토콜에 따라 설정을 고정하고, 두 명의 독립적인 평가자가 참여하며, 항목별 표를 사용하고, 좋음, 보통, 나쁨으로 평가할 경우 출처를 명확히 밝히는 것이 중요합니다. 또한, 연구 질문이나 설계에 따라 로빈스-I(ROBINS-I) 또는 JBI 체크리스트를 추가로 활용하는 것이 좋습니다.

참고자료

1. Wells GA, Shea B, O'Connell D, Peterson J, Welch V, Losos M, Tugwell P. 메타분석에서 비무작위 연구의 질을 평가하기 위한 뉴캐슬-오타와 척도(NOS). 오타와 병원 연구소. ohri.ca/programs/clinical_epidemiology/oxford.asp
2. Stang A. 메타분석에서 비무작위 연구의 질 평가를 위한 Newcastle-Ottawa 척도의 비판적 평가. Eur J Epidemiol. 2010;25(9):603-605. PMID 20652370. doi : 10.1007 / s10654-010-9491-z
3. Stang A, Jonas S, Poole C. 주요 인용 오류에 대한 사례 연구: Newcastle-Ottawa 척도에 대한 비판적 논평. Eur J Epidemiol. 2018;33(11):1025-1031. PMID 30259221. doi:10.1007/s10654-018-0443-3
4. Hartling L, Milne A, Hamm MP, Vandermeer B, Ansari M, Tsertsvadze A, Dryden DM. Newcastle Ottawa Scale 테스트 결과 개별 검토자 간 신뢰도가 낮게 나타났습니다. J Clin Epidemiol. 2013;66(9):982-993. PMID 23683848. doi:10.1016/j.jclinepi.2013.03.003
5. Lo CK, Mertz D, Loeb M. Newcastle-Ottawa Scale: 검토자와 저자의 평가 비교. BMC Med Res Methodol. 2014;14:45. PMID 24690082. doi:10.1186/1471-2288-14-45
6. Kalaycioglu I, Rioux B, Briard JN, Nehme A, Touma L, Dansereau B, Veilleux-Carpentier A, Keezer MR. 비무작위 연구를 위한 편향 위험 도구의 평가자 간 신뢰도. Syst Rev. 2023;12:227. PMID 38057883. 도이 : 10.1186 / s13643-023-02389-w
7. Sterne JA, Hernan MA, Reeves BC, et al. ROBINS-I: 비무작위 중재 연구에서 편향 위험을 평가하는 도구. BMJ. 2016;355:i4919. PMID 27733354. doi:10.1136/bmj.i4919
8. Sterne JAC, Hernan MA, McAleenan A, Reeves BC, Higgins JPT. 제25장: 비무작위 연구에서 편향 위험 평가. Higgins JPT, Thomas J, Chandler J 외 편. Cochrane Handbook for Systematic Reviews of Interventions, 버전 6.5. Cochrane; 2024. cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-25
9. Higgins JPT, Morgan RL, Rooney AA, et al. 비무작위 추적 연구에서 노출 효과의 편향 위험을 평가하는 도구(ROBINS-E). Environ Int. 2024. PMID 38555664. doi:10.1016/j.envint.2024.108602
10. Carra MC, Romandini P, Romandini M. 단면 연구의 편향 ​​평가 위험: Newcastle-Ottawa Scale의 적응. J 치주 입술. 2026. PMID 40293188. doi:10.1111/jre.13405
11. Esmailian A, Raki C, Han HC, Alasti M. 운동이 미주신경성 실신 재발 감소에 미치는 역할: 체계적 문헌고찰 및 메타분석. Am J Prev Cardiol. 2026. PMID 42006405. doi:10.1016/j.ajpc.2026.101504
12. Heera T, Babu R. 소아에서 정복술과 비정복술 신우성형술의 결과를 비교하는 체계적 문헌고찰 및 메타분석. J Indian Assoc Pediatr Surg. 2025. PMID 40756036. doi:10.4103/jiaps.jiaps_1_25
13. JBI 비판적 평가 도구(연구 설계별 체크리스트). JBI. jbi.global/critical-appraisal-tools
14. Jørgensen H, Horváth-Puhó E, Laugesen K, Brækkan S, Hansen JB, Sørensen HT. 덴마크에서 발생한 정맥 혈전색전증 후 영구 업무 관련 장애 연금의 위험: 인구 기반 코호트 연구. PLoS Med. 2021;18(8):e1003770. PMID 34464405. doi:10.1371/journal.pmed.1003770
15. Wells GA, Shea B, O'Connell D, 외. 뉴캐슬-오타와 질 평가 척도, 코호트 연구 평가표 및 코호트 연구 코딩 매뉴얼. 오타와 병원 연구소. 평가표 (PDF), 코딩 매뉴얼(PDF)