TL; DR
- A 체계적인 검토 사전 정의된 프로토콜, 포괄적인 검색 및 명확한 포함 기준을 기반으로 구축된 연구 방법론입니다. 메타 분석 메타분석은 여러 연구의 효과 크기를 통합하는 통계적 기법입니다. 메타분석은 체계적 문헌고찰의 일부로 포함될 수 있지만, 체계적 문헌고찰 자체가 메타분석을 필요로 하는 것은 아닙니다.
- 연구 결과가 너무 이질적이어서 통합하기 어려울 때는 서술적 종합 분석을 선택하십시오. 두 개 이상의 연구에서 동일한 결과를 비교 가능한 방식으로 측정했을 때는 쌍별 메타분석을 선택하십시오. 이전에 직접 비교 검증된 적이 없는 세 가지 이상의 치료법을 비교해야 할 때는 네트워크 메타분석을 선택하십시오.
- 두 접근 방식 모두 PRISMA 2020 보고 지침을 따르며, 데이터 추출을 시작하기 전에 (이상적으로는 PROSPERO에) 사전에 등록해야 합니다.
근거 종합 연구에 익숙하지 않다면 체계적 문헌고찰 과 메타분석 의 차이 가 미묘하게 느껴질 수 있습니다. 두 용어는 일상 대화, 연구 지원서, 심지어는 논문 제목에서도 혼용되어 사용되는 경우가 많아 심사위원들이 수정을 요구하기도 합니다. 하지만 두 용어는 서로 다른 것을 의미하며, 그 차이를 명확히 구분하면 연구 계획 수립, 연구 프로토콜 등록, 그리고 학술지에 연구 결과를 기술하는 방식이 달라집니다.
이 가이드에서는 방법론과 통계를 구분하고, 각각이 적용되는 경우를 설명하며, 보고 기준(PRISMA 2020, GRADE, RoB 2)이 실제로 이 둘을 어떻게 연결하는지 보여줍니다.
간단한 단어로
체계적 문헌고찰은 관련 연구를 모두 찾아내고 평가하는 문서화되고 반복 가능한 과정입니다. 메타분석은 이러한 과정의 결과물 중 하나로, 포함된 연구들이 충분히 유사하여 평균값을 낼 수 있을 때 계산되는 단일 통합 수치입니다. 체계적 문헌고찰만 하고 메타분석을 수행하지 않을 수도 있습니다. 하지만 체계적 문헌고찰 없이 수행된 메타분석은 일반적으로 근거가 약한 것으로 간주됩니다. 왜냐하면 분석에 사용된 연구들이 공정하게 선정되었는지 검증하지 않았기 때문입니다.
빠른 정의
체계적 문헌고찰: 특정 질문에 대한 모든 관련 연구를 식별, 평가 및 종합하기 위해 미리 정의된 프로토콜을 따르는 포괄적이고 투명한 문헌고찰.
메타분석: 여러 연구의 정량적 결과를 결합하여 효과에 대한 통합 추정치를 산출하는 통계 기법.
두 관계는 동등성이 아니라 포함 관계입니다. 메타분석은 체계적 문헌고찰에 포함될 수 있는 통계적 요소이지만, 체계적 문헌고찰이 타당하거나 출판 가능하기 위해 메타분석이 필수적인 것은 아닙니다.
체계적 문헌고찰: 연구 방법론
체계적 문헌고찰은 연구 수행 방법이지 통계적 절차가 아닙니다. Page와 동료들이 BMJ에 발표한 PRISMA 2020 성명서는 2009년 버전을 대체하여 문헌고찰자가 연구를 식별, 선택, 평가 및 종합하는 방법을 다루는 27개 항목의 체크리스트를 제시하며, 이는 최초 지침 이후 10년간의 방법론적 발전을 반영합니다.
주요 특징
- 사전 정의된 프로토콜: 연구 질문, 검색 전략 및 분석 계획은 스크리닝 시작 전에 문서화되어야 합니다.
- 종합 검색: 여러 데이터베이스, 회색 문헌 및 참고 문헌 목록의 수동 검색
- 명시적인 포함 및 제외 기준: 모든 지원자 연구에 걸쳐 명확한 규칙이 일관되게 적용됩니다.
- 공식적인 편향 위험 평가: 구조화된 도구이지, 비공식적인 판단이 아닙니다.
- 투명한 보고: 모든 심사 및 제외 결정에 대한 완벽한 문서화
- 서술적 또는 양적 종합 분석: 연구 결과는 산문으로 요약하거나, 통계적으로 종합하거나, 또는 두 가지 모두를 사용하여 정리할 수 있습니다.
연구 프로토콜 등록은 처음 문헌 검토를 하는 사람들이 생각하는 것보다 훨씬 중요합니다. 2019년에 발표된 182건의 교정학 체계적 문헌 검토 분석에 따르면, 전체의 20.3%에 해당하는 37건만이 PROSPERO 에 등록되었으며, 등록된 문헌 검토는 등록되지 않은 문헌 검토보다 AMSTAR 질 평가 도구에서 유의미하게 높은 점수를 받았습니다. PROSPERO 또는 PRISMA-P 프로토콜을 통해 사전에 연구 프로토콜을 등록하면 , 가설을 뒷받침하는 연구를 확인한 후 포함 기준을 변경하는 것을 방지할 수 있습니다.
서술적 체계적 문헌고찰이 적절한 경우는 언제인가
모든 체계적 문헌고찰에 통계적 통합이 필요한 것은 아닙니다. 연구들이 너무 이질적이어서 통합하기 어렵거나, 연구마다 결과 측정 척도가 다르거나, 연구 설계가 너무 다양하여 단일 통합 수치가 의미가 없거나, 또는 질문이 탐색적이며 단일 효과 추정치보다는 질적 증거 지도를 통해 더 잘 설명될 수 있는 경우에는 메타분석을 제외한 서술적 종합 분석이 적절한 결과물입니다.
메타분석: 통계적 기법
메타분석은 데이터를 결합하는 통계적 방법이지, 그 자체로 연구 설계는 아닙니다. 체계적인 과정을 통해 이미 추출된 효과 크기를 활용하여, 규모가 크고 정확도가 높은 연구일수록 결과에 비례적으로 더 큰 영향을 미치도록 가중치를 부여한 단일 통합 추정치를 산출합니다.
주요 특징
- 정량적 풀링: 연구 전반에 걸쳐 효과 크기(오즈비, 평균 차이, 위험비)를 결합합니다.
- 가중 평균: 규모가 크고 정확한 연구일수록 통합 추정치에서 더 큰 비중을 차지합니다.
- 산림 조사 구역: 각 연구의 효과를 통합 추정치와 함께 시각적으로 보여줍니다.
- 이질성 검정: I-제곱과 Q 통계량은 연구들 간의 불일치 정도를 정량화합니다.
- 하위 그룹 분석: 환자 집단, 투여량 또는 연구 설계가 결과의 변동성을 설명하는지 여부를 탐구합니다.
- 출판 편향 검사: 깔때기 도표와 에거 검정은 문헌에서 소규모의 부정적인 연구 결과가 누락되었는지 여부를 확인합니다.
메타분석은 연구들이 동일한 질문을 다루고, 결과를 표준화할 수 있을 만큼 충분히 유사하게 측정하며, 최소 두 개 이상의 연구를 포함할 경우 의미가 있습니다. 일반적으로 연구 수가 많을수록 통합 추정치가 더 안정적입니다. 이질성이 완전히 없어야 하는 것은 아니지만, 하위그룹 분석이나 메타회귀 분석을 통해 설명할 수 있을 만큼 충분히 낮아야 합니다.
Editverse는 다양한 전문 분야의 근거 종합 팀을 오랫동안 지원해 오면서 동일한 투고 패턴이 반복되는 것을 목격했습니다. 가장 흔한 심사 거부 사유는 '체계적 문헌 고찰'이라는 제목의 원고에서 방법론 부분에 검색 전략이 명시되어 있지 않고, 이중 독립 검토에 대한 언급이 없으며, 공식적인 비뚤림 위험 평가 도구를 적용하지 않은 경우입니다. 심사위원들은 제목과 방법론 간의 불일치를 첫 번째 검토 단계에서 바로 파악하며, 이는 프로토콜 단계부터 PRISMA 2020 지침을 준수함으로써 가장 쉽게 예방할 수 있는 문제 중 하나입니다.
나란히 비교
| 제품 특장점 | 체계적인 검토 | 메타 분석 |
|---|---|---|
| 타입 | 연구 방법론 | 통계 기법 |
| 산출 | 서사 합성 | 통합 효과 추정치 |
| 데이터 유형 | 정성과 양 | 양적 만 |
| 보고 지침 | PRISMA 2020 (27개 항목 체크리스트) | PRISMA 2020, 동일한 체크리스트 |
| 편향 위험 도구 | RoB 2(임상시험) 또는 ROBINS-I(비무작위) | 같은 도구를 사용하여 가중치를 부여합니다. |
| 시각적 출력 | PRISMA 흐름도, 증거표 | 삼림 도표, 깔때기 도표 |
| 확실성 등급 | 선택 사항이며, 종종 서술형입니다. | 등급 (높음, 보통, 낮음, 매우 낮음) |
| 단독으로 설 수 있나요? | 가능 | 기술적으로는 가능하지만, 없으면 권장되지 않는 경우가 많습니다. |
| 최소 연구 | 적격 연구가 하나도 없다고 보고할 수 있습니다. | 최소 두 가지 연구 |
체계적 문헌고찰과 메타분석의 관계
메타분석을 포함하지 않는 체계적 문헌고찰은 흔하고 타당합니다. 통계적 통합이 의미가 없을 경우, 연구들을 종합적으로 파악하고 평가한 후 결과를 서술적으로 요약합니다.
체계적 문헌고찰과 메타분석은 데이터가 허용하는 경우 더 강력한 근거를 제시합니다. 위의 모든 단계를 완료한 후, 통계적으로 통합된 효과 추정치와 정량화된 정밀도 및 이질성 측정값을 추가합니다.
체계적 문헌고찰이 뒷받침되지 않은 메타분석은 검토자와 편집자들이 가장 회의적으로 바라보는 방식입니다. 문서화되고 재현 가능한 식별 과정 없이 데이터를 통합하면 관련 연구를 놓치거나 효과 크기 평균화 과정에서 선택 편향이 발생할 위험이 있습니다.
보고 기준: PRISMA 2020, RoB 2 및 GRADE
PRISMA 2020 지침은 서술적 체계적 문헌고찰과 메타분석을 하나의 27개 항목 체크리스트로 포괄하며, 초록 검토를 위한 보충 체크리스트와 개정된 흐름도를 제공합니다. 프로토콜 단계 보고는 PRISMA-P 에서 별도로 다루어지며 , 스크리닝 시작 전에 검색 전략과 분석 계획을 문서화하여 사후에 적격성 기준이 변경되는 것을 방지합니다.
개별 연구의 편향 위험은 메타분석에서 각 결과에 부여하는 가중치에 직접적인 영향을 미칩니다. 무작위 배정 시험의 경우, Sterne 등이 발표한 RoB 2 도구는 무작위 배정 과정부터 보고된 결과 선택에 이르기까지 5개 영역에 걸쳐 편향을 평가하며, 기존의 구조가 덜 체계적인 코크란 편향 위험 평가 도구를 대체합니다.
효과 추정치가 통합되면 GRADE는 해당 추정치에 대한 신뢰도를 평가합니다. GRADE 프레임워크는 개별 연구가 아닌 전체 증거에 대해 높음, 중간, 낮음, 매우 낮음의 네 가지 확실성 등급 중 하나를 부여합니다. 무작위 대조 시험은 높은 확실성의 증거로 시작하고 관찰 연구는 낮은 확실성의 증거로 시작하지만, Guyatt와 동료들이 BMJ에 발표한 프레임워크 창립 논문에서 설명한 바와 같이 불확실성, 불일치, 출판 편향 등의 요인을 고려하여 확실성을 상향 또는 하향 조정합니다.
네트워크 메타분석: 직접 비교 검증을 거치지 않았던 치료법 비교
네트워크 메타분석(NMA)은 쌍별 메타분석을 확장하여, 직접 비교 임상시험이 없는 쌍을 포함하여 세 가지 이상의 치료법을 동시에 비교할 수 있도록 합니다. 푸에르토 니뇨와 브리냐르델로-피터슨이 방법론 개요에서 설명하는 바와 같이, NMA는 직접 비교 임상시험에서 얻은 직접적인 증거와 위약과 같은 공통 비교 대상을 통해 얻은 간접적인 증거를 통합하여, 두 치료법을 직접 비교한 임상시험이 없더라도 두 치료법이 어떻게 비교될지 추정합니다.
네트워크 메타분석(NMA)은 연결된 비교 네트워크를 필요로 합니다. 즉, 모든 치료법은 최소한 하나의 공통 비교 대상을 통해 네트워크에 연결되어야 합니다. NMA는 통합 효과 추정치 외에도 치료법 순위를 산출합니다. 따라서 동일한 질환에 대해 여러 경쟁 치료법이 존재하고 직접 비교 데이터가 부족한 경우, 가이드라인 패널에서 NMA를 점점 더 많이 요구하고 있습니다.
어느 것을 선택해야합니까?
서술적 체계적 문헌고찰을 선택해야 하는 경우:
- 귀하의 질문은 광범위하고 탐색적이거나 연구 환경을 파악하는 것(범위 검토)입니다.
- 연구 설계나 결과 측정 방식이 너무 다양해서 의미 있는 결과를 통합하기 어렵습니다.
- 정성적 종합 분석은 단일 수치 집계보다 더 많은 해답을 제시합니다.
체계적 문헌고찰 및 메타분석을 선택해야 하는 경우는 다음과 같습니다.
- 질문은 구체적이며 결과는 정량적입니다.
- 연구들은 동일하거나 표준화 가능한 결과를 측정합니다.
- 정확한 통합 효과 추정치와 신뢰 구간이 필요합니다.
- 가이드라인 개발자 또는 정책 입안자가 대상 독자입니다.
체계적 문헌고찰 및 네트워크 메타분석을 선택해야 하는 경우는 다음과 같습니다.
- 세 가지 이상의 치료법이 동일한 적응증에 대해 경쟁합니다.
- 일부 치료법 쌍에 대해서는 직접적인 비교 임상 시험 데이터가 부족합니다.
- 임상 지침 패널은 단 한 쌍의 선택지만이 아니라 모든 선택지를 순위별로 비교해야 합니다.
피해야 할 일반적인 실수
문서화된 프로토콜을 따르지 않고 문헌 검토를 체계적 검토라고 부르는 것은 편집자들이 가장 흔히 접하는 오류입니다. 두 번째로 흔한 오류는 상당한 이질성(I-제곱 값이 75% 이상이고 이를 설명할 하위 그룹 구조가 없는 경우)이 있는 연구들을 대상으로 메타분석을 수행하고, 그 통합 추정치를 마치 문제가 해결된 것처럼 제시하는 것입니다. 세 번째는 사전 등록을 완전히 건너뛴 후 검색 결과가 나온 뒤 검토 도중에 포함 기준을 수정하는 것인데, 이는 PROSPERO 등록 및 PRISMA-P 프로토콜이 방지하고자 하는 선택적 보고의 위험입니다.
출판 및 인용 영향
체계적 문헌고찰과 메타분석은 모두 생의학 분야에서 가장 많이 인용되는 논문 유형입니다. 메타분석은 동일한 주제에 대한 서술적 체계적 문헌고찰보다 인용 횟수가 더 많은데, 이는 논쟁을 하나의 수치로 정리하고, 학술지, 가이드라인 위원회, 그리고 후속 검토에서 모두 서술적으로 결과를 요약한 논문보다는 확정적인 통합 추정치를 제시한 논문을 인용하는 경향이 있기 때문입니다. 이러한 인용 우위는 방법론적 엄밀성의 결과이지, 편법이 아닙니다. 이질성이 높고 그 원인을 설명할 수 없는 부실한 메타분석은 인용될 가능성이 낮고, 반박 논문이 발표될 가능성도 더 높습니다.
h-index 증가 측면에서 두 접근 방식 모두 훌륭한 선택입니다. 어떤 방법이 더 권위 있어 보이는지가 아니라, 실제로 연구 질문에 대한 해답을 제시하는 방법이 무엇인지에 따라 결정을 내려야 합니다.
자주 묻는 질문
메타분석 없이 체계적 문헌고찰이 가능할 수 있을까요?
네. 서술적 체계적 문헌고찰은 그 자체로 완전하고 출판 가능한 PRISMA 지침을 준수하는 연구입니다. 통계적 통합은 포함된 연구들이 의미 있게 결합될 수 있을 만큼 충분히 유사할 때만 추가됩니다.
체계적 문헌고찰을 먼저 수행하지 않고 메타분석을 진행할 수 있나요?
기술적으로는 맞지만, 검토자와 편집자들은 독립적인 메타분석을 더 면밀히 검토합니다. 왜냐하면 모든 관련 연구가 식별되고 포함 여부가 공정하게 평가되었는지 확인하는 문서화되고 재현 가능한 절차가 없기 때문입니다.
메타분석을 하려면 연구가 몇 개나 필요합니까?
2는 통계적으로 최소값이지만, 대부분의 방법론 전문가들은 통합 추정치가 안정화되고 이질성 통계를 해석할 수 있게 되려면 최소 3~5개의 표본이 필요하다고 권장합니다.
체계적 문헌고찰과 범위 문헌고찰의 차이점은 무엇인가요?
체계적 문헌고찰은 특정 질문에 대한 답을 제시하며, 일반적으로 편향 위험 평가를 포함합니다. 범위 문헌고찰은 보다 광범위한 주제에 대한 문헌의 범위를 파악하여 연구의 공백을 식별하는 데 중점을 두며, 질적 평가에 있어 체계적 문헌고찰과 동일한 수준의 엄격성을 항상 적용하지는 않습니다.
메타분석을 수행하려면 PROSPERO에 등록해야 하나요?
등록은 법적으로 필수 사항은 아니지만, 대부분의 영향력 있는 학술지와 코크란 협회에서는 등록을 권장합니다. 등록된 프로토콜은 AMSTAR와 같은 평가 도구에서 더 높은 품질 점수를 받으며, 등록을 통해 결과가 나오기 전에 연구 방법론에 타임스탬프가 부여됩니다.
네트워크 메타분석이란 무엇이며, 언제 필요한가요?
네트워크 메타분석은 세 가지 이상의 치료법을 동시에 비교하는 분석 방법으로, 직접적인 임상시험 결과와 공통 비교 대상을 통한 간접적인 비교를 결합합니다. 이러한 분석법은 가이드라인 위원회가 서로 직접적으로 비교 검증된 사례가 거의 없거나 전혀 없는 여러 경쟁 치료법의 순위를 매겨야 할 때 필요합니다.
전문가의 도움 받기
서술적 체계적 문헌고찰, 쌍별 메타분석 또는 네트워크 메타분석을 계획하든, 연구 프로토콜 단계에서의 방법론적 엄격성은 최종 논문이 동료 심사를 통과할지 여부를 결정짓는 중요한 요소입니다. 저희 팀은 다음과 같은 모든 단계에서 연구자들을 지원합니다.
- 프로토콜 개발 및 프로스페로 등록
- 문헌 검색 전략 설계 및 이중 검토자 스크리닝
- 데이터 추출 및 RoB 2 / GRADE 품질 평가
- 쌍별 비교 및 네트워크 메타분석을 포함한 통계적 분석
- 원고 작성, PRISMA 2020 준수 여부 확인 및 학술지 투고
근거 종합 프로젝트를 시작할 준비가 되셨나요? 저희의 체계적 문헌고찰 및 메타분석 서비스를 살펴보시 거나, 메타분석 방법론에 대한 완벽한 가이드를 읽어보시 거나, 포레스트 플롯 및 이질성 분석 예시를 확인해 보세요. 관련 방법론에 대해서는 PRISMA 흐름도 , ITT (intention-to-treat) 분석과 PP(per-protocol) 분석 비교 , 비임상시험 연구 등록 , 그리고 저널 인용 지표가 투고에 미치는 영향에 대한 가이드를 참고하세요 . 또는 무료 상담을 신청하세요 .
참고자료
- Page MJ, McKenzie JE, Bossuyt PM, 외. PRISMA 2020 성명서: 체계적 검토 보고를 위한 업데이트된 지침. BMJ. 2021;372:n71. https://doi.org/10.1136/bmj.n71
- Shamseer L, Moher D, Clarke M, et al. 체계적 검토 및 메타분석 프로토콜에 대한 선호 보고 항목(PRISMA-P) 2015: 상세 설명 및 해설. BMJ. 2015;350:g7647. https://doi.org/10.1136/bmj.g7647
- Sterne JAC, Savović J, Page MJ, et al. RoB 2: 무작위 시험에서 편향 위험을 평가하기 위한 개정된 도구. BMJ. 2019;366:l4898. https://doi.org/10.1136/bmj.l4898
- Balshem H, Helfand M, Schünemann HJ, et al. GRADE 가이드라인: 3. 근거의 질 평가. J 클린 에피 데미 올. 2011;64(4):401-406. https://doi.org/10.1016/j.jclinepi.2010.07.015
- Guyatt GH, Oxman AD, Vist GE 등. GRADE: 근거의 질과 권고의 강도를 평가하는 데 있어 새롭게 떠오르는 합의 체계. BMJ. 2008;336(7650):924-926. https://doi.org/10.1136/bmj.39489.470347.AD
- Sideri S, Papageorgiou SN, Eliades T. PROSPERO에 체계적 문헌고찰 프로토콜을 등록하는 것은 문헌고찰 품질 향상과 관련이 있었습니다. J 클린 에피 데미 올. 2019, 100 : 103 - 110. https://doi.org/10.1016/j.jclinepi.2018.01.003
- 푸에르토 니뇨 AK, 브리냐르델로-피터슨 R. 네트워크 메타분석을 읽는 방법. 유럽 우롤 포커스. 2023. https://doi.org/10.1016/j.euf.2023.10.018