발행 | 최종 업데이트:
진단 검사의 재현성이란 무엇인가요?
진단 결과는 검체 측정 위치에 관계없이 일관적일 때만 유용합니다. 재현성은 두 실험실, 기기 또는 작업자가 동일한 검체에 대해 동일한 결과를 도출하는지 여부를 묻는 것입니다. 이는 한 실험실에서 동일한 검체를 다시 측정했을 때의 결과를 묻는 반복성과는 다릅니다. 6 이러한 종류의 연구를 신뢰도 및 일치도 연구라고 하며, 모든 진단, 점수 또는 측정에 내재된 오류의 양을 보여주기 위한 것입니다. GRRAS 가이드라인의 저자들은 이러한 연구 보고가 종종 불완전하다고 지적합니다. 1
이 글에서는 검사가 아픈 사람과 건강한 사람을 얼마나 잘 구분하는지에 대해서는 다루지 않습니다. 이는 STARD에서 보고하는 진단 정확도에 관한 것입니다. 7 여기서의 질문은 더 좁습니다. 다른 연구소에서도 같은 결과를 얻을 수 있을까요?
왜 실험실마다 동일한 샘플에 대해 의견이 다른가?
실험실 결과의 변동은 검사의 어느 단계에서든 발생할 수 있으며, 네팔 의학 협회 저널에 실린 한 리뷰에서는 실험실 오류를 제거한 후 남은 결과를 세 가지 유형으로 분류했습니다. 6
좌우로 스와이프하여 모든 열을 확인하세요.
| 변화의 근원 | 소식통이 전하는 바에 따르면 | 출처 |
|---|---|---|
| 전처리 | 환자 준비 상태가 가장 흔한 요인입니다. 식단, 신체 활동, 검체 채취 시점 모두 결과에 영향을 미칠 수 있으며, 이 중 일부는 검사실에서 통제할 수 없는 부분입니다. | 6 |
| 생물 학적 | 분석 대상 물질의 생리적 변동은 개인의 설정점을 중심으로 주기적 및 무작위적 요소를 포함하여 나타납니다. | 6 |
| 분석 | 분석 방법과 장비의 차이, 그리고 심지어 하나의 기기로 하나의 시료를 분석할 때조차도 모든 분석 기법에 내재된 무작위적인 오차가 존재합니다. | 6 |
해당 검토에서는 두 결과의 차이가 예상보다 큰지 판단하는 방법도 제시합니다. 바로 참조 변화 값(RCV) = 2 1/2 × Z × (CVA 2 + CVI 2 ) 1/2 입니다. 여기서 CVA는 분석적 변동이고 CVI는 개인 내 생물학적 변동입니다. 6 자체 포도당 예시에서는 CVA 2.7%, CVI 5.6%, Z = 1.96을 사용했습니다. Editverse는 R에서 해당 예시를 다시 계산하여 17.2%를 얻었으므로 약 17%보다 작은 변화는 예상 변동 범위 내에 있습니다.
아래 사례 연구에서 두 가지 추가적인 원인이 나타납니다. 국제적으로 인정된 참조 표준이 없는 경우, 자유 경쇄 연구 저자들이 지적했듯이 서로 다른 플랫폼에서 동일한 샘플에 대해 서로 다른 값을 보고할 수 있습니다.5 또한 표준화된 프로토콜이 없는 경우, 각 실험실에서 자체적인 기준값을 설정할 수 있는데, 이는 항-FGFR3 ELISA 연구에서 발생한 일입니다 .8
일치도 측정 방법: ICC, 카파 계수 및 블랜드-알트만 계수
결과 유형에 따라 통계량을 선택하십시오. 표 1은 각 출처에서 해당 통계량을 어떻게 해석하는지 보여줍니다. 동일한 카파 값이 다른 명칭으로 불릴 수 있다는 점에 유의하십시오. 예를 들어, 0.77은 코헨의 분류 체계에서는 상당한 수준이지만, 맥휴의 표에서는 중간 수준입니다. 3
좌우로 스와이프하여 모든 열을 확인하세요.
| 캠페인 측정 | 출처가 값을 어떻게 해석하는가 | 출처 |
|---|---|---|
| ICC | 0.5 미만은 불량, 0.5~0.75는 보통, 0.75~0.9는 양호, 0.90 초과는 우수로 평가하며, 이는 추정치의 95% 신뢰 구간을 기준으로 합니다. | 2 |
| 카파, 코헨 밴드 | 맥휴의 말에 따르면 0.41~0.60은 보통, 0.61~0.80은 상당, 0.81~1.00은 거의 완벽합니다. | 3 |
| 카파, 맥휴 테이블 | 0.60~0.79는 보통, 0.80~0.90은 강함, 0.90 이상은 거의 완벽함; 카파 값이 0.60 미만이면 일치도가 불충분함을 나타냅니다. | 3 |
| 동의율 | 맥휴는 많은 문헌에서 최소한 허용 가능한 평가자 간 일치율로 80%를 권장한다고 지적합니다. | 3 |
| 블랜드-알트만 | 쌍을 이룬 측정값 간의 차이를 평균값에 대해 그래프로 나타낸 것입니다. 일치 한계는 평균 차이에 차이의 표준 편차 1.96을 더하거나 뺀 값입니다. 이 그래프만으로는 일치도가 충분한지 여부를 판단할 수 없습니다. 이는 분석적, 생물학적 또는 임상적 목표에 따라 달라집니다. | 4 |
표 1. 인용된 논문들에 명시된 해석 기준. 이는 관례일 뿐 법은 아니며, 각 출처는 자체적인 한계를 경고하고 있습니다.
이 논문들에는 두 가지 주의 사항이 공통적으로 나타납니다. Koo와 Li는 ICC가 여러 형태로 존재하므로 사용된 형태를 보고해야 한다고 지적합니다. 2 McHugh는 소규모 표본에서 얻은 카파 구간이 일치도가 전혀 없는 경우를 포함할 정도로 넓을 수 있다고 지적합니다. 3
예제 1: 8개 실험실, 15개 샘플
Natali와 동료들은 8개의 연구실에 15개의 혼합 뇌척수액 및 혈청 샘플에서 카파 자유 경쇄(KFLC) 지수를 측정하도록 요청했습니다. K-지수는 뇌척수액/혈청 KFLC 비율을 뇌척수액/혈청 알부민 비율로 나눈 값이며, 5.8 이상인 경우 양성으로 판정했습니다. 4개의 연구실은 Binding Site 장비와 분석법을 사용했고, 3개는 Siemens 장비와 분석법을 사용했으며, 1개는 Siemens 장비와 Binding Site 분석법을 사용했습니다. 샘플은 37명의 환자로부터 채취했으며, 높은 값, 매우 낮은 값, 그리고 기준값에 가까운 값을 포함하도록 선택했습니다.5 이 논문은 CC BY 4.0 라이선스 하에 공개되어 있으며, 각 샘플에 대한 각 연구실의 K-지수를 출력하고 있으므로, 우리는 R을 사용하여 이를 다시 그리고 재계산했습니다.

11개의 샘플은 8개 실험실 모두에서 동일한 판정을 받았습니다. 나머지 4개 실험실에서는 120개의 샘플별 실험실 판정 중 7개가 대부분의 실험실에서 내린 판정과 다른 소수 판정을 받았는데, Editverse는 이를 5.8%로 계산했습니다. 3개의 샘플은 4.6~5.5 사이의 수치를 보여 기준치보다 0.3~1.2 낮았고, 10번 샘플은 혼합 플랫폼 실험실에서 9.8로 판정된 반면 나머지 7개 샘플은 0.4~3.2로 판정되었습니다.
혼합 실험실은 이 표에서 예외적인 경우가 아닙니다. 15개 샘플 중 14개에서 다른 모든 실험실과 같거나 더 높은 값을 나타냈습니다. 그림 2는 이를 다른 7개 실험실의 기하 평균과 비율 척도로 비교합니다. 지아바리나는 차이를 백분율 또는 비율로 나타내고, 차이가 정규 분포를 따르지 않을 경우 데이터를 로그 변환하는 방법을 설명합니다. 4

평균적으로 혼합 실험실의 측정값은 다른 7개 실험실의 기하평균보다 2.27배 높게 나타났으며(95% 신뢰구간 1.83~2.83), 95% 일치 한계는 1.05~4.94였습니다. 샘플이 15개에 불과하기 때문에 각 한계값 자체도 불확실합니다. Giavarina가 설명한 구간법을 따르면 하한값의 95% 구간은 0.72~1.53이고 상한값은 3.38~7.23입니다.<sup> 4</sup> 논문 저자들은 이 실험실이 혈청 KFLC를 과소평가하는 경향이 있어 K-지수가 높아지는 것으로 보인다고 지적하며, 아직 결론을 내릴 수 없다고 밝혔습니다.<sup> 5</sup>
재계산에 반대하는 논문
표 2는 기존에 발표된 통계 자료와 본 연구 결과를 비교한 것입니다. 두 가지 결과가 일치합니다. 하나는 15개 중 11개의 일치율이고, 다른 하나는 8개 연구소의 데이터를 기반으로 플라이스 카파 계수를 사용하여 계산한 전체 연구소 카파 계수 0.77입니다. 결합 부위 ICC는 평균 측정값, 양방향 절대 일치 ICC로 계산했을 때 본 연구 결과와 정확히 일치합니다.
좌우로 스와이프하여 모든 열을 확인하세요.
| 수량 | 종이 보고서 | Editverse 결과(R) |
|---|---|---|
| 8개 실험실 모두에서 동일한 양성 또는 음성 판정이 나온 샘플 | 11 페이지 중 15 페이지 | 11 페이지 중 15 페이지 |
| 모든 실험실에서 K-지수가 양수(5.8 이상)인 경우의 카파 값 | 0.77 | 0.77 (플라이스 카파); 0.78 (28쌍의 코헨 카파 평균) |
| K-지수 ICC, 4 결합 부위 실험실 | 0.97 (0.94 ~ 0.99) | 평균 측정 ICC는 0.97(0.94~0.99), 단일 측정 ICC는 0.89(0.79~0.96)입니다. |
| K-지수 ICC, 지멘스 연구소 3곳 | 0.95 (0.89 ~ 0.98) | 0.99 (0.98~1.00) 단일 측정 |
| K-지수 ICC, 혼합형을 제외한 7개 실험실 | 0.91 (0.82 ~ 0.96) | 0.94 (0.89~0.98) 단일 측정 |
| K-지수 ICC, 8개 실험실 모두 | 0.65 (0.43 ~ 0.84) | 0.77 (0.61~0.90) 단일 측정 |
| 바인딩 사이트 내의 카파 및 지멘스 그룹 내의 카파 | 0.89 및 0.71 | 0.75 및 0.79 (플라이스) |
표 2. Natali et al.의 발표 값; Editverse 값은 15x8 표에서 irr 패키지를 사용하여 R에서 계산되었습니다. 시도된 변형: 단방향 및 양방향 모델, 단일 및 평균 측정, 일치도 및 일관성, 로그 스케일, 5.8 초과라는 엄격한 규칙, Fleiss 대 평균 쌍별 Cohen 카파. 표 제목은 B1이 두 번 인쇄됩니다. 열은 왼쪽에서 오른쪽으로 B1~B4, 혼합, S1~S3 순으로 읽습니다.
다른 행들은 우리가 시도한 어떤 규칙에서도 재현되지 않았으며, 그 원인이 열 레이블, ICC 규칙 또는 그룹 형성 방식 중 어느 것인지 알 수 없습니다. 이는 결론이 아니라 가독성에 중요한 문제입니다. 카파 계수와 ICC는 선택한 모델에 따라 달라지므로 방법론 섹션에서 사용된 모델을 명시해야 합니다. 2 혼합 실험실을 제거하면 Fleiss 카파 계수가 0.77에서 0.80으로 증가합니다.
이 사례가 보여주는 것은 다음과 같습니다. 여러 실험실이 참여한 설계가 어떻게 분석되는지, 불일치가 임계값 근처에 집중되는지, 그리고 단일 플랫폼 불일치가 도출된 지표에 어떤 영향을 미칠 수 있는지입니다. 하지만 이 사례가 보여주지 않는 것은 다음과 같습니다. K-지수가 환자에게서 어떻게 작용하는지, 어떤 플랫폼이 정확한지, 또는 다른 검사들이 어떻게 작용하는지입니다. 이 샘플은 2022년 한 연구에서 임계값 근처에서 선택된 37명의 환자로부터 얻은 15개의 통합 샘플이므로, 15개 중 11개라는 수치는 이러한 선택에 따라 달라집니다. 5
예제 2: 두 실험실에서 수행한 하나의 ELISA 검사
Appeltshauser와 동료들은 동일한 프로토콜을 사용하여 프랑스와 독일의 두 연구소에서 총 42개의 혈청 샘플(감각 신경병증 환자 18명, 소섬유 신경병증 환자 18명, 건강한 대조군 6명)에 대해 항-FGFR3 항체 ELISA를 수행했습니다. 혈청 샘플은 독일 스크리닝에서 양성으로 판정된 모든 샘플과 이에 상응하는 음성 샘플을 포함하도록 선택되었으므로, 경계선 사례가 풍부하게 포함되어 있습니다.8 이 논문은 CC BY 4.0 라이선스에 따라 오픈 액세스 가능합니다.

두 연구소는 42개의 혈청 샘플 중 34개(양쪽 모두에서 양성 13개, 양쪽 모두에서 음성 21개)에서 일치하는 결과를 보였는데, 이는 Editverse에서 계산한 Wilson 95% 신뢰구간 66.7%~90.0%에 해당하는 81.0%의 일치율입니다. 논문에서는 Cohen의 카파 계수를 0.61로 보고하며 이를 상당한 수준이라고 평가했습니다. 논문에서는 불일치를 보인 8개의 혈청 샘플이 두 방향으로 어떻게 나뉘었는지 명시하지 않았으므로, 가능한 모든 분할에 대해 카파 계수를 계산했습니다. 각 불일치 방향에 적어도 하나의 혈청 샘플이 있는 경우, 즉 논문에서 연구소 1에서만 양성 반응을 보인 샘플과 연구소 2에서만 양성 반응을 보인 샘플에 대한 별도의 중앙값을 제시한 경우, 카파 계수는 0.605에서 0.613 사이의 범위에 속하며, 보고된 0.61은 이 범위 내에 있습니다. McHugh의 더 엄격한 표에서는 동일한 값이 중간 수준으로 평가됩니다. 8 , 3
판정 결과보다 판정 기준값이 더 큰 차이를 보였다. 각 실험실은 건강 대조군 혈청을 기준으로 자체적인 판정 기준값을 설정했는데, 실험실 1은 65개, 실험실 2는 50개를 사용했다. 실험실 1의 기준값은 0.371, 실험실 2는 0.122였으며, Editverse로 계산한 비율은 3.04였다. 이때 광학 밀도 중앙값은 실험실 1이 0.293, 실험실 2가 0.076이었다. 저자들은 판정 기준값을 각 실험실별로 따로 결정해야 한다고 결론지었다. 불일치를 보인 8개의 혈청 중 7개는 약한 양성 반응을 보였다.
두 번째 발견 사항은 프로토콜 세부 사항에 관한 것입니다. 연구실 2는 먼저 발표된 정보만을 이용하여 분석법을 구축한 다음, 연구실 1의 상세 프로토콜을 사용하여 이를 반복했습니다. 8
좌우로 스와이프하여 모든 열을 확인하세요.
| 실험실 2 프로토콜 | 차단 주파수(OD440) | 양성: 감각신경병증 | 양성: 소섬유 신경병증 | 양성: 건강한 대조군 |
|---|---|---|---|---|
| 공개된 정보만 해당 | 0.102 | 1 페이지 중 17 페이지 | 1 페이지 중 60 페이지 | 1 페이지 중 50 페이지 |
| 실험실 1의 상세 프로토콜 | 0.122 | 1 페이지 중 17 페이지 | 5 페이지 중 60 페이지 | 2 페이지 중 50 페이지 |
표 3. Appeltshauser 등이 실험실 2에 대해 보고한 수치 및 차단값. 저자들은 작은 프로토콜 수정만으로도 차단값과 결과가 달라질 수 있다고 결론지었다.
이 사례가 보여주는 것은 다음과 같습니다. 연구용 ELISA는 경계선이 풍부한 패널에서 상당한 카파 값을 나타낼 수 있지만, 검사 기관마다 차단값이 약 3배 정도 다르고, 프로토콜 세부 사항에 따라 양성 판정 대상이 달라질 수 있습니다. 하지만 이 사례가 보여주지 않는 것은 어느 검사 기관의 결과가 옳은지입니다. 저자들은 독립적인 표준 기준이 없기 때문에 불일치하는 혈청 결과가 위양성인지 위음성인지 불분명하며, 양성 결과는 임상적 맥락에서 해석해야 한다고 언급합니다. 8
다기관 일치도 연구 설계 및 보고 방법
두 가지 사례와 인용된 지침은 동일한 체크리스트를 가리킵니다.
- 1동일한 샘플을 보내고, 샘플 선정 기준을 설명해 주세요. 자유 경쇄 연구에서는 높은 값, 매우 낮은 값, 그리고 기준치에 가까운 값을 포함하도록 보관된 샘플들을 모아서 분석했습니다. FGFR3 연구에서는 경계선상에 있는 풍부한 혈청을 선택했습니다. 이 점을 언급하는 이유는 이러한 요소들이 모든 합의도 수치에 영향을 미치기 때문입니다.5,8
- 2다른 연구실에서 재현할 수 있도록 실험 프로토콜을 작성하십시오. STARD 2015에서는 재현성을 확보하기 위해 인덱스 테스트에 대한 충분한 세부 정보를 요구하고 있으며(항목 10a), FGFR3 저자들은 이러한 이유로 상세한 ELISA 프로토콜을 발표했습니다.7,8
- 3각 실험실별 기준치를 명시하고, 해당 기준치가 사전에 지정되었는지 여부를 밝히십시오. STARD 2015 항목 12a는 검사 양성 판정 기준값의 정의와 근거를 요구하며, 사전 지정된 기준값과 탐색적 기준값을 구분합니다. FGFR3 논문에서와 같이 실험실별로 보고하십시오.7,8
- 4데이터에 맞는 통계량을 찾고, 그 형태를 명명하세요. 명시된 형식의 수치 결과에 대해서는 ICC, 범주형 결과에 대해서는 카파 계수, 두 방법 간의 일치도에 대해서는 블랜드-알트만 일치 한계를 사용합니다.2,3,4
- 5점추정치뿐만 아니라 신뢰구간도 제시하십시오. Koo와 Li는 ICC의 신뢰 구간을 기준으로 신뢰성을 판단하고, McHugh는 카파가 신뢰 구간이 중요한 추정치라고 설명하며, Giavarina는 일치 한계에 대한 구간을 제시합니다.2,3,4
- 6기준점 근처의 샘플들을 따로 살펴보세요. 두 예시 모두 불일치가 그 부분에 집중되어 있음을 발견했으므로 그림 1에서와 같이 해당 샘플을 보여줍니다.5,8
- 7GRRAS에 보고하십시오. GRRAS 가이드라인은 신뢰성과 일치도를 보고할 때 다뤄야 할 15가지 사항을 논문의 일반적인 제목과 연관시켜 제시합니다. 저희는 해당 가이드라인의 초록과 EQUATOR 네트워크 기록을 검토했으며, 출판사 페이지에는 접근할 수 없었으므로 논문 본문의 내용을 참고했습니다.1
검증 및 숙련도 테스트
합의 연구는 일상적인 품질 관리 규정과 함께 진행됩니다. 미국에서는 CLIA 규정에 따라 실험실이 새로운 검사 시스템을 사용하여 환자 결과를 보고하기 전에 수행해야 하는 사항을 명시하고 있으며, 숙련도 평가 참여를 의무화하고 있습니다. 표 4는 2026년 10월 30일자 연방 전자 규정집(Electronic Code of Federal Regulations)의 내용을 요약한 것이며, 다른 국가들은 자체적인 규정을 가지고 있습니다.
좌우로 스와이프하여 모든 열을 확인하세요.
| 상황 (미국) | 환자 결과 보고 전 필수 사항 | 출처 |
|---|---|---|
| 수정되지 않은, FDA 승인 또는 허가를 받은 테스트 시스템 | 정확도, 정밀도 및 보고 가능 범위 측면에서 제조업체와 유사한 성능을 입증하고, 제조업체의 참고 범위가 환자 집단에 적합한지 검증하십시오. | 9 |
| FDA 승인을 받은 수정된 시험법, 자체 개발 방법 또는 제조업체 사양 없음 | 정확도, 정밀도, 분석 감도, 분석 특이성(간섭 물질 포함), 보고 가능 범위 및 참고 범위, 그리고 기타 필요한 모든 특성을 설정하십시오. | 9 |
| 숙련도 테스트 | 각 전문 분야 및 세부 전문 분야에 대해 HHS(미국 보건복지부) 승인을 받은 숙련도 평가 프로그램에 등록하고, 환자 검체와 동일한 방식으로 검체를 검사하십시오. | 10 |
표 4. 미국 규정만 해당(42 CFR 493.1253 및 493.801, 2026년 10월 30일자 eCFR 기준). 규정은 변경될 수 있으므로 최신 버전을 확인하십시오.
방법 검증에 대한 검토에서는 실험실에서 새로운 방법을 도입할 때 평가하는 특성으로 정밀도, 정확도, 분석 감도, 검출 한계, 분석 특이성, 간섭, 측정 범위, 선형성 및 측정 불확실성을 나열합니다. 11 같은 검토에서는 정확도는 인증 표준물질 또는 숙련도 평가 물질을 사용하여 평가할 수 있으며, 숙련도 평가 물질의 합의 평균 및 표준 편차는 최소 10명 이상의 동료 참여자로부터 얻은 경우에만 사용할 수 있다고 명시하고 있습니다. 또한 두 가지 방법 또는 기기 간의 비교 가능성은 두 가지 모두에서 40~100개의 샘플을 분석하여 평가할 수 있으며, 가능한 방법 중 하나로 블랜드-알트만 분석을 언급합니다. 11
분석 실행 또는 확인이 필요하신가요? Editverse에 문의하세요.
Editverse의 주제별 전문가들은 COPE, ICMJE 및 GPP 2022 지침을 준수하며, 기관 및 국가별 윤리 규정을 따릅니다.
에디버스
SPSS, R 및 Stata 분석
여러 연구소의 데이터가 일치하지만 분석이 실행되거나 확인되지 않았습니까?
제출하실 자료: 데이터, 연구 질문, 선호하는 소프트웨어(SPSS, R 또는 STATA, SAS는 요청 시 제공)
다음과 같은 결과물을 얻을 수 있습니다: 주석이 달린 코드 또는 구문, 완전한 출력 파일, 출력 해석 가이드 및 출판 준비가 완료된 표.
사용 시기: 실험실 데이터가 있고 분석 실행 또는 확인이 필요할 때.
SPSS/R/STATA 통계 분석 · 400달러
에디버스
원고 작성
합의 연구 분석은 완료됐는데 논문은 아직 안 작성됐나요?
제출하실 자료: 데이터, 결과 및 목표 학술지.
다음과 같은 혜택을 받으실 수 있습니다: 박사 학위 소지 전문가가 작성한 원고, 편집, 통계 검토, 저널 선정 및 투고 지원.
시기: 분석은 완료되었지만 논문은 아직 작성되지 않았을 때.
원고 작성 서비스 · 1,500달러
에디버스
저널 선택
실험실 방법 연구가 어디에 속하는지 잘 모르시겠나요?
제출 서류: 원고 또는 초록 및 출판 목표.
다음과 같은 혜택을 받으실 수 있습니다: 연구 범위 적합성, 영향력 지수 및 게재율을 기준으로 선정된 5~10개의 추천 저널 목록과 그 이유.
시기: 결과가 나왔고, 그 결과를 보낼 적절한 곳이 필요할 때.
학술 저널 선정 서비스 · 115달러
Editverse에서 제공하는 무료 리서치 도구
- 블랜드-알트만 플롯 계산기두 측정 방법에 대한 평균 편향 및 95% 일치 한계를 나타낸 표이며, 결과 도출에는 R 명령어가 사용되었습니다.
- ICC 계산기 (급내 상관계수): 단방향 무작위 효과, 단일 측정 ICC(1,1)와 그 공식 및 R 코드.
- 코헨의 카파 계산기(평가자 간 일치도): 두 평가자 간의 관찰된 일치도와 예상된 일치도 및 카파 계수.
자주 묻는 질문
진단 검사에서 반복성과 재현성의 차이점은 무엇인가요?
반복성은 동일한 실험실에서 동일한 시료를 다시 측정했을 때의 변동성을 나타냅니다. 재현성은 동일한 시료를 측정하는 실험실, 기기 또는 측정자 간의 변동성을 나타냅니다. 프라단과 그의 동료들은 이러한 의미를 사용하여, 재현성은 두 실험실에서 발표한 결과의 일관성을, 반복성은 한 실험실에서 발표한 결과의 일관성을 의미합니다.
실험실들을 비교할 때 어떤 통계를 사용해야 할까요?
통계량을 데이터에 맞춰 적용하십시오. 평가자 또는 실험실 간의 수치 결과에 대해서는 Koo와 Li가 설명한 급내 상관 계수(ICC)를 사용하고, 저자에게 사용된 ICC 형식을 명시하도록 요청하십시오. 동일한 수치 척도를 사용하는 두 가지 방법의 경우, Giavarina는 Bland-Altman 일치 한계를 설명합니다. 양성 또는 음성 판정의 경우, McHugh는 카파 통계량을 설명하고 신뢰 구간을 논의합니다.
어떤 ICC 값이 양호한 신뢰도로 간주됩니까?
Koo와 Li는 95% 신뢰구간을 기준으로 판단하여 0.5 미만을 불량, 0.5~0.75를 보통, 0.75~0.9를 양호, 0.90 이상을 우수로 평가했습니다. 8개 실험실 사례에서 혈청 ICC 값 0.81은 0.53~0.93의 신뢰구간을 가지며, 이는 보통에서 우수에 해당하는 범위입니다.
카파 계수 0.61은 좋은 일치도라고 할 수 있을까요?
측정 규모에 따라 다릅니다. McHugh가 인용한 Cohen 밴드에서는 0.61~0.80을 상당한 일치도로 간주합니다. McHugh는 0.60~0.79를 보통 일치도로, 0.60 미만의 카파 값은 불충분한 일치도로 보는 보다 엄격한 표를 제시합니다. 두 실험실의 FGFR3 검사 사례에서 해당 논문은 0.61을 보고했지만, Editverse는 8개의 불일치 혈청을 어떻게 나누든 0.605~0.613 사이의 값이 나온다는 것을 발견했습니다. 이는 해당 논문에서 각 방향으로 한 실험실에서만 양성 반응을 보인 혈청을 보고했기 때문입니다.
실험실 간 의견 차이가 가장 큰 이유는 무엇일까요?
임계값에 근접한 결과는 실험실 간에 약간의 차이로 인해 양쪽으로 치우칠 수 있습니다. 카파 자유 경쇄 예시에서 불일치를 보인 세 샘플의 측정값은 5.8의 기준치보다 0.3~1.2 낮았고, FGFR3 예시에서는 불일치를 보인 8개의 혈청 중 7개가 약한 양성 반응을 보였습니다. FGFR3 연구진은 프로브 취급, 실험실 온도, 시약 준비, 장비 및 피펫팅을 가능한 원인으로 제시했습니다.
실험실은 FDA 승인을 받은 검사법을 사용하기 전에 검증해야 합니까?
미국 CLIA 규정(42 CFR 493.1253)에 따라, FDA 승인 또는 허가를 받은 검사 시스템을 수정 없이 도입하는 검사실은 환자 결과를 보고하기 전에 동등한 정확도, 정밀도 및 보고 가능 범위를 입증하고 제조업체 참조 구간이 해당 환자에게 적합한지 확인해야 합니다. 수정된 검사 또는 자체 개발 검사의 경우, 검사실은 더 긴 성능 사양 목록을 수립해야 합니다. 이는 2026년 10월 30일자 eCFR의 내용이며 미국에만 적용됩니다.
두 실험실에서 동일한 검사에 대해 서로 다른 기준값을 사용할 수 있습니까?
FGFR3 ELISA 연구에서 한 실험실에서는 차단값이 0.371이었고 다른 실험실에서는 0.122였습니다. 연구진은 평균 광학 밀도가 실험실 설정에 따라 달라지기 때문에 각 실험실별로 차단값을 별도로 결정해야 한다고 결론지었습니다. 하지만 이는 하나의 연구 결과에 따른 결론일 뿐, 모든 검사에 적용되는 규칙은 아닙니다.
합의도 조사에는 몇 개의 샘플이 필요합니까?
두 예시 모두 규칙을 제시하지 못합니다. 카파가 없는 경쇄 연구 저자들은 샘플 수가 적다는 점을 한계로 지적했고, McHugh는 샘플 수가 매우 적을 경우 카파 구간이 너무 넓어져 일치도가 전혀 나타나지 않을 수 있다고 언급했습니다. 15개의 샘플을 사용했을 때 Editverse의 Bland-Altman 일치 한계값 자체도 불확실했으며, 하한값에 대한 95% 신뢰구간은 0.72에서 1.53 사이였습니다.
참고자료
- Kottner J, Audigé L, Brorson S 외 연구진은 신뢰도 및 일치도 연구 보고 지침(GRRAS)을 제안했습니다. J Clin Epidemiol. 2011;64(1):96-106. doi:10.1016/j.jclinepi.2010.03.002. 초록과 EQUATOR 네트워크 기록을 읽었지만 출판사 전문은 접근할 수 없었습니다. pubmed.ncbi.nlm.nih.gov/21130355/
- Koo TK, Li MY. 신뢰도 연구를 위한 급내상관계수 선택 및 보고 지침. 카이로프랙틱 의학 저널 2016;15(2):155-163. doi:10.1016/j.jcm.2016.02.012. pmc.ncbi.nlm.nih.gov/articles/PMC4913118/
- McHugh ML. 평가자 간 신뢰도: 카파 통계량. 바이오켐 메드(자그레브). 2012;22(3):276-282. pmc.ncbi.nlm.nih.gov/articles/PMC3900052/
- 지아바리나 D. 블랜드-알트만 분석 이해하기. 바이오켐 메드(자그레브). 2015;25(2):141-151. doi:10.11613/BM.2015.015. pmc.ncbi.nlm.nih.gov/articles/PMC4470095/
- Natali P, Bedin R, Bernardi G, et al. 뇌척수액 및 혈청 카파 유리 경쇄 측정의 실험실 간 일치도. 생체 분자. 2022;12(5):677. doi:10.3390/biom12050677. 오픈 액세스, CC BY 4.0; K-지수 값은 저자의 표 2에서 가져왔으며 모든 통계는 R의 Editverse를 통해 다시 계산되고 그림이 그려졌습니다. pmc.ncbi.nlm.nih.gov/articles/PMC9138559/
- Pradhan S, Gautam K, Pant V. 실험실 보고서의 변동: 실험실 오류 이외의 원인. JNMA J 네팔 Med Assoc. 2022;60(246):222-224. doi:10.31729/jnma.6022. pmc.ncbi.nlm.nih.gov/articles/PMC9200014/
- Bossuyt PM, Reitsma JB, Bruns DE, et al. STARD 2015: 진단 정확도 연구 보고에 필요한 필수 항목의 업데이트된 목록. BMJ. 2015;351:h5527. doi:10.1136/bmj.h5527. pmc.ncbi.nlm.nih.gov/articles/PMC4623764/
- Appeltshauser L, Moritz CP, Reinhardt L, et al. 감각신경병증에서 혈청 섬유아세포 성장인자 수용체 3(FGFR3) 항체 검사의 실험실 간 비교. 프론트 이뮤놀. 2025;16:1604456. doi:10.3389/fimmu.2025.1604456. 오픈 액세스, CC BY 4.0; 텍스트에서 가져온 카운트 및 임계값, R의 Editverse를 사용하여 계산된 파생 값. pmc.ncbi.nlm.nih.gov/articles/PMC12549695/
- 42 CFR 493.1253, 표준: 성능 사양의 설정 및 검증. 전자 연방 규정집, 2026년 10월 30일자(미국). www.ecfr.gov/current/title-42/section-493.1253
- 42 CFR 493.801, 조건: 샘플 등록 및 테스트(숙련도 테스트). 전자연방규정집, 2026년 10월 30일자(미국). www.ecfr.gov/current/title-42/section-493.801
- Abdel Ghafar MT, El-Masry MI. 의료 실험실에서의 정량 분석 방법 검증. 의학 생화학 저널 2021;40(3):225-236. doi:10.5937/jomb0-24764. pmc.ncbi.nlm.nih.gov/articles/PMC8199534/
관련 독서
Editverse 연구팀 | 2026년 11월 업데이트
