발행 | 최종 업데이트:

아무런 결과를 얻지 못한 연구가 곧 실패는 아니며, 무언가를 발견했다고 해서 곧 참인 것도 아닙니다. 신뢰할 수 있는 무효 결과와 헛된 결과, 그리고 진정한 발견과 운 좋은 p값의 차이는 대개 연구자들이 단 하나의 데이터 포인트라도 수집하기 전에 수행하는 계산에 달려 있습니다. 검정력 분석은 바로 이 질문에 대한 답을 제시합니다. 중요하게 여길 만한 최소 효과를 기준으로, 해당 효과를 감지할 가능성을 높이려면 얼마나 많은 참가자, 표본 또는 관찰이 필요한가? 이 계산을 생략하면 연구 규모가 너무 작아 실제로 존재하는 효과를 발견하지 못하거나, 드물지만 필요 이상으로 커져서 예산과 참가자의 시간을 낭비하고 실질적인 이득을 얻지 못하는 결과를 초래할 수 있습니다.

윤리위원회, 학술지 심사위원, 연구비 심사위원단 모두 이제 이 수치를 요구하는데, 그럴 만한 이유가 있습니다. 수십 년 동안 발표된 연구들은 계산에 기반한 표본 크기 결정보다는 습관, 예산, 혹은 추측에 따라 표본 크기를 정했고, 이러한 패턴에 대한 연구 결과는 그다지 긍정적이지 않습니다. 이 가이드에서는 검정력 분석에 필수적인 네 가지 수치를 살펴보고, 실제 산술 계산을 통해 전체 과정을 설명하며, 연구자들이 가장 자주 사용하는 네 가지 연구 설계에 대한 검정력 분석을 다루고, 연구에서 가장 흔히 발생하는 계산 오류를 지적합니다.

간단한 단어로

검정력 분석은 연구 시작 전에 하는 계산이지, 연구 종료 후에 하는 것이 아닙니다. 이 분석은 한 가지 실질적인 질문에 대한 답을 제시합니다. 실제 효과가 존재한다면, 연구에서 이를 제대로 포착할 가능성을 높이려면 얼마나 많은 사람, 동물 또는 표본이 필요한가? 이 계산에는 네 가지 요소가 함께 작용해야 합니다. 첫째, 효과의 크기를 얼마나 중요하게 생각하는지, 둘째, 오탐지 위험을 얼마나 감수할 것인지, 셋째, 실제 효과를 얼마나 확실하게 포착하고 싶은지, 그리고 마지막으로 이 세 가지 요소를 모두 만족시키는 표본 크기입니다. 이 네 가지 요소를 제대로 고려하면, 유의미한 결과가 나오지 않더라도 의미가 있습니다. 반대로 검정력 분석을 소홀히 하면, 유의미한 결과가 나오더라도 연구 자체가 공정한 기회를 갖지 못했다는 의미일 수 있습니다.

권력 분석이 실제로 결정하는 것은 무엇인가

모든 가설 검정에는 두 가지 오류가 발생할 수 있습니다. 연구에서 참인 귀무 가설을 기각할 수도 있는데, 이를 제1종 오류라고 합니다. 반대로 거짓인 귀무 가설을 기각하지 못할 수도 있는데, 이를 제2종 오류라고 합니다. 알파는 연구자가 허용할 수 있는 제1종 오류의 위험률로, 거의 항상 0.05로 설정됩니다. 검정력은 같은 검정을 반대 관점에서 바라봅니다. 검정력은 1에서 베타를 뺀 값으로, 여기서 베타는 제2종 오류율입니다. 검정력은 실제로 존재하는 효과를 정확하게 탐지할 확률을 나타냅니다.

테스트 결정귀무가설은 사실 참이다귀무가설은 사실 거짓이다
귀무가설을 기각합니다제1종 오류율 = α (일반적으로 0.05)정확한 탐지율 = 전력 = 1 − β
귀무가설을 기각하지 못함정확한 미검출률 = 1 − α제2종 오류율 = β

표본 크기는 이 모든 것을 연결하는 핵심 요소입니다. 효과 크기와 유의 수준(알파)을 일정하게 유지할 때, 표본 크기가 커질수록 검정력이 높아집니다. 데이터가 많아질수록 추정치 주변의 잡음이 줄어들고, 실제 차이를 우연과 구분하기가 더 쉬워지기 때문입니다. 검정력 분석은 연구자가 원하는 검정력과 효과 크기를 출발점으로 삼아, 그 목표를 달성하는 데 필요한 표본 크기를 계산하는 역방향 접근 방식입니다.

전력 분석의 핵심 네 가지 숫자

검정력 분석에서는 네 가지 요소가 서로 영향을 미치며, 이 중 세 가지를 확정하면 나머지 하나도 결정됩니다. 효과 크기는 의미 있는 차이 또는 연관성의 크기를 나타내며, 표준화된 척도로 표현되어 결과 및 연구 간 비교가 가능합니다. 알파는 오탐지 허용치를 설정하는데, 응용 연구에서는 거의 항상 0.05이지만, 오경보로 인한 비용 증가나 위험이 큰 경우에는 0.01까지 낮추기도 합니다. 검정력은 실제 효과를 놓칠 가능성을 설정하는데, 일반적으로 0.80이지만 확증 연구나 중요도가 높은 연구에서는 0.90으로 높아지는 추세입니다. 나머지 세 가지 요소가 확정되면 표본 크기는 자연스럽게 결정됩니다.

제이콥 코헨의 효과 크기와 표본 크기에 관한 영향력 있는 연구 덕분에 80%라는 수치가 일반적인 검정력 목표치로 자리 잡았으며, 대부분의 학술지와 연구비 지원 기관의 지침에서도 여전히 기본값으로 사용되고 있습니다. 그러나 실제 효과가 연구자들이 처음 기대했던 것보다 작게 나타나는 경우가 많다는 점을 고려하여, 최근에는 점점 더 많은 방법론 전문가들이 90%를 권장하고 있습니다.

코헨은 또한 작은 효과, 중간 효과, 큰 효과에 대한 기준값을 제시했으며, 심리학, 의학, 역학 분야의 연구자들은 기존 데이터에서 더 나은 추정치가 없을 때 여전히 이 값을 활용합니다. 하지만 이는 관례일 뿐 자연의 법칙은 아닙니다. 예비 연구나 관련 연구에서 발표된 효과 크기는 일반적인 추측보다 항상 더 신뢰할 만합니다.

Test 효과 크기 측정작은중급큰
두 그룹 비교코헨의 d0.20.50.8
두 연속 변수 간의 연관성상관계수 r0.10.30.5
세 개 이상의 그룹 평균 비교코헨의 f0.100.250.40
다중 회귀코헨의 f²0.020.150.35
범주형 연관코헨의 w0.100.300.50

검정력 분석에서 흔히 발생하는 오류 중 하나는 표에서 잘못된 행을 선택하는 것입니다. 한 분야에서 중간 정도의 효과가 다른 분야에서는 지나치게 낙관적이거나 비관적일 수 있으며, 유사 연구 결과와 일치하는지 확인하지 않고 "중간"으로 설정하는 것은 계산으로 위장한 추측에 불과합니다. 알파 값과 통계적 유의성은 서로 상호작용하므로 , 이 두 가지 결정이 어떻게 연관되는지 이해하고 최종 수치를 확정하는 것이 중요합니다.

표본 크기가 부족한 연구는 가상의 문제가 아닙니다.

이 단계를 건너뛸 경우 발생하는 결과는 이론적인 것이 아니라 실제로 입증된 사실입니다. 부정적인 결과로 발표되었던 71건의 임상 시험을 재검토한 결과, 그중 67건(전체의 94%)은 실제 25%의 치료 효과 개선을 놓칠 위험이 10%를 넘는 것으로 나타났습니다. 이는 해당 시험들이 효과를 확인할 만큼 충분한 환자를 모집하지 않았기 때문입니다. 또한, 동일한 71건의 시험 중 50건(70%)은 최대 50%의 효과 개선을 놓쳤을 가능성이 있습니다(Freiman et al., 1978, New England Journal of Medicine ).

Moher, Dulberg, 그리고 Wells는 1975년, 1980년, 1985년, 그리고 1990년에 걸쳐 JAMA , The Lancet , 그리고 New England Journal of Medicine 에 발표된 383건의 임상시험을 분석했습니다. 사용 가능한 결과 데이터가 있는 70건의 음성 두 그룹 비교 임상시험 중, 25%의 상대적 차이를 감지할 수 있는 통계적 검정력을 가진 시험은 16%에 불과했고, 50%의 상대적 차이를 감지할 수 있는 시험은 36%에 그쳤는데, 이는 15년 동안의 연구 발표 기간 동안 거의 변화가 없는 수치입니다. 물론 그 기간 동안 보고 방식은 개선되었습니다. 표본 크기 계산은 1975년에는 이러한 논문 중 0%에서만 언급되었지만, 1990년에는 43%로 증가하여 실질적인 진전을 이루었습니다. 그러나 43%라는 수치는 여전히 음성 결과가 나온 대부분의 임상시험에서 그 계산 방법을 제시하지 않았음을 의미합니다(Moher et al., 1994, JAMA ).

주요 결과: 이러한 패턴은 임상 시험이나 20세기에만 국한된 것이 아닙니다. 널리 인용되는 한 분석에 따르면 신경과학 연구의 평균 통계적 검정력이 낮아 발표된 효과 크기가 부풀려지고 결과의 재현 빈도가 감소하는 것으로 나타났습니다(Button et al., 2013). 자연 리뷰 신경 과학). 2021년 정형외과 임상시험에 대한 감사에서도 동일한 문제가 해당 분야에서 처음 제기된 지 20년 만에 비슷한 결론에 도달했으며, 발표된 연구 결과가 재현성 검증에서 타당성을 입증하지 못하는 근본적인 이유로 불충분한 검정력을 지적했습니다(Reito et al., 2021). JBJS 리뷰).

지난 40년간의 메타 연구를 통해 동일한 실패 사례가 계속해서 반복되고 있습니다. 연구는 예산이나 모집 기간에 맞춰 표본 크기를 정한 후, 마치 그 표본 크기가 특정 효과를 미리 예측하기 위해 선택된 것처럼 분석합니다. 하지만 대개는 그렇지 않습니다. 무작위 대조 시험의 설계와 분석은 단 한 명의 참가자도 등록하기 전에 이 부분을 제대로 해야 합니다. 왜냐하면 일단 표본 크기가 부족하고 시험이 진행 중이면 통계적으로 수정할 수 없기 때문입니다.

전력 분석 실행 방법 선택하기

표본 크기를 결정하는 세 가지 실용적인 방법이 있으며, 어떤 방법이 적합한지는 연구 설계가 얼마나 표준적인지에 따라 달라집니다. 교과서적인 연구 설계, 즉 두 집단 비교, 일원 분산 분석, 상관 분석, 표준 회귀 분석의 경우, 정해진 공식이 존재하며 무료 소프트웨어를 통해 즉시 적용할 수 있습니다. G*파워뒤셀도르프 하인리히 하이네 대학교 연구팀이 개발하고 널리 인용되는 방법론 논문에 문서화된 이 도구는 포인트 앤 클릭 인터페이스를 통해 이러한 테스트의 대부분을 다루며, 방법론 강좌 및 저널 지침에서 가장 일반적으로 권장되는 무료 옵션으로 남아 있습니다(Faul et al., 2007). 행동 연구 방법R 사용자는 다음을 통해 동일한 계산을 수행할 수 있습니다. pwr 이 패키지는 G*Power의 출력 결과를 그대로 반영하며, 재현 가능한 분석 스크립트에 자연스럽게 통합됩니다.

프로 팁 : 프로토콜을 확정하기 전에 양방향으로 계산을 수행하세요. 목표 검정력에 필요한 표본 크기를 계산한 다음, 반대로 예산이나 모집 기간에 맞춰 실제로 얻을 수 있는 표본 크기를 계산하세요. 두 수치 간의 차이를 데이터 수집 시작 전에 아는 것이 중요하며, 수집 후에 알아두는 것은 바람직하지 않습니다.

공식과 G*Power는 모두 표준적인 연구 설계를 전제로 합니다. 하지만 연구에 군집화, 예를 들어 병원 내 환자 구조, 동일인에 대한 반복 측정, 계획된 결측 데이터, 또는 혼합 효과 모델이나 베이지안 분석과 같은 비표준 모델이 포함되는 경우, 폐쇄형 공식은 더 이상 신뢰할 수 없으며 시뮬레이션이 더 안전한 선택이 됩니다. 시뮬레이션 기반 검정력 분석은 가정된 효과 크기와 분석 모델을 기반으로 수천 개의 가상 데이터 세트를 생성하고, 각 데이터 세트에 대해 계획된 통계 검정을 실제로 실행한 후, 유의미한 결과를 얻은 실행 비율을 보고합니다. 시뮬레이션 설정은 G*Power에 직접 입력하는 것보다 시간이 더 오래 걸리지만, 폐쇄형 공식으로는 처리할 수 없는 복잡성을 다룰 수 있습니다.

실제로 실행할 네 가지 설계에 대한 전력 분석

아래는 대부분의 응용 연구를 포괄하는 네 가지 설계 방식과 각 방식의 논리적 근거, 그리고 중간 효과 크기, 유의수준 0.05, 검정력 80%를 기준으로 한 실제 계산 예시입니다. 아래의 모든 수치는 연구자들이 실제 연구 프로토콜에 사용하는 통계 소프트웨어에서 도출된 것이며, 경험 법칙에 따른 것이 아닙니다.

두 개의 독립 그룹 (t-검정)

두 독립 집단의 평균을 비교하는 것, 즉 치료군과 대조군, 또는 노출군과 비노출군을 비교하는 것은 표본 크기 논의에서 가장 흔히 사용되는 설계 방식입니다. 여기서 검정력은 코헨의 d 값, 즉 두 집단 평균의 차이를 표준편차 단위로 나타낸 값에 따라 달라집니다. 로지스틱 회귀 분석은 결과 변수가 연속형이 아닌 이진형일 때 유사한 두 집단 비교를 처리하는데 , 이때 사용되는 계산 방식은 관련이 있지만 서로 다릅니다. 이 계산 방식은 아래에서 자세히 설명합니다.

일원 분산 분석(세 개 이상의 그룹 평균)

비교 대상이 두 그룹을 넘어서면 t-검정 대신 분산분석(ANOVA)을 사용하고, 효과 크기는 각 그룹 내 변동성에 비해 그룹 평균이 얼마나 퍼져 있는지를 나타내는 코헨의 f 값으로 바뀝니다. 개별 환자가 아닌 병원을 무작위 배정하는 임상시험 처럼 여러 그룹에 더해 클러스터링이 추가된 설계에서는 설계 효과라는 추가적인 조정이 필요합니다. 이는 동일한 클러스터에 속한 환자들이 서로 다른 클러스터에 속한 환자들보다 더 유사하다는 점을 고려하여 필요한 표본 크기를 늘리는 것입니다.

상관관계(두 연속 변수 간의 연관성)

연속 변수 두 개(혈압과 나이) 또는 설문 점수와 결과 변수 간의 상관관계를 검정할 때, 피어슨 상관계수(r)를 효과 크기로 직접 사용합니다. 이론적으로는 선형처럼 보이지만 실제 데이터에서는 그렇지 않은 관계를 분석할 때는, 검정력이 다소 떨어지는 비모수적 접근 방식을 사용해야 하므로, 애초에 적절한 검정 방법을 선택하는 것이 생각보다 중요합니다.

다중 회귀 분석(결과 변수의 예측 변수 검정)

여러 예측 변수를 동시에 검정하거나, 공변량을 조정하면서 단일 예측 변수를 검정하는 회귀 모델에서는 코헨의 f² 통계량을 사용합니다. 이는 관심 있는 예측 변수들이 설명하는 분산과 나머지 분산을 비교하는 비율입니다. 임상 연구에서 다변량 회귀 분석은 여러 공변량이 모델에 포함될 경우 단순 두 그룹 비교보다 더 많은 참가자가 필요한 경우가 많으며, 이진 결과에 대한 로지스틱 회귀 분석은 표준 검정력 계산 외에도 예측 변수당 대략 10개의 관찰된 사건이라는 추가적인 경험 법칙을 적용해야 합니다.

디자인중간 효과 크기필요한 샘플 크기
두 개의 독립적인 그룹 (t-검정)디 = 0.5그룹당 64명 (총 128명)
일원 분산 분석, 3개 그룹f = 0.25그룹당 53명 (총 159명)
상관계수(피어슨 상관계수 r)R = 0.3N = 85
다중 회귀 분석, 예측 변수 5개f² = 0.15N = 92
카이제곱 검정, 2×2 표승 = 0.3N = 88

모든 수치는 R을 사용하여 α = 0.05, 양측 검정, 검정력 80%에서 계산되었습니다. stats pwr 동일한 입력에 대해 G*Power의 출력과 일치하는 패키지입니다.

재사용할 수 있는 예제

다음은 해당 표의 첫 번째 행에 대한 전체 계산 과정입니다. 소프트웨어 내부에 숨겨진 논리가 아니라 손으로 직접 계산한 것이므로 논리가 명확하게 드러납니다.

연속형 결과 변수에 대해 새로운 치료법과 표준 치료법을 비교하는 2군 임상시험을 가정해 보겠습니다. 기존 연구에 따르면, 코헨의 d 값으로 표준화된 차이가 0.5인 경우, 이는 탐지할 가치가 있는 최소 효과 크기로, 일반적인 중간 정도의 효과에 해당합니다. 유의수준 α는 양측 검정에서 0.05로 설정되었으며, 검정력은 80%로, 효과가 실제로 존재할 경우 이를 탐지할 확률이 80%입니다.

두 그룹 비교에 대한 정규 근사 공식은 그룹당 n = (α/2에 대한 z 값과 검정력 z 값을 더한 값)의 제곱을 2배한 후 d의 제곱으로 나눈 값입니다. 표준값은 유의수준 0.025에서 z 값이 1.96이고, 검정력 80%에서 z 값이 0.84입니다.

그룹당 n = 2 × (1.96 + 0.84)² ÷ 0.5²
    = 2 × (2.80)² ÷ 0.25
    = 2 × 7.84 ÷ 0.25
    = 15.68 ÷ 0.25
    = 62.8, 반올림하여 그룹당 참가자 63명

일반적인 근사치는 근접하지만 G*Power나 R이 계산하는 값과 정확히 일치하지는 않습니다. 두 프로그램 모두 위의 단축 계산 방식 대신 정확한 비중심 t 분포를 사용하는데, 이 단축 계산 방식이 약간 더 보수적입니다. 동일한 입력값(d = 0.5, 알파 = 0.05 양측 검정, 검정력 80%)을 R에 적용하면 다음과 같습니다. power.t.test 함수는 그룹당 63.8을 반환하며, 소수점 첫째 자리에서 반올림합니다. 그룹당 64명, 총 128명 참가이는 방법론 섹션에서 실제로 보고하는 수치와 G*Power가 이 설계에 대해 생성하는 수치와 동일합니다.

근사값과 정확한 값 사이의 차이가 중요한 이유는 단 하나입니다. 소프트웨어가 실제로 사용하는 정확한 방법 대신 대략적인 지름길을 신뢰하는 것은 작은 오차가 누적되어 큰 문제로 이어지는 것과 같습니다. 예를 들어, 예산표상으로는 사소해 보일 수 있는 참가자 수를 그룹당 64명에서 40명으로 줄이면, 동일한 d=0.5 효과에 대한 검정력이 연구 설계 당시 목표로 했던 80%가 아닌 60% 미만으로 떨어집니다. 이는 실제 중간 정도의 효과를 완전히 놓칠 확률이 동전 던지기에 가까울 정도로 낮아지는 것이며, 프라이먼과 모허가 수십 년간 발표된 연구들을 통해 확인한 바로 그 검정력 부족 패턴입니다.

그룹당 표본 크기달성된 검정력 (d = 0.5, α = 0.05)
4059.8%
6480.2%
8690.0%

앞서 제시된 표의 행 중 하나와 일치하는 디자인의 경우, Editverse의 무료 샘플 크기 계산기는 R이나 G*Power를 로컬에 설치하지 않고도 정확히 이 계산을 수행하며, 사용 방법 안내에서 모든 입력 필드를 자세히 설명합니다.

전력 분석을 조용히 무너뜨리는 실수들

  • 자신의 결과를 바탕으로 사후 검정력을 계산합니다. 연구 자체의 p값으로부터 사후에 계산된 검정력은 수학적으로 해당 p값을 재조정한 것에 불과합니다. 실질적인 정보를 추가하지 않으며 대부분의 방법론 전문가들은 이를 보고하지 않도록 권고합니다.
  • 예비 데이터나 문헌적 근거 없이 효과 크기를 추측하는 것. "중간"이라는 값이 합리적으로 들린다는 이유로 기본값을 설정하는 것은 계산을 실험복을 입은 추측으로 바꿔놓는 것과 같습니다.
  • 예상되는 탈락이나 결측 데이터를 무시합니다. 검정력 분석은 실제 모집 인원이 아닌 분석에 필요한 표본 크기를 제시합니다. 예상되는 탈락률은 계산된 인원수에 더해야 하며, 나중에 계산된 인원수에 포함시키면 안 됩니다.
  • 군집화, 반복 측정 또는 다중 비교를 고려하지 않았습니다. 이러한 변화들은 각각 유효 표본 크기 또는 실제로 사용되는 알파 값을 변경하며, 조정을 생략하면 연구가 갖고 있다고 생각하는 검정력이 조용히 약화됩니다.
  • 검정력 분석을 윤리위원회의 승인을 받기 위한 형식적인 절차로만 여기는 것. 연구 도중에 연구군을 추가하거나, 주요 결과 변수를 변경하거나, 분석 계획을 수정하는 경우 새로운 계산을 수행해야 하지만, 이 단계가 필요 이상으로 자주 생략됩니다.
  • 통계적 유의성과 실제적 유의성을 혼동하는 것. 표본 크기가 매우 크면 임상적으로나 실질적으로 중요하지 않을 정도로 작은 차이까지 감지할 수 있는데, 이는 그 자체로 설계상의 실패라고 할 수 있습니다.

논문 또는 연구비 신청을 위한 역량 분석 작성하기

방법론 섹션에서는 심사자나 연구비 심사위원단의 통계 전문가가 검정력 분석을 실제로 검증할 수 있도록 충분한 정보를 제공해야 합니다. 단순히 분석이 이루어졌다는 사실만으로는 충분하지 않습니다. 즉, 가정한 효과 크기의 출처(예비 연구, 발표된 메타 분석, 명시된 최소 임상적으로 중요한 차이 등)를 명확히 제시하고, 알파 값과 검정력 목표치, 그리고 사용된 소프트웨어 또는 공식을 정확하게 명시해야 합니다.

  • 효과 크기와 그 원인을 명시하십시오. “[이전 연구]를 바탕으로 중간 정도의 효과(d = 0.5)를 가정했습니다.”는 검증 가능합니다. “합리적인 효과를 가정했습니다.”는 검증 불가능합니다.
  • 알파 값과 검정력을 명시적으로 보고하십시오. 독자가 최종 표본 크기 수치만으로 이러한 사실을 추론하도록 해서는 안 됩니다.
  • 소프트웨어 이름과 테스트 이름을 알려주세요. G*Power, R의 pwr package, PASS, 및 nQuery는 각 도구마다 약간씩 다른 결과를 생성할 수 있으므로, 도구에 이름을 지정하면 다른 사람이 동일한 결과를 재현할 수 있습니다.
  • 탈락이나 집단화로 인한 부풀려진 수치를 포함하여 최종 수치를 정직하게 보고하십시오. 만약 계산에 필요한 참가자 수보다 적은 참가자가 등록되었다면, 그 사실을 명시하고 그로 인한 검정력을 직접 논의해야 하며, 검토자가 알아차리도록 맡겨서는 안 됩니다.

연구비 심사위원들이 이 부분을 꼼꼼히 읽는 데에는 이유가 있습니다. 통계적 접근 방식이 일관성이 없으면 연구 제안서가 엄밀성 평가에서 낮은 점수를 받는 흔한 원인 중 하나이며, 이는 피할 수 있는 문제입니다. 규정 준수에 중점을 둔 연구비 제안서 심사는 제출 훨씬 전에 이러한 문제점을 발견하여 심사위원의 불운에 맡기지 않습니다.

전력 분석에 대한 실질적인 도움을 받으세요

일부 검정력 분석은 일상적인 작업입니다. 하지만 군집 분석, 결측치 분석, 또는 템플릿 계산 방식으로는 검증이 불가능할 정도로 복잡한 모델을 다루는 분석도 있습니다. Editverse의 통계 전문가들은 이러한 다양한 유형의 분석을 모두 처리합니다.

학위논문 및 원고 통계 분석

$600

통계학 박사들은 SPSS, R 또는 STATA를 사용하여 검정력 분석, 표본 크기 산정 및 전체 분석 계획을 수립합니다.

자세히 보기 →

연구비 지원 제안서 편집 및 규정 준수 검토

$1,190

제출하기 전에 제시한 검정력 분석이 목표, 분석 계획 및 자금 지원 기관의 요구 사항과 실제로 일치하는지 확인하십시오.

자세히 보기 →

전력 분석에 대한 자주 묻는 질문

중간 효과 크기를 얻으려면 표본 크기가 얼마나 되어야 할까요?

설계 방식에 따라 다르지만, 참고로 일반적인 검정력 80%와 유의수준 0.05에서 두 독립 집단 간의 중간 효과(Cohen's d = 0.5)를 감지하려면 집단당 64명, 총 128명의 참가자가 필요합니다. 비슷한 중간 효과를 감지하기 위한 세 집단 간의 일원 분산 분석(ANOVA)에는 집단당 약 53명이 필요합니다. 효과가 클수록 필요한 참가자 수는 훨씬 적고, 효과가 작을수록 훨씬 많은 참가자가 필요하기 때문에 효과 크기를 잘못 예측하는 것은 매우 큰 손실로 이어질 수 있습니다.

80% 전력으로 사용해야 할까요, 아니면 90% 전력으로 사용해야 할까요?

대부분의 발표된 연구와 연구비 지원 기관의 양식에서는 여전히 80%의 검정력을 기본값으로 사용하지만, 이는 실제 효과를 놓칠 확률을 5분의 1로 간주하는 것입니다. 확증 시험 및 등록 연구에서는 검정력을 90%로 명시하는 경우가 점점 늘어나고 있으며, 이는 필요한 표본 크기를 상당히 증가시켜 두 그룹 t-검정에 대한 80% 계산치보다 약 30~40% 더 크게 만듭니다.

사전 검정력과 사후 검정력의 차이점은 무엇인가요?

사전 검정력 분석은 데이터 수집 전에 이루어지며 연구 설계가 답해야 할 질문, 즉 특정 효과를 감지하는 데 필요한 표본 크기가 얼마나 되는지에 대한 답을 제공합니다. 사후 검정력 또는 관찰 검정력은 연구 결과와 해당 연구의 p값을 기반으로 사후에 계산되며, 대부분의 방법론 전문가들은 이를 유용한 정보가 거의 없는 것으로 간주합니다. 왜냐하면 이는 새로운 증거를 제시하는 것이 아니라 이미 확보된 p값을 수학적으로 변환한 것에 불과하기 때문입니다.

이미 완료한 연구에 대해 검정력 분석을 실행할 수 있나요?

제한적이고 과거 지향적인 방식으로만 가능합니다. 특정 효과 크기에 필요한 표본 크기를 계산하는 것은 가능하며, 이는 후속 연구나 재현 연구를 계획하는 데 유용하지만, 이미 관찰된 효과와 p값을 기반으로 검정력을 계산하는 것은 연구 결과에 대해 심사자에게 설득력 있는 정보를 제공하지 못합니다.

질적 연구에도 검정력 분석이 적용될 수 있을까요?

아니요. 검정력 분석은 가설 검정, p값, 표본 분포 등을 중심으로 하는 빈도주의적 통계 개념으로, 질적 연구 방법에는 적용되지 않습니다. 질적 연구자들은 일반적으로 주제 포화, 즉 추가 인터뷰나 자료 수집을 통해 더 이상 새로운 코드나 주제가 나오지 않는 시점을 기준으로 표본 크기를 결정합니다.

예비 데이터가 없는 경우 어떤 효과 크기를 사용해야 할까요?

유사한 연구 또는 동일한 결과에 대한 메타분석에서 발표된 효과 크기를 사용하는 것이 일반적인 추측보다 항상 더 나은 선택입니다. 둘 다 없는 경우, 코헨의 관례적인 중간 효과 크기가 타당한 차선책이 될 수 있지만, 심사자가 질문할 가능성이 높으므로 방법론 섹션에서 해당 값이 연구의 특정 모집단에 근거한 추정치가 아니라 관례적인 값임을 명확히 밝혀야 합니다.

중도 탈락이나 학업 중단은 계산 방식에 어떤 영향을 미치나요?

검정력 분석은 실제 모집 인원이 아닌 분석에 필요한 표본 크기를 제시합니다. 참가자의 15%가 중도 탈락하거나 추적 관찰에서 제외될 것으로 예상되는 경우, 목표 표본 크기를 0.85로 나누어 목표 모집 인원을 구합니다. 분석에 필요한 참가자가 128명이고 예상 탈락률이 15%인 연구라면 대략 151명을 모집해야 합니다.

G*Power는 무료인가요?

네. G*Power는 무료이며, 뒤셀도르프 하인리히 하이네 대학교 연구원들이 개발 및 유지 관리하고 있습니다. Windows 및 Mac용 데스크톱 애플리케이션을 다운로드하여 t-검정, ANOVA, 상관관계, 회귀 분석, 카이제곱 검정 및 기타 몇 가지 덜 일반적인 분석 방법을 사용할 수 있습니다.

만약 내 디자인이 표준 공식과 일치하지 않으면 어떻게 해야 할까요?

시뮬레이션 기반 검정력 분석은 혼합 효과 모델, 군집 또는 다단계 설계, 베이지안 분석 등 폐쇄형 공식으로 깔끔하게 처리할 수 없는 모든 경우에 대한 표준적인 해결책입니다. G*Power보다 설정하는 데 시간이 더 오래 걸리지만 R 또는 유사한 환경에서 코딩하고 분석할 수 있는 거의 모든 설계에 적용할 수 있습니다.

주요 요점

  • ✓ 효과 크기, 유의 수준(알파), 검정력, 표본 크기 중 세 가지를 고정하면 검정력 분석을 통해 나머지 한 가지를 구할 수 있습니다.
  • ✓ 유의수준 0.05와 검정력 80%는 일반적인 출발점일 뿐, 고정된 규칙은 아닙니다.
  • ✓ 1978년 감사부터 2021년 재분석에 이르기까지 수십 년간 발표된 연구 결과에서 동일한 통계적 검정력 부족 문제가 지속적으로 발견되었습니다.
  • ✓ G*Power와 R의 전력 패키지는 표준 설계에 대해 무료로 제공되며, 나머지 부분은 시뮬레이션을 통해 지원됩니다.
  • ✓ 계산 과정에는 최종 숫자뿐만 아니라 계산 과정 자체도 함께 제시해야 합니다.
  • ✓ 모집 계획을 확정하기 전에 예상되는 중도 탈락률을 고려하여 등록 목표치를 높이십시오.
  • ✓ 효과 크기, 원인, 알파 값, 검정력 및 사용 소프트웨어를 매번 보고하십시오.

제출 전에 전력 분석 결과를 검토받고 싶으신가요?

Editverse의 통계 전문가들은 모든 분야의 연구자들을 위해 표본 크기 산정 근거, 연구비 지원 신청서, 전체 분석 계획 등을 검토합니다.

통계적 지원을 받으세요
무료 상담

참고자료

  1. Freiman JA, Chalmers TC, Smith H Jr, Kuebler RR. 무작위 대조 시험의 설계 및 해석에서 베타, 제2종 오류 및 표본 크기의 중요성. 71개의 "부정적" 시험에 대한 조사. N ENGL J 메드. 1978;299(13):690-694. https://pubmed.ncbi.nlm.nih.gov/355881/
  2. Moher D, Dulberg CS, Wells GA. 무작위 대조 시험에서의 통계적 검정력, 표본 크기 및 보고. JAMA. 1994;272(2):122-124. https://pubmed.ncbi.nlm.nih.gov/8015121/
  3. Button KS, Ioannidis JPA, Mokrysz C, 외. 검정력 부족: 왜 작은 표본 크기가 신경과학의 신뢰성을 저해하는가. Nat Rev Neurosci. 2013;14(5):365-376. https://pubmed.ncbi.nlm.nih.gov/23571845/
  4. Faul F, Erdfelder E, Lang AG, Buchner A. G*Power 3: 사회과학, 행동과학 및 생의학 분야를 위한 유연한 통계적 검정력 분석 프로그램. 동작 해상도 방법. 2007;39(2):175-191. https://pubmed.ncbi.nlm.nih.gov/17695343/
  5. Reito A, Raittio L, Helminen O. 2년 후 정형외과 분야 무작위 대조 시험의 표본 크기 및 통계적 검정력 재검토. JBJS 개정판 2021; 9 (3). https://pubmed.ncbi.nlm.nih.gov/32224628/
  6. 뒤셀도르프 하인리히 하이네 대학교. G*Power: 통계적 검정력 분석 소프트웨어. https://www.psychologie.hhu.de/arbeitsgruppen/allgemeine-psychologie-und-arbeitspsychologie/gpower
  7. Champely S, et al. pwr: 전력 분석을 위한 기본 함수. 종합 R 아카이브 네트워크. https://cran.r-project.org/package=pwr
  8. 보스턴대학교 공중보건대학원. 검정력 및 표본 크기 결정. https://sphweb.bumc.bu.edu/otlt/mph-modules/bs/bs704_power/bs704_power_print.html