메타분석 | PRO AnalytiX Lab

← 나의 연구목적에 맞는 분석방법 알아보기

Meta-analysis

언제 쓰나요?

여러 연구가 같은 질문에 대해 비교 가능한 효과크기를 보고했을 때 평균적인 관련성이나 효과를 수치로 합치려 할 때 씁니다.
분석 단위는 개인이 아니라 연구별 효과크기입니다. 각 효과의 표본크기·표준오차 등 불확실성 정보와 표본 중복 여부가 필요합니다.
연구별 효과를 통계적으로 통합하고 연구마다 결과가 얼마나 다른지 이질성을 추정합니다. 차이가 크면 연구 특성별 차이를 살펴봅니다.
통합 효과와 신뢰구간, 이질성, 편향·민감도 검토를 제시합니다. 평균 효과 하나만으로 모든 조직과 집단에 같은 효과가 있다고 말할 수 없습니다.

예를 들면

각 논문에서 조직몰입과 이직의도의 상관계수, 표본크기, 직종, 몰입 유형을 추출합니다.
비교 가능한 상관을 효과크기로 바꿔 합치고 연구 결과가 서로 다른 정도를 추정합니다.
평균 관련성의 크기와 신뢰구간을 제시하고, 직종이나 몰입 유형에 따라 결과가 달라지는지 살펴봅니다.

선택할 때 확인할 점

개인의 설문 원자료를 모두 합치는 방식과 다릅니다.
각 연구가 보고한 비교 가능한 효과와 불확실성 정보를 모읍니다.

메타분석에서 처음 볼 용어를 확인하세요 (절차·분석·해석)

먼저 질문과 핵심 개념을 확인하고, 설계·절차에서 분석과 결과 해석으로 이어서 읽어 보세요. 이 방법의 주요 용어를 이해하고 연구문제에 맞는 선택을 돕는 학습 안내입니다. 아래 분석 순서와 점검표도 함께 확인하세요.

1. 질문과 핵심 개념

공통 질문과 효과크기: 여러 연구가 충분히 유사한 질문·대상·결과를 다루고 비교 가능한 효과와 분산을 제공할 때 정량 통합을 검토합니다. 연구 간 공통 효과와 차이 중 무엇을 추정할지 정합니다.
효과크기와 표준오차: 상관 r, 평균차, 오즈비 등 연구 결과의 크기를 나타내는 추정량과 그 표집 불확실성입니다. 같은 질문을 다른 척도로 측정했다면 적절히 변환하고 방향을 통일합니다.

2. 설계와 절차

코딩 지침과 의존성: 포함·제외 기준, 효과 선택, 표본·측정 특성을 코딩 규칙으로 정합니다. 한 논문에서 여러 효과를 추출하면 서로 독립이 아닐 수 있어 다층모형 등 의존성 처리가 필요합니다.
고정효과·랜덤효과 모형: 고정효과 모형은 공통의 단일 참효과를 가정하는 조건부 추정을, 랜덤효과 모형은 연구별 참효과가 분포한다고 보고 그 평균과 분산을 추정합니다. 랜덤효과라고 모든 연구가 자동으로 대표성을 갖는 것은 아닙니다.

3. 분석과 결과

가중 통합효과: 연구별 효과를 보통 분산의 역수 등에 따라 가중해 평균 효과를 계산합니다. 표본이 큰 연구가 주는 정보와 연구 간 분산이 반영되므로 단순 논문 수 평균과 다릅니다.
이질성(Q·I²·τ²): 연구 간 효과 차이의 크기와 분산을 요약합니다. I² 하나만으로 불일치의 원인이나 중요성을 설명할 수 없어 τ², 연구 맥락과 함께 봅니다.
예측구간: 새로운 유사 연구에서 참효과가 있을 법한 범위를 나타내는 구간입니다. 평균 효과의 신뢰구간과 다르며, 이질성이 크면 평균 효과가 유의해도 일부 맥락의 효과는 다를 수 있습니다.
하위집단·메타회귀: 연구 특성이 효과 차이를 설명하는지 탐색합니다. 연구 수준의 연관을 개인 수준 효과로 해석하는 생태학적 오류와 적은 연구 수에서의 불안정성을 주의합니다.
민감도·영향 분석: 특정 연구 제외, 대안 효과·모형 선택 등에 따라 통합 결과가 얼마나 달라지는지 평가합니다. 결과가 일부 결정에 의존하면 결론에 그 불안정성을 반영합니다.
출판편향과 소규모 연구 효과: 유의한 결과가 더 자주 출판되는 등 문헌에 결과 선택이 개입했는지 탐색합니다. 퍼널 그림·검정은 연구 수와 이질성에 민감하며, 비유의 결과가 편향이 없다는 증명은 아닙니다.

4. 해석과 보고

p값을 합치는 것과 메타분석: 메타분석은 논문별 p값을 평균내는 것이 아니라 효과크기와 불확실성을 통합하는 분석입니다. 통합효과·신뢰구간·이질성·예측범위를 질문에 맞춰 보고합니다.
실질적 의미와 적용 범위: 평균 효과의 크기와 이질성, 연구의 비뚤림 위험을 실제 맥락에서 해석합니다. 통계적 유의성이 실무적으로 중요한 효과나 모든 상황의 효과를 뜻하지는 않습니다.

이 용어를 각 방법의 연구 맥락에서 더 확인하려면 해당 방법론 논문을 보세요: 추천논문 1.

01 · 목적

언제, 어떤 목적으로 선택하나요?

연구마다 보고한 효과가 다를 때, 전체적으로 어느 정도 크기인지 알고 싶을 수 있습니다. 비교 가능한 효과와 불확실성 정보를 모아 평균효과와 연구 간 차이를 수량적으로 살펴보려면 메타분석을 검토합니다.

이 방법으로 답하는 연구 목적

조직몰입과 이직의도의 관계가 평균적으로 어느 정도인지, 훈련전이와 지원의 관계가 맥락에 따라 다른지 알고 싶을 때 씁니다. 체계적인 검색, 선정, 평가가 먼저 있어야 합니다.

대표 연구 질문

여러 연구 결과를 함께 보면 평균적으로 효과가 얼마나 있고, 연구마다 어떻게 다른가?

필요한 변수·자료의 형태

분석 단위는 개인 원자료가 아니라 연구별 효과크기와 분산(표준오차)입니다. 상관계수, 표준화 평균차, 오즈비 등 연구질문에 맞는 공통 효과척도를 정합니다.
같은 개념·결과·설계로 해석할 수 있는 연구만 합칠 수 있습니다. 표본크기·분산·집단 평균, 표본 중복과 한 연구의 여러 효과 간 의존성 정보를 수집합니다.
효과코딩 규칙·포함 기준·무선효과/고정효과 가정·하위집단/메타회귀·민감도 및 편향 분석을 체계적 검색 프로토콜과 함께 계획합니다.

분석에서는 무엇을 하나요?

효과크기를 공통 척도로 변환하고 분산에 따른 가중치를 적용해 통합효과와 신뢰구간을 계산합니다. 고정효과 모형은 모든 연구가 하나의 공통 참효과를 공유한다고 보고, 무선효과 모형은 연구별 참효과가 분포한다고 가정하므로 질문과 연구 맥락에 맞춰 선택합니다.
Q·I²·τ² 등으로 연구 간 이질성을 살피고, 연구 수와 질문이 허용하면 예측구간·하위집단·메타회귀로 차이를 탐색합니다. 같은 연구의 복수 효과는 다층·다변량 또는 강건분산 방식 등으로 처리합니다.
포리스트 플롯과 민감도 분석을 제시하고 출판·소규모 연구 편향을 적절한 방법으로 검토합니다. 적은 연구 수에서는 깔때기 그림·검정의 한계를 밝힙니다.

결과를 어떻게 해석하나요?

통합 효과크기와 신뢰구간, 연구 수, 이질성 지표, 필요하면 예측구간을 함께 제시합니다. 평균 효과의 크기와 실질적 의미를 구별합니다.
통합효과가 유의하더라도 모든 표본·조직·수업 맥락에서 같은 효과라는 뜻은 아닙니다. 예측구간과 연구 특성의 차이를 해석합니다.
연구 내 효과 의존성, 표본 중복, 편향·민감도 분석이 결론에 미친 영향을 밝히고 자료가 지지하는 범위에서만 결론을 냅니다.

이런 상황이면 이 분석을 고려하세요

1. 여러 연구의 평균효과 크기

조직몰입과 이직의도의 평균 관련성이나 AI 활용 학습과 비교조건의 성취 차이가 어느 정도인지, 연구들 전체의 불확실성까지 제시하고 싶은 경우입니다.

2. 효과크기와 표본 정보 확보

상관·평균차·오즈비 등 목적에 맞는 효과와 표본크기·분산 정보가 필요합니다. 서로 다른 개념이나 결과를 단지 비슷해 보인다는 이유로 하나의 효과로 합치지 않습니다.

3. 연구 차이와 중복 효과의 처리

대상·설계·맥락을 코딩하고, 동일 표본의 여러 효과와 중복 출판을 구별합니다. 연구 간 이질성과 연구 내 효과 의존성을 반영한 모형을 계획해야 합니다.

4. 통합효과와 불확실성을 보고

포리스트 플롯·신뢰구간·이질성·필요시 예측구간과 조절요인, 민감도·편향 검토를 제시합니다. 평균효과 하나로 모든 맥락의 효과를 같다고 결론짓지 않습니다.

어떤 질문이면 다른 방법을 비교해야 하나요?

체계적 문헌고찰: 효과를 같은 척도로 합치기 어렵거나 충분한 정보가 없다면 체계적 고찰의 구조화된 합성을 검토합니다. 메타분석이 항상 필요한 것은 아닙니다.
통합적 문헌고찰: 개념의 정의·가정을 비판적으로 재구성하는 것이 중심 기여라면 통합적문헌고찰이 더 직접적인 접근일 수 있습니다.

선택 기준의 방법론 근거: 추천 논문 1. 아래 자료·해석 범위까지 확인해 최종 방법을 정하세요.

02 · 자료와 분석 구조

어떤 자료와 변수로, 어떤 구조를 분석하나요?

여러 연구의 효과크기를 같은 척도로 바꾸어 가중 평균(통합효과)을 구하고, 연구 간 차이(이질성)와 그 원인(조절요인), 출판편향을 분석하는 구조입니다. 연구 1편이 자료 한 행입니다.

분석 구조 한눈에 보기

연구 1: 효과크기 g1, 분산 v1 ─┐
연구 2: 효과크기 g2, 분산 v2 ─┼→ 가중 평균 효과(랜덤효과) + 이질성(Q, I², τ²)
연구 k: 효과크기 gk, 분산 vk ─┘   → 조절요인(메타회귀) → 출판편향 점검

식으로 보면

효과크기 yi ~ N(θ_i, vi), θ_i ~ N(μ, τ²) (랜덤효과 모형)
통합효과 μ = Σ w_i·yi / Σ w_i, w_i = 1 / (vi + τ²)

필요한 자료와 구성 요소

역할	무엇인가요	예시	형태
효과크기(yi)	각 연구의 효과 크기	Hedges의 g, r의 Fisher z	숫자
분산(vi) 또는 표준오차	각 연구 효과크기의 정밀도	vi = 0.021	숫자(양수)
표본 수(n)	효과크기·분산 계산에 쓰는 표본	n1=60, n2=58	정수
조절변수	연구 특성(대상, 측정, 연도)	학교급, 연도, 측정 방법	범주·연속

문헌 자료는 이렇게 정리합니다

study	year	n	g(yi)	v(vi)	subject
김○○	2021	118	0.42	0.034	대학생
이○○	2022	64	0.65	0.066	직장인
박○○	2023	240	0.30	0.017	직장인

예시 값입니다(실제 자료가 아님). 한 행은 한 사람의 응답입니다.

자료 파일을 만들 때 지킬 규칙

검색 결과는 서지 관리 프로그램(Zotero·EndNote)으로 한 곳에 모아 중복을 제거하고 단계별 개수를 기록합니다(PRISMA 흐름도용).
자료 추출표는 한 행에 한 연구(논문)를, 한 열에 추출 항목을 둡니다. 모든 연구에서 같은 항목을 같은 방식으로 채웁니다.
선별 단계(제목·초록, 전문)별 포함·제외 결정과 제외 사유를 기록해 재현할 수 있게 합니다.
두 명이 독립적으로 추출해 비교하고 불일치는 조정 결과를 남깁니다.
효과크기는 두 사람이 독립적으로 계산해 일치를 확인합니다. 한 연구가 여러 효과크기를 가지면 의존성을 표시하는 열(studyID, effectID)을 둡니다.
평균·표준편차·n만 제공된 연구는 직접 g를 계산하고 계산식·출처 쪽 번호를 적습니다.

분석은 이렇게 진행합니다

R metafor: res <- rma(yi = g, vi = v, data = d, method = "REML", slab = study); forest(res); funnel(res); regtest(res)
조절효과는 rma(yi, vi, mods = ~ subject, data = d)로 메타회귀를 합니다. 영향 연구는 leave1out(), influence()로 확인합니다.
연구가 10편 미만이면 출판편향 검정과 조절분석을 조심해서 해석합니다.

자료 조건과 주의점

각 연구의 상관계수·표준화 평균차·오즈비 등 목적에 맞는 효과크기와 표본크기·분산 정보.
비교 가능한 구성개념·대상·설계 및 조절요인 코딩. 서로 다른 효과지표는 정당한 변환 없이 한꺼번에 평균내지 않습니다.
동일 표본의 여러 효과와 중복 출판을 식별합니다. 의존성은 다층·다변량 모형 또는 강건분산 등 적절한 방법으로 처리합니다.
포함 기준·코딩·질 평가·검색·민감도 분석 계획이 필요합니다.

03 · 예시 연구모형

이런 연구모형으로 분석합니다

연구모형은 연구에서 다룰 변수와 변수 사이의 가설 관계를 그림으로 나타낸 것입니다. 아래 예시에서 변수의 역할(독립·매개·조절·종속·외생·내생 등)과 화살표의 방향을 읽어 본 뒤, 내 연구의 변수를 같은 방식으로 배치해 보세요. 그 구조가 이 방법과 맞는지 보면 알맞은 분석 방법을 고를 수 있습니다.

모형 1. 랜덤효과 메타분석과 조절효과 모형

연구문제 예 교육 프로그램의 평균 효과는 얼마이고, 학습자 유형에 따라 달라지는가?

효과크기
Q = 9.8, I² = 39%
연구 특성
g = .57, 95% CI [.39, .76]

가설

H1: 교육 프로그램의 통합 효과는 0보다 클 것이다.
H2: 효과 크기는 연구 특성(학습자 유형)에 따라 달라질 것이다.

예시 분석 결과 읽기

H1 지지: 통합 효과 g = .57, 95% CI [.39, .76]로 0을 포함하지 않습니다(중간 이상 크기).
이질성: Q(6) = 9.8, I² = 39%이므로 연구 간 차이가 있어 조절효과를 볼 근거가 있습니다.
새 연구에서 기대되는 범위(95% 예측구간)는 [0.13, 1.01]로 평균의 신뢰구간보다 넓습니다.

이렇게 읽습니다 연구 1편이 자료 한 행입니다. 메타분석은 양적 모형이어서 가설을 세울 수 있습니다. 연구마다 정밀도에 따라 가중치를 달리해 통합합니다.

변수, 가설, 계수는 이해를 돕기 위해 교육·HRD 맥락으로 만든 학습용 예시이며 실제 연구 결과가 아닙니다. 특정 논문의 모형을 옮긴 것은 아닙니다. 이 방법을 실제로 쓴 논문의 예: Cai, Z., Fan, X., & Du, J. (2017).

04 · 제시하고 싶은 결과

분석 후 무엇을 보여 줄 수 있나요?

여러 연구를 합친 평균 효과의 크기와 연구 결과가 서로 다른 정도를 그림과 수치로 보여 줍니다.
이질성과 필요시 예측구간·조절요인 분석
의존성 처리·편향·민감도 분석을 반영한 결론

유의한 결과나 높은 적합도를 얻는 것 자체가 연구의 목적은 아닙니다. 결과가 연구문제에 어떤 답을 주는지, 무엇이 아직 불확실한지 함께 설명해야 합니다.

결과는 이렇게 제시합니다 (예시)

결과 그림 1. 숲 그림 (forest plot)

연구별 효과크기와 신뢰구간, 통합 효과를 한 그림에 보여 줍니다.

이렇게 읽습니다 점은 각 연구의 효과, 선은 신뢰구간입니다. 선이 0을 가로지르지 않으면 유의합니다. 맨 아래가 통합 효과입니다.

결과 그림 2. 깔때기 그림 (funnel plot)

출판편향을 점검하는 그림입니다.

이렇게 읽습니다 점이 삼각형 안에 좌우 대칭이면 편향 가능성이 작습니다. 표준오차가 큰 작은 연구가 한쪽에 몰리면 출판편향을 의심하지만 이질성 때문일 수도 있습니다. 연구가 10편 미만이면 판단이 어렵습니다.

그림의 값은 이해를 돕기 위해 만든 예시이며 실제 연구 결과가 아닙니다.

05 · 궁극적으로 밝힐 것

내가 끝까지 답하고 싶은 질문과 맞나요?

“여러 연구가 보이는 평균 효과의 크기와 연구마다 다른 이유를 밝히고 싶다.”

이 질문에 답하는 분석 구조

연구마다의 효과크기를 같은 척도로 환산해 가중 평균(통합효과)을 구하고, 이질성(Q, I²)과 조절요인, 출판편향을 분석합니다.

왜 하나요? ‘여러 연구를 합치면 평균 효과가 얼마인가’를 알고 싶을 때. 개별 연구의 불확실성을 줄이고 연구 간 차이의 원인을 찾기 위해 합니다.

알고 싶은 내용이 다르다면, 아래 방법은 이렇게 다른 질문에 답합니다

체계적 문헌고찰: 분석 구조 사전에 등록한 프로토콜에 따라 문헌을 검색·선별하고 편향 위험을 평가한 뒤 결과를 구조적으로 합성해 근거의 일치와 차이를 정리합니다.이럴 때 선택 ‘명확한 질문에 대해 지금까지의 근거가 무엇이라 말하는가’를 알고 싶을 때. 재현 가능한 절차로 근거의 방향과 확실성을 판단하기 위해 합니다.
통합적 문헌고찰: 분석 구조 다양한 설계의 문헌에서 개념·가정·결과를 표로 비교해 일치와 모순을 분석하고 통합 개념틀을 만듭니다.이럴 때 선택 ‘흩어진 개념과 이론을 하나의 틀로 어떻게 연결하는가’를 알고 싶을 때. 개념적 혼란을 정리하고 새 이해의 틀을 제안하기 위해 합니다.
다중회귀분석 (Multiple Regression): 분석 구조 결과변수(Y) 하나를 여러 설명변수(X1, X2, X3…)와 통제변수로 동시에 설명하는 회귀모형 Y = b0 + b1X1 + b2X2 + …을 추정하고, 각 X의 고유한 회귀계수와 모형의 설명력(R²)을 봅니다.이럴 때 선택 ‘여러 요인 중 무엇이 결과와 따로 관련되는가’를 알고 싶을 때. 요인끼리 서로 겹치는 부분을 통제하고 각 요인의 고유한 관련을 나누어 보기 위해 합니다.

06 · 분석 순서

분석은 어떤 순서로 진행하나요?

사용 도구 R(metafor·meta)·JASP·CMA 등 메타분석 소프트웨어 기준.

기준의 출처 Borenstein 외(2021), Hedges·Olkin(1985), Hunter·Schmidt(2004), Higgins 외(2003), Viechtbauer(2010), IntHout 외(2014), Egger 외(1997), Page 외(2021), Appelbaum 외(2018, MARS).

질문 설정과 프로토콜 작성·등록
어떻게 하나요
연구 질문을 PCC·PICO·SPIDER 같은 틀로 정리합니다. 포함·제외 기준, 검색 전략, 선별·추출·합성 방법은 프로토콜로 미리 적어 OSF·PROSPERO 등에 등록합니다. 메타분석은 효과크기 종류, 모형(고정·랜덤), 조절변수, 출판편향 검정을 프로토콜에서 미리 정합니다.
확인할 값과 해석 기준
프로토콜을 검색 전에 확정하고 이후 변경은 이유와 시점을 기록합니다. 포함 기준은 대상·개념·맥락·설계·기간·언어·문헌 유형으로 밝힙니다.
왜 하고, 무엇을 알 수 있나요
미리 계획해 두면 선택 편향이 줄고, 다른 사람이 재현할 수 있습니다.
효과크기 정하기
어떻게 하나요
연구 질문에 맞는 효과크기(평균차는 Cohen의 d·Hedges의 g, 상관은 r의 Fisher z 변환, 이분형 결과는 오즈비·위험비)를 정합니다.
확인할 값과 해석 기준
작은 표본에는 Hedges의 g로 편향을 보정합니다. d의 참고치는 0.2·0.5·0.8, r은 .10·.30·.50입니다. 서로 다른 척도의 연구는 같은 효과크기로 환산할 수 있을 때만 합칩니다.
왜 하고, 무엇을 알 수 있나요
서로 다른 연구를 같은 척도로 비교할 수 있게 됩니다.
검색 전략 설계와 다중 데이터베이스 검색
어떻게 하나요
핵심 개념의 동의어·통제어휘(Thesaurus)를 AND/OR로 조합한 검색식을 만들고 둘 이상(권장 3개 이상)의 데이터베이스(예: Scopus, Web of Science, ERIC, PsycINFO, RISS·KCI)와 회색문헌, 참고문헌 추적으로 검색합니다. 검색식은 사서나 동료가 검토합니다(PRESS).
확인할 값과 해석 기준
검색일, 데이터베이스, 검색식 전체, 필터, 결과 건수를 기록해 재현 가능하게 합니다. 검색식을 부록으로 제공합니다.
왜 하고, 무엇을 알 수 있나요
관련 문헌을 빠뜨리지 않고 모읍니다.
중복 제거와 독립적 선별
어떻게 하나요
서지 관리 프로그램으로 중복을 제거하고 제목·초록 선별, 전문 선별 순으로 두 명이 독립적으로 수행하며 불일치는 토론이나 제3자가 조정합니다.
확인할 값과 해석 기준
선별자 간 일치도를 Cohen의 κ로 보고하고(.61~.80 상당한 일치, .81 이상 거의 완전한 일치), 전문 단계에서 제외한 문헌은 사유별로 기록합니다.
왜 하고, 무엇을 알 수 있나요
문헌 선정이 객관적이었음을 보여 줍니다.
코딩 매뉴얼과 이중 코딩
어떻게 하나요
효과크기, 표본 수, 분산(표준오차), 신뢰도, 연구 특성(대상·측정·설계·출판 연도·출판 형태)을 코딩 매뉴얼에 따라 두 명이 독립적으로 코딩합니다.
확인할 값과 해석 기준
코딩자 간 일치도(κ 또는 ICC)를 보고하고 불일치를 조정합니다. 한 연구가 여러 효과크기를 가지면(같은 표본의 의존성) 하나를 고르거나 다층·강건분산추정(RVE)으로 처리합니다.
왜 하고, 무엇을 알 수 있나요
분석할 효과크기 자료를 만들고 의존성 문제를 다룹니다.
연구의 질·편향 평가
어떻게 하나요
연구 설계에 맞는 도구로 편향 위험을 평가하고 조절변수로 활용하거나 민감도 분석에 씁니다.
확인할 값과 해석 기준
질 점수로 연구를 단순 제외하지 않고 영향을 분석합니다.
왜 하고, 무엇을 알 수 있나요
통합 효과를 얼마나 믿을 수 있는지 가늠합니다.
통합효과 추정 (랜덤효과 모형)
어떻게 하나요
metafor 등에서 랜덤효과 모형(REML 추정)으로 통합 효과크기와 95% 신뢰구간을 구하고 숲 그림(forest plot)을 그립니다. 연구 수가 적을 때는 Hartung–Knapp 보정을 고려합니다.
확인할 값과 해석 기준
신뢰구간이 0(비율 지표는 1)을 포함하지 않으면 통합 효과가 유의합니다. 연구마다 효과가 다를 수 있으면 고정효과보다 랜덤효과가 적절합니다.
왜 하고, 무엇을 알 수 있나요
여러 연구를 합쳤을 때 평균 효과가 얼마인지 답합니다.
이질성 평가
어떻게 하나요
Q 검정(p 값), I², τ², 예측구간을 확인합니다.
확인할 값과 해석 기준
Q가 유의하면 연구 간 이질성이 있습니다. I²는 대략 25%·50%·75%를 낮음·중간·높음의 참고치로 봅니다(Higgins et al., 2003). 이질성이 크면 조절효과 분석이 필요하고 통합 효과의 해석에 예측구간을 함께 제시합니다.
왜 하고, 무엇을 알 수 있나요
연구마다 효과가 얼마나 다른지, 평균 효과를 얼마나 믿을 수 있는지 봅니다.
조절효과 분석 (하위집단·메타회귀)
어떻게 하나요
범주형 조절변수는 하위집단 분석(Q_between), 연속형은 메타회귀로 연구 특성의 영향을 검토합니다.
확인할 값과 해석 기준
조절변수 하나당 연구 10편 이상이 권장되며 분석은 사전 등록한 것과 탐색적인 것을 구분해 보고합니다. 다중비교에 주의합니다.
왜 하고, 무엇을 알 수 있나요
어떤 조건에서 효과가 더 크거나 작은지 답합니다.
출판편향 평가
어떻게 하나요
깔때기 도표(funnel plot), Egger 회귀 검정, trim-and-fill, 필요시 PET-PEESE·선택모형을 사용합니다.
확인할 값과 해석 기준
연구가 10편 미만이면 검정력이 낮아 해석을 조심합니다. 비대칭이 크면 출판편향 외에 이질성도 원인일 수 있음을 논의합니다.
왜 하고, 무엇을 알 수 있나요
발표된 결과만 모였을 가능성을 점검합니다.
민감도 분석과 영향 연구 점검
어떻게 하나요
한 편씩 제외하는 분석(leave-one-out), 이상 효과크기·영향력 큰 연구(Cook의 거리) 제외, 대안 모형(고정효과)으로 결과를 비교합니다.
확인할 값과 해석 기준
특정 연구를 빼면 결과가 크게 달라지면 결론을 조심스럽게 표현합니다.
왜 하고, 무엇을 알 수 있나요
결과가 특정 연구에 기대고 있지는 않은지 봅니다.
결과 정리와 보고
어떻게 하나요
PRISMA 2020과 APA MARS에 맞춰 포함 연구 표, 숲 그림, 이질성, 조절효과, 편향 분석, 소프트웨어와 모형을 보고합니다.
확인할 값과 해석 기준
분석 코드와 코딩 자료를 공개하는 것을 권장합니다.
왜 하고, 무엇을 알 수 있나요
독자가 결과를 재현하고 한계를 평가할 수 있게 합니다.

방법 선택을 위한 안내입니다. 실제 실행에서는 해당 방법의 원문과 교과서, 소프트웨어 문서를 함께 확인하세요.

07 · 사례

사례를 통해 내 연구에 어떻게 적용할지 살펴보세요

학습용 연구설계 사례입니다. 실제 논문의 연구 결과나 수집된 자료를 재현한 것이 아닙니다. 분석 방법의 근거는 아래 추천 문헌에서 확인할 수 있습니다.

사례 1 · HRD · 조직몰입

조직몰입과 이직의도의 관계 종합

연구목적

서로 다른 연구의 몰입–이직의도 관계를 통합하고 차이를 설명합니다.

알고 싶은 것

몰입 유형별 평균 관련성은 어느 정도이며 표본·맥락에 따라 달라지는가?

사용할 자료

문헌별 몰입 유형
이직의도와의 상관
표본크기
설계와 표본 중복 정보

방법을 적용하는 방식

비교 가능한 효과를 코딩하고 통합효과·이질성·조절요인·민감도를 검토합니다.

제시할 결과

몰입 유형별 통합 상관과 신뢰구간
포리스트 플롯
이질성·조절요인 및 편향·민감도 분석을 제시합니다

이 사례에서 밝힐 수 있는 것

평균 상관은 개인에게 몰입을 높이는 개입의 인과효과와 다릅니다.

사례 2 · 학습분석

생성형 AI 활용 학습의 효과 종합

연구목적

AI 활용 학습이 비교조건에 비해 성취와 어떤 차이를 보이는지 종합합니다.

알고 싶은 것

평균 성취 차이는 어느 정도이며 AI 활용방식·과제·연구설계에 따라 달라지는가?

사용할 자료

개입·비교집단의 평균·표준편차·표본크기 또는 변환 가능한 효과
여러 결과의 의존성 정보

방법을 적용하는 방식

표준화 평균차 등 적합한 효과지표를 정하고 동일 연구의 여러 효과를 적절히 처리합니다.

제시할 결과

성취의 통합 표준화 평균차와 신뢰구간
포리스트 플롯
연구 내 효과 의존성·이질성·조절요인 검토를 제시합니다

이 사례에서 밝힐 수 있는 것

즉시 성취·장기 파지·전이는 다른 결과입니다. 무엇을 합쳤는지 분명히 해야 합니다.

08 · 해석 범위

이 결과로 어디까지 말할 수 있을까요?

논문 편수를 단순 가중치로 쓰거나 p값을 평균내는 작업이 아닙니다.
적은 연구로 많은 조절요인을 검정하면 결과가 불안정할 수 있습니다.
출판편향 검정이 비유의하다는 사실만으로 편향이 없다고 확정하지 않습니다.

09 · 나의 연구에 대입하기

이 방법의 선택 조건을 스스로 확인해 보세요

자신의 연구목적과 자료를 떠올리며 답해 보세요. 세 조건이 모두 맞더라도 실제 연구를 시작하기 전에는 표집·측정·윤리·분석 가정을 구체적으로 검토해야 합니다.

함께 비교하면 좋은 방법

이 방법을 이해하는 추천 연구논문

아래 논문에서 방법의 논리와 실제 연구에 적용하는 방식을 확인할 수 있습니다. 읽을 초점을 따라 연구목적·자료·결과를 비교해 보세요.

방법 설명SSCI
Meyer, J. P., Stanley, D. J., Herscovitch, L., & Topolnytsky, L. (2002). Affective, Continuance, and Normative Commitment to the Organization: A Meta-analysis of Antecedents, Correlates, and Consequences. Journal of Vocational Behavior, 61(1), 20-52.
읽을 초점 정서적·지속적·규범적 몰입을 구별해 관련성을 통합한 연구에서 개념·효과크기·해석의 연결을 읽어 보세요.
DOI: 10.1006/jvbe.2001.1842 · ISSN: 0001-8791 / 1095-9084
교수님 Research listKCI
백다은, 손완상, 송지훈, 유명현 (2024). 생성형 AI(Generative AI) 활용 학습 효과 메타분석. 교육정보미디어연구, 30(4), 1261-1285. https://doi.org/10.15833/kafeiam.30.4.1261
읽을 초점 연구실의 관련 연구가 이 방법을 어떤 목적으로 사용했는지 읽어 보세요. 제목과 서지에서 방법과의 관련성을 확인한 논문이며, 구체적인 표집·분석 절차·결과는 원문에서 확인해야 합니다.
논문 찾아보기 ↗ · 교수님 목록 확인
적용 논문KCI
Yoo, M., Kim, J., Koo, Y., & Song, J. (2018). A meta-analysis on effects of VR, AR, MR-based learning in Korea. 교육정보미디어연구, 24(3), 459-488.
읽을 초점 이 방법을 어떤 연구문제와 자료에 적용했고, 결과를 어떻게 보고했는지 읽어 보세요. 제목이나 초록에서 방법을 확인한 논문을 골랐으며, 구체적인 절차와 결과는 원문에서 확인해야 합니다.
DOI: 10.15833/kafeiam.24.3.459 · Crossref 인용 수 11회 (2026-11-02 확인)
적용 논문SSCI
Cai, Z., Fan, X., & Du, J. (2017). Gender and attitudes toward technology use: A meta-analysis. Computers & Education, 105, 1-13.
읽을 초점 이 방법을 어떤 연구문제와 자료에 적용했고, 결과를 어떻게 보고했는지 읽어 보세요. 제목이나 초록에서 방법을 확인한 논문을 골랐으며, 구체적인 절차와 결과는 원문에서 확인해야 합니다.
DOI: 10.1016/j.compedu.2016.11.003 · Crossref 인용 수 622회 (2026-11-02 확인)

보고 지침: PRISMA 2020 공식 자료

확인일 2026-11-02 · ‘방법 설명’ 논문의 SSCI 표시는 확보한 학술지 목록의 ISSN 대조 결과입니다. 다만 일부 문헌은 이 목록으로 대조하지 못했으니 Clarivate Master Journal List에서 다시 확인해 주세요. 표시는 현재나 출판 당시의 등재를 보증하지 않습니다. ‘적용 논문’은 Crossref 서지로 확인했고, SSCI·KCI 표시는 학술지 기준이며 목록과 전수 대조하지 않았습니다.

← 연구 고민 다시 살펴보기 나의 연구 발전시키기(실습) →