연구방법선택(중급)
나의 연구목적에 맞는 분석방법 알아보기
“어떻게 분석할까?”가 먼저가 아니라,
“나는 무엇을 밝히고 싶은가?”를 먼저 고민해야 합니다.
연구방법을 고르기 전에 내가 알고 싶은 것을 먼저 분명히 해 보세요.
- 특정 개념들 간의 관계가 궁금한가요?
- 어떤 현상에 대한 측정과 진단이 하고 싶은가요?
- 어떤 현상의 본질을 설명하고 싶나요?
- 우리 분야 연구동향들이 궁금한가요?
질문에 따라 필요한 자료와 분석방법이 달라집니다.
연구가 처음이라면: 자료와 결과를 이렇게 생각해 보세요
연구목적
“직원 학습이 중요하다”에서 한 걸음 더 나아가, 다음 중 어떤 질문에 답하고 싶은지 적어 보세요.
- 변수들 사이의 특정 관계를 보고 싶은가?
- 어떤 현상이나 개념을 측정해 보고 싶은가?
- 사람의 유형에 따라 어떤 차이가 있는지 보고 싶은가?
- 다른 변수와 연결해 결과를 예측해 보고 싶은가?
- 그 현상의 본질을 알고 싶은가?
- 그 현상이 일어나는 이론적 근거를 찾고 싶은가?
같은 조직몰입 주제도 원인 후보, 중간 경로, 경험의 의미에 따라 질문이 달라집니다.
자료
연구 유형에 따라 필요한 데이터와 수집 방법이 다릅니다. 어떤 자료를 모을지 먼저 생각해 보세요.
- 양적연구
- 필요한 데이터 설문 점수, 참여·수료 여부, LMS 학습기록, 성과·인사 기록
수집 방법 설문조사, 시스템 로그·기관 자료 추출, 검사·실험 - 질적연구
- 필요한 데이터 면담 녹취와 전사본, 관찰 기록, 경험일지
수집 방법 심층면담·집단면담, 참여관찰, 일지 작성 - 문헌연구
- 필요한 데이터 기존 논문, 연구보고서, 정책·기관 문서
수집 방법 데이터베이스 검색, 포함·제외 기준에 따른 선별, 내용 추출표 작성
누구에게서, 무엇을, 몇 번, 언제 수집할지도 중요합니다. 아직 자료가 없으면 계획을 적어도 됩니다.
제시하고 싶은 결과
분석 뒤 독자에게 보여 줄 결과를 떠올려 보세요. 연구 목적에 따라 30개 분석방법이 보여 주는 결과는 다음과 같습니다.
양적데이터분석
- 다중회귀분석 (Multiple Regression)상세 → 각 요인이 결과와 얼마나 관련되는지, 다른 요인을 고려한 뒤의 관계를 표와 수치로 보여 줍니다.
- 매개효과 (Mediation, 다중매개 포함)상세 → 결과와 직접 연결되는 부분과 중간 과정을 거쳐 연결되는 부분을 경로 그림으로 보여 줍니다.
- 조절효과 (Moderation, 이중조절 포함)상세 → 관계가 어떤 조건에서 얼마나 달라지는지 비교표나 그림으로 보여 줍니다.
- 조절된 매개효과 (Moderated Mediation)상세 → 조건별로 중간 과정을 거쳐 결과와 연결되는 정도를 표와 그림으로 비교합니다.
- 구조방정식모형 (Structural Equation Modeling, SEM)상세 → 설문 문항이 각 개념을 잘 나타내는지, 개념들이 서로 어떻게 연결되는지 함께 보여 줍니다.
- 다집단 분석 (Multigroup Analysis)상세 → 두 집단에서 설문 문항이 비슷한 의미로 쓰였는지와 개념 사이 관계를 비교합니다.
- 잠재프로파일분석 (Latent Profile Analysis, LPA)상세 → 찾아낸 사람 유형과 각 유형의 점수 조합을 그림과 표로 보여 줍니다.
- 잠재계층분석 (Latent Class Analysis, LCA)상세 → 응답 패턴에 따라 나뉜 사람 유형과 각 유형이 전체에서 차지하는 비율을 보여 줍니다.
- 잠재전이분석 (Latent Transition Analysis, LTA)상세 → 시점별 유형과 비율, 유형 사이를 옮겨 갈 확률을 보여 줍니다.
- 측정도구 개발 (Scale Development and Validation)상세 → 개념과 하위영역의 정의, 문항의 출처·초안·수정·삭제 기준, 최종 문항과 채점 방법을 제시합니다.
- 예측분석 (Predictive Modeling, 랜덤 포레스트 중심)상세 → 새로운 자료나 다음 시기의 자료에서 예측이 얼마나 맞았는지와 예측의 불확실성을 보여 줍니다.
- 자기회귀교차지연모형 (Autoregressive Cross-Lagged Panel Model, ARCL)상세 → 이전 점수의 영향을 고려한 뒤에도 두 특성이 서로 이후의 변화를 예측하는지 보여 줍니다.
- 사회네트워크분석 (Social Network Analysis, SNA)상세 → 누가 누구와 연결되어 있는지를 네트워크 그림으로 보여 주고, 밀도·중심성 같은 지표로 연결 구조의 특징을 표로 제시합니다.
- 토픽모델링 (Topic Modeling)상세 → 텍스트에서 찾은 주제(토픽)별 상위 단어와 이름, 각 토픽이 전체에서 차지하는 비율을 표와 그림으로 보여 줍니다.
- 다층분석 (Multilevel Analysis, HLM)상세 → 결과의 차이가 개인과 집단 중 어디에서 얼마나 나오는지(ICC), 개인 수준과 집단 수준 변수의 효과, 두 수준의 상호작용을 표와 그림으로 보여 줍니다.
- 잠재성장모형 (Latent Growth Modeling, LGM)상세 → 시점별 평균과 변화 궤적을 그림으로 보여 주고, 시작 수준과 변화 속도의 평균과 개인차를 표로 제시합니다.
- 감성분석 (Sentiment Analysis)상세 → 문서별 감성 점수(또는 긍정·중립·부정 범주)와 그 분포를 집단·시기별로 표와 그림으로 보여 줍니다.
질적데이터분석
- 현상학 연구 분석상세 → 참여자의 경험에서 반복해서 드러난 의미와 이를 뒷받침하는 면담 내용을 제시합니다.
- 근거이론 기반 분석상세 → 자료에서 찾아낸 주요 개념과 변화 과정, 개념들이 이어지는 방식을 설명합니다.
- 내러티브 데이터 분석상세 → 사람마다 경험을 어떻게 이야기로 엮는지와 이야기의 흐름·전환점을 보여 줍니다.
- 사례연구 (Case study)상세 → 사례의 맥락과 사건의 전개를 기술하고, 여러 자료원의 근거로 ‘왜 그런 일이 일어났는지’를 설명하는 틀을 제시합니다.
- 주제분석 (Thematic Analysis)상세 → 자료에서 만든 주제와 하위 주제, 각 주제의 정의와 이를 뒷받침하는 참여자 인용을 제시합니다.
문헌데이터분석
- 스코핑 리뷰상세 → 포함된 연구의 대상·주제·자료·방법과 연구가 충분하거나 부족한 영역을 표로 정리합니다.
- 통합적 문헌고찰상세 → 여러 연구의 개념과 설명에서 찾은 공통점·차이점과 이를 바탕으로 정리한 틀을 제시합니다.
- 체계적 문헌고찰상세 → 문헌 검색·선정 과정을 밝히고, 연구 결과와 근거의 강점·한계를 정리합니다.
- 메타분석상세 → 여러 연구를 합친 평균 효과의 크기와 연구 결과가 서로 다른 정도를 그림과 수치로 보여 줍니다.
- 이론 구축 (Theory building)상세 → 핵심 개념과 개념 사이의 설명, 이후 자료로 확인할 수 있는 예측을 제시합니다.
궁극적으로 밝힐 것
끝까지 답하고 싶은 질문을 적습니다.
- 왜 그런가
- 어떤 조건에서 달라지는가
- 어떤 과정을 거쳐 변화하는가
- 당사자에게 어떤 의미인가
실무 제안은 이 질문에 답할 근거를 얻은 뒤 도출합니다.
연구 용어집: 처음 보는 연구 용어를 확인하세요 (기본 용어 + 30개 분석방법의 용어 360개)
기본 연구 용어
- 연구문제
- 연구에서 답을 구하려는 구체적인 질문입니다. 연구할 현상과 대상, 알고 싶은 관계나 경험이 분명하게 드러나도록 씁니다.
- 이론
- 개념과 그 관계를 연결해 현상을 설명하거나 예측하는 체계적인 설명입니다. 연구에서는 질문과 모형의 관계를 설명하고 결과를 해석하는 근거로 사용합니다.
- 개념·구성개념
- 관심 현상을 설명하기 위해 정한 추상적인 의미입니다. 예를 들어 직무몰입처럼 바로 관찰하기 어려운 개념은 이론과 선행연구를 바탕으로 의미와 범위를 정합니다.
- 변수
- 사람·조직·문헌 등 분석 단위에 따라 값이나 범주가 달라지는 특성입니다. 변수의 의미와 분석 단위를 연구 목적에 맞게 정합니다.
- 조작적 정의
- 개념이나 변수를 연구에서 어떤 관찰·측정 절차와 기준으로 다룰지 구체적으로 정한 정의입니다. 무엇을 측정하는지와 어떻게 측정하는지를 분명히 밝혀야 합니다.
- 연구설계
- 연구문제에 답하기 위해 대상, 자료, 시점, 절차와 분석을 계획한 전체 구조입니다. 연구 질문과 자료 수집·분석 방법이 서로 맞도록 설계합니다.
- 모집단·표본
- 모집단은 연구 결과를 이해하거나 적용하려는 전체 대상이고, 표본은 실제 자료를 얻기 위해 그 모집단에서 선정한 일부입니다. 표집 방식과 범위를 결과의 적용 범위와 함께 설명합니다.
- 측정
- 정해 둔 규칙에 따라 개념이나 특성에 관찰 가능한 값 또는 범주를 부여하는 절차입니다. 측정도구와 점수 해석이 연구 목적에 맞는지 근거를 제시합니다.
- 신뢰도
- 측정 결과가 일관되고 재현되는 정도를 가리킵니다. 신뢰도가 높더라도 의도한 개념을 측정한다는 타당성이 자동으로 보장되지는 않습니다.
- 타당도
- 측정 결과와 연구설계가 의도한 개념이나 질문에 대해 적절한 해석을 뒷받침하는 정도입니다. 하나의 수치나 검정만으로 확정하기보다 여러 근거를 함께 평가합니다.
- 자료수집·분석
- 자료수집은 연구문제에 답할 관찰·응답·문헌을 정해진 절차로 확보하는 일이고, 분석은 그 자료를 연구문제에 맞는 방법으로 정리하고 해석하는 일입니다.
양적데이터분석의 용어
다중회귀분석 (Multiple Regression)
- 결과변수(Y)
- 연구에서 설명하거나 예측하려는 결과입니다. 회귀분석을 고려할 때는 먼저 결과가 연속 점수인지, 이분형인지, 횟수인지 확인해야 알맞은 모형을 고를 수 있습니다.
- 설명변수(X)와 공변량
- X는 연구 질문에서 결과와의 관계를 알고 싶은 변수입니다. 공변량은 모형에 함께 넣는 변수이며, 이론적 근거와 시간 순서를 갖춰 선택해야 합니다. 변수를 많이 넣는다고 자동으로 더 타당한 분석이 되지는 않습니다.
- 분석 단위와 독립성
- 한 행이 한 사람·조직·시점 등 무엇을 나타내는지 정합니다. 같은 팀의 직원이나 같은 사람의 반복 응답처럼 관측치가 묶여 있으면 일반 회귀의 독립성 가정에 맞지 않을 수 있습니다.
- 범주형 변수의 더미코딩
- 범주를 회귀식에 넣기 위해 기준 범주와 비교 범주를 0·1 지표로 표현하는 방법입니다. 계수는 기준 범주와 비교했을 때의 차이를 나타내므로 기준 범주를 결과와 함께 밝혀야 합니다.
- 잔차와 회귀 가정
- 잔차는 실제 결과와 모형 예측값의 차이입니다. 잔차 그림 등으로 선형성·등분산성·독립성·이상치 등 추론에 필요한 가정을 살핍니다. 모든 자료가 정규분포여야 한다는 뜻은 아닙니다.
- 회귀계수(B와 표준화 계수)
- B는 다른 모형 변수를 고려했을 때 X가 한 단위 달라질 때 Y의 추정 평균이 얼마나 달라지는지를 원래 단위로 나타냅니다. 표준화 계수는 척도 차이를 조정하지만 변수 중요도의 보편적 순위로 곧바로 읽을 수는 없습니다.
- 결정계수(R²)와 증가분
- R²는 모형이 표본에서 Y 변동을 설명하는 비율을 요약합니다. 위계적 회귀에서 증가분은 새 변수 묶음을 더했을 때 설명력이 얼마나 변했는지 나타냅니다. 높은 R²만으로 모형이 옳거나 예측이 잘된다고 보장되지는 않습니다.
- 신뢰구간과 p값
- 계수의 신뢰구간은 추정의 불확실성을 보여 주며, p값은 정해 둔 모형과 귀무가설 아래 자료의 양립 가능성을 평가합니다. p값 하나로 효과의 크기·실무적 중요성·인과성을 판단하지 않습니다.
- 조건부 연관과 인과
- 회귀계수는 모형에 포함된 변수들을 고려한 조건부 연관을 나타냅니다. 관찰자료의 회귀만으로 혼란요인과 역인과를 없애지 못하므로, 설계가 뒷받침하지 않는 인과 표현은 피합니다.
- 다중공선성
- 설명변수들이 서로 강하게 연관되어 각 계수의 불확실성이 커지거나 표본에 따라 값이 흔들리는 현상입니다. VIF 기준 하나로 변수를 제거하기보다 이론적 중복, 표준오차, 목표 추정량을 함께 봅니다.
매개효과 (Mediation, 다중매개 포함)
- 매개변수(M)와 기제
- M은 X와 Y의 관계를 설명할 수 있는 중간 과정 또는 기제입니다. 매개분석은 X가 Y와 관련되는 경로 중 M을 거치는 간접경로를 질문합니다.
- 경로 a·b·c′
- a는 X와 M의 경로, b는 X를 함께 고려한 M과 Y의 경로, c′는 M을 고려한 뒤 X와 Y 사이에 남는 직접경로를 흔히 뜻합니다. 연구 질문에 맞춰 분석 모형과 각 경로의 추정량을 밝힙니다.
- 병렬·직렬 매개
- 병렬은 여러 M이 별개의 경로로 X와 Y를 연결한다고 가정합니다. 직렬은 M1→M2처럼 경로의 순서를 가정합니다. 매개변수를 함께 측정했다는 이유만으로 직렬 순서를 정하지 말고 이론과 시간 설계를 제시해야 합니다.
- 시간 순서와 혼란
- 인과적 매개 해석에는 X가 먼저, M이 다음, Y가 마지막에 측정되는 순서와 각 경로의 혼란요인 통제가 중요합니다. 한 시점 자기보고 자료의 간접효과는 기제의 인과적 증명과 다릅니다.
- 특정 간접효과
- 특정 매개변수 또는 특정 경로를 거치는 간접효과입니다. 여러 매개를 쓴 모형에서는 각 경로의 효과를 따로 보고하고, 경로 간 차이는 그 차이를 직접 검정합니다.
- 총효과와 직접효과
- 총효과는 매개경로를 분해하기 전 X와 Y의 관계를, 직접효과는 모형에 포함한 매개를 고려한 뒤 남는 경로를 말합니다. 총효과가 유의해야만 간접효과를 검정할 수 있는 것은 아닙니다.
- 부트스트랩 신뢰구간
- 표본을 반복 재추출해 간접효과의 표집분포와 불확실성을 추정하는 방법입니다. 결과에는 추정치와 구간을 함께 보고하고, 재표집 단위가 자료의 독립·군집 구조에 맞는지 확인합니다.
- 간접효과의 방향과 크기
- 간접효과가 양수·음수인지와 그 크기, 신뢰구간을 읽습니다. 유의성만으로 매개가 강하다거나 실무적으로 중요하다고 단정하지 말고 척도 단위와 설계를 고려합니다.
- 매개와 인과기제의 구분
- 통계적으로 추정된 간접경로는 제안한 기제와 자료의 관계가 양립하는지 보여 줍니다. 시간 순서·혼란 통제·대안 경로가 부족하면 인과적 기제가 입증됐다고 쓰지 않습니다.
- 매개효과 차이 검정
- 두 간접효과의 추정치가 달라 보이는 것만으로 한 경로가 더 크다고 결론 내릴 수 없습니다. 차이의 추정치와 불확실성을 직접 검정해 보고합니다.
조절효과 (Moderation, 이중조절 포함)
- 조절변수(W)
- X와 Y의 관계가 누구에게 또는 어떤 조건에서 달라지는지를 나타내는 변수입니다. W는 통제변수와 다릅니다. 관계의 차이를 예측하는 이론적 조건이어야 합니다.
- 상호작용(X×W)
- X의 효과가 W 값에 따라 변하도록 회귀식에 넣는 항입니다. 연속형과 범주형 변수 모두 조절변수가 될 수 있으며, 자료 구조에 맞게 코딩합니다.
- 주효과와 위계 원칙
- 상호작용을 넣을 때는 원칙적으로 관련된 하위항 X와 W도 함께 둡니다. 주효과는 다른 변수가 기준값일 때의 관계이므로 중심화·코딩 기준과 함께 해석합니다.
- 중심화와 기준값
- 연속변수에서 평균중심화는 0을 의미 있는 기준값으로 바꾸어 주효과를 해석하기 쉽게 할 수 있습니다. 중심화는 상호작용을 만들어 내거나 없애는 방법도, 이론적 근거의 대체물도 아닙니다.
- 조건부 효과
- W의 특정 값에서 X와 Y의 추정 관계를 계산한 결과입니다. 낮음·평균·높음은 대표 지점일 뿐이므로 값의 선택과 범위를 자료에서 확인하고 밝혀야 합니다.
- 단순기울기
- 선택한 W 값에서 X→Y 기울기와 불확실성을 계산합니다. 이 결과로 상호작용 방향을 설명하되 특정 지점의 유의성만으로 전체 효과 패턴을 요약하지 않습니다.
- Johnson–Neyman 구간
- 연속형 W의 어느 관측 범위에서 X의 조건부 효과가 통계적 기준을 넘는지 제시하는 방법입니다. 자료가 실제로 가진 W 범위 바깥으로 해석을 외삽하지 않습니다.
- 상호작용 효과크기
- 상호작용이 설명력이나 예측에 보태는 정도를 나타내는 지표입니다. 상호작용은 표본오차에 민감할 수 있으므로 추정치·구간·표본 설계와 함께 평가합니다.
- 상호작용 그림 읽기
- 가로축 X와 여러 W 조건의 예측 Y를 그려 선의 기울기 차이를 봅니다. 그림은 모형 추정치를 설명하는 보조자료이며 원자료 관측값이나 인과효과 자체는 아닙니다.
- 집단별 유의성 비교 오류
- 한 집단에서 유의하고 다른 집단에서 유의하지 않다는 사실만으로 두 집단의 효과가 다르다고 할 수 없습니다. 차이는 상호작용항이나 기울기 차이를 직접 검정해야 합니다.
조절된 매개효과 (Moderated Mediation)
- 매개기제와 조절조건
- 조절된 매개는 X→M→Y 간접효과가 W에 따라 달라지는지를 묻습니다. 먼저 어떤 매개 경로가 왜 특정 조건에서 달라져야 하는지 이론으로 설명합니다.
- 1단계·2단계 조절
- W가 X→M 경로를 바꾸면 1단계 조절, M→Y 경로를 바꾸면 2단계 조절이라고 부릅니다. 어느 경로에 상호작용이 들어가는지 모형 그림과 식으로 분명히 합니다.
- 조건부 과정 모형
- 매개·조절 경로를 한 모형으로 표현한 분석 구조입니다. 번호가 붙은 템플릿을 고르기보다 자신의 질문에 필요한 경로만 정하고 대안모형과 비교합니다.
- 시간 순서와 인과 가정
- 인과적 과정으로 해석하려면 X·M·Y의 시간 순서와 각 경로의 혼란요인을 고려해야 합니다. 조건부 간접효과가 추정됐다는 것만으로 그 과정이 인과적으로 확인되지는 않습니다.
- 조건부 간접효과
- 조절변수 W의 특정 수준에서 계산한 X→M→Y 효과입니다. 여러 W 수준에서 추정치·신뢰구간을 제시해 효과 패턴을 보여 줍니다.
- 조절된 매개 지수
- 선형 조건에서 W가 한 단위 변할 때 간접효과가 얼마나 달라지는지 요약하는 추정량입니다. 해당 모형의 형태에 맞을 때 사용하며, 비선형·복수 조절에 하나의 지수를 기계적으로 적용하지 않습니다.
- 간접효과 차이의 신뢰구간
- 조건 간 간접효과의 차이를 직접 계산하고 불확실성을 평가합니다. 한 조건에서는 유의하고 다른 조건에서는 유의하지 않다는 비교만으로 차이를 주장하지 않습니다.
- 부트스트랩 추론
- 간접효과와 조절된 매개 지수의 표집분포가 정규적이지 않을 수 있어 재표집 신뢰구간을 사용할 수 있습니다. 표집 단위와 결측·군집 구조에 맞는 절차를 정합니다.
- 조절된 매개 결과의 읽기
- 조건별 간접효과와 그 차이 또는 지수의 구간을 함께 읽습니다. 어느 조건에서 값이 0과 구분되는지만으로 조건 간 변화의 증거를 대신하지 않습니다.
- 복잡도와 설명 범위
- 경로와 조절변수가 늘수록 필요한 표본·가정·해석 부담이 커집니다. 이론과 자료가 지지하는 범위까지만 모형을 구성하고 탐색한 분석은 구별해 보고합니다.
구조방정식모형 (Structural Equation Modeling, SEM)
- 잠재변수와 관측지표
- 잠재변수는 직접 관찰하기 어려운 개념이고, 지표는 설문 문항이나 행동 기록처럼 이를 관찰하는 자료입니다. 잠재변수와 지표의 대응은 이론·측정 근거로 정합니다.
- 외생변수와 내생변수
- 외생변수는 구조모형에서 다른 변수로부터 한 방향 화살표를 받지 않는 출발 변수이고, 내생변수는 다른 변수의 화살표를 받는 변수입니다. 같은 변수도 설정한 모형에 따라 역할이 달라질 수 있습니다. 외생·내생은 경로에서의 역할이고, 관측·잠재는 측정 방식의 구분입니다.
- 측정모형과 구조모형
- 측정모형은 잠재개념과 지표의 관계를, 구조모형은 개념들 사이의 가정된 경로를 나타냅니다. 일반적으로 측정 근거를 평가한 뒤 이론적 경로를 검토합니다.
- 확인적 요인분석(CFA)
- 사전에 정한 요인·문항 구조가 자료와 얼마나 부합하는지 검토합니다. 탐색적으로 만든 구조를 같은 자료에서 확인했다면 독립 자료에서 재검증하는 것이 바람직합니다.
- 모형 식별
- 자료가 모형의 미지 모수를 추정하기에 충분한 정보를 제공하는 상태입니다. 자유모수 수, 척도 설정, 제약을 확인하며 식별되지 않는 모형은 추정·해석할 수 없습니다.
- 요인부하량과 오차
- 요인부하량은 지표와 잠재요인의 연결 정도를 나타냅니다. 측정오차는 지표값에 포함된 개념 외 변동이며, 모형과 문항 내용에 따라 평가합니다.
- 수렴·판별 타당도
- 수렴 근거는 같은 개념을 나타내는 지표들이 함께 움직이는지, 판별 근거는 다른 개념이 경험적으로 구별되는지 살핍니다. 하나의 적합도 지수만으로 타당도가 확정되지는 않습니다.
- 모형 적합도 지수
- χ², CFI/TLI, RMSEA, SRMR 등은 모형과 자료의 불일치를 서로 다른 관점에서 요약합니다. 지수별 가정·민감도가 다르므로 하나의 절단값만으로 합격·불합격을 정하지 않습니다.
- 모수 추정과 표준오차
- 경로계수와 표준오차·신뢰구간은 가정한 모형에서 관계의 크기와 불확실성을 나타냅니다. 추정법은 표본 크기·분포·자료 척도에 맞게 선택하고 보고합니다.
- 구조경로와 대안모형
- 구조경로는 이론에서 제안한 조건부 관계입니다. 적합한 모형이 하나라는 사실은 대안적 인과모형이 틀렸음을 뜻하지 않으므로 이론과 설계를 바탕으로 비교합니다.
- 수정지수와 사후 수정
- 수정지수는 특정 제약을 풀 때 적합도가 얼마나 변할지 알려 주는 진단 정보입니다. 표본에 맞추려고 이론적 근거 없이 오차공분산·경로를 추가하면 재현성이 낮아질 수 있습니다.
- 잠재점수와 측정오차
- SEM은 측정오차를 모형화할 수 있지만 지표가 개념을 잘 대표하는지 대신 보장하지 않습니다. 요인점수를 개인의 오차 없는 실제 특성으로 취급하지 않도록 주의합니다.
다집단 분석 (Multigroup Analysis)
- 다집단 비교 질문
- 다집단 분석은 이론적으로 정한 집단 사이에서 측정값·잠재평균·경로가 같은지 다른지 평가합니다. 집단을 만든 목적과 비교할 모수를 분석 전에 정합니다.
- 측정동일성
- 같은 척도가 각 집단에서 비교 가능한 의미로 작동하는지 단계적으로 검토합니다. 측정이 충분히 비슷하지 않으면 평균·경로 차이가 개념 차이인지 문항 작동 차이인지 분리하기 어렵습니다.
- 형태동일성(configural)
- 같은 문항이 같은 요인에 연결되는 기본 구조가 집단마다 유지되는지 확인합니다. 이후 동일성 검토의 출발점입니다.
- 요인부하량 동일성(metric)
- 문항과 요인의 연결 크기를 집단 간 같게 둡니다. 이 조건은 요인 간 관계나 회귀 경로를 비교할 때 측정단위의 비교 가능성을 뒷받침합니다.
- 절편 동일성(scalar)
- 요인부하량에 더해 문항 절편도 집단 간 같게 둡니다. 잠재평균을 비교할 때 통상 중요한 단계이며, 범주형 문항은 임계값 동일성을 고려합니다.
- 잔차 동일성(strict)
- 문항의 잔차분산까지 같다고 두는 더 강한 제약입니다. 모든 다집단 질문에 필요한 것은 아니며, 어떤 비교를 위해 필요한지 근거를 제시합니다.
- 제약모형과 자유모형
- 집단 간 특정 모수를 같게 둔 모형과 자유롭게 추정한 모형을 비교합니다. 적합도 변화나 직접적인 모수 차이 검정을 이용하며 표본 크기와 지수의 특성을 고려합니다.
- 부분 측정동일성
- 일부 문항의 제약만 풀어 비교 가능성을 확보하는 접근입니다. 어떤 문항을 왜 풀었는지, 결과가 그 선택에 얼마나 민감한지 보고합니다.
- 집단 차이의 직접 검정
- A 집단에서 경로가 유의하고 B에서 유의하지 않다는 결과만으로 경로가 다르다고 하지 않습니다. 두 경로의 차이 자체를 검정하고 추정치와 구간을 제시합니다.
- 집단 나누기의 손실
- 연속형 변수를 임의의 기준으로 둘로 나누면 정보와 검정력이 줄고 경계값에 따라 결과가 바뀔 수 있습니다. 집단 구분은 이론·제도적 기준이 있을 때 정당화합니다.
- 비교 가능한 표본과 맥락
- 표본 구성, 번역, 응답상황, 집단별 표본 크기가 측정과 결과에 영향을 줄 수 있습니다. 통계적 동일성 결과와 함께 제도·언어·맥락의 근거를 설명합니다.
잠재프로파일분석 (Latent Profile Analysis, LPA)
- 사람중심 접근
- 변수 간 평균 관계보다 개인별 여러 연속 지표의 조합 패턴에 관심을 두는 관점입니다. 유형을 이미 안다고 가정하지 않고 자료에서 잠재 프로파일을 추정합니다.
- 지표와 프로파일
- 지표는 프로파일을 구분하는 연속 점수이고, 프로파일은 그 점수 조합이 비슷한 잠재 하위집단입니다. 지표 선정과 점수 척도가 유형 해석을 결정하므로 이론적 이유를 밝혀야 합니다.
- 잠재혼합모형
- 관측된 점수 분포를 여러 잠재 프로파일과 프로파일 내 분포의 혼합으로 표현합니다. 평균만 다른 모형인지 분산·공분산도 다른 모형인지 선택을 밝힙니다.
- 국소독립과 분산 구조
- 프로파일을 고려한 뒤 지표들 사이에 남는 연관을 어떻게 처리할지 정합니다. 지나치게 단순하거나 복잡한 분산구조는 유형 수와 형태를 바꿀 수 있습니다.
- 프로파일 수 결정
- 1개부터 여러 개까지 후보 모형을 추정하고 BIC 등 정보기준, 가능한 우도비 검정, 프로파일 크기, 이론적 해석과 재현성을 종합합니다. 단일 지표로 정답 유형 수를 결정하지 않습니다.
- 국소최대와 시작값
- 혼합모형의 최적화는 가장 좋은 해가 아닌 국소해에 멈출 수 있습니다. 무작위 시작값을 충분히 늘리고 최적 로그우도가 반복 재현되는지 확인합니다.
- 엔트로피와 분류 불확실성
- 엔트로피는 분류의 전반적 명확성을 요약할 뿐 프로파일 수의 타당성이나 모형의 진실성을 판정하지 않습니다. 개인별 사후확률을 확인해 오분류 불확실성을 평가합니다.
- 3단계·BCH 접근
- 추정된 프로파일과 외부 변수의 관계를 평가할 때 분류오차를 반영하는 보정 절차입니다. 예측변수와 결과변수의 역할, 변수 유형에 따라 적절한 절차를 고릅니다.
- 유형 이름과 프로파일 그림
- 표준화 평균이나 원 단위 평균의 패턴을 보여 주고, 근거가 드러나는 이름을 붙입니다. 유형 이름은 분석자의 요약이며 사람의 고정된 본질이나 진단명이 아닙니다.
- 표본·모형 의존성과 재현
- 추정 유형은 표본·지표·모형 설정에 따라 달라질 수 있습니다. 다른 표본·시점에서 비슷한 구조가 재현되는지 확인하고 일반화 범위를 제한합니다.
- 유형별 결과의 비교
- 프로파일 간 결과 차이는 분류오차와 분석 설계를 반영해 추정합니다. 사후에 가장 눈에 띄는 결과만 골라 유형 설명으로 제시하면 탐색적 발견임을 밝혀야 합니다.
잠재계층분석 (Latent Class Analysis, LCA)
- 잠재계층과 범주형 지표
- 잠재계층은 예·아니오, 수행·미수행 같은 범주형 응답 패턴이 비슷한 사례를 모형으로 설명한 집단입니다. 연속 점수 조합을 쓰는 LPA와 지표 유형이 다릅니다.
- 조건부 응답확률
- 각 계층에 속한다고 가정할 때 문항 응답 범주가 나타날 확률입니다. 계층을 평균점수보다 응답 가능성의 패턴으로 이름 붙이고 해석합니다.
- 범주 수와 코딩
- 각 문항의 범주와 기준을 정확히 정의합니다. 0·1 숫자로 저장해도 범주형 자료의 분석 성격은 변하지 않으며, 순서형 응답은 분석 모형이 순서를 어떻게 다루는지 밝혀야 합니다.
- 국소독립성
- 계층 소속을 고려한 뒤 지표 응답들이 서로 독립이라고 가정합니다. 비슷한 문항의 잔여 연관이 크면 직접효과 등 대안을 검토해야 합니다.
- 계층 수 비교
- 여러 계층 수의 로그우도, AIC/BIC, 가능한 우도비 검정, 계층 크기와 응답확률을 함께 살핍니다. 적합도 숫자만으로 계층 수를 기계적으로 고르지 않습니다.
- 수렴·다중 시작값
- 초기값에 따라 다른 해가 나올 수 있으므로 충분한 시작값을 사용하고 최고 로그우도가 반복되는지 확인합니다. 작은 계층이나 희소한 응답 조합은 안정성 점검이 필요합니다.
- 사후확률과 분류오차
- 각 사례가 계층에 속할 사후확률은 배정의 불확실성을 나타냅니다. 가장 높은 확률의 계층으로 분류해도 오분류가 없어지지는 않습니다.
- 3단계 외부변수 분석
- 계층 형성 뒤 공변량·결과변수와의 관계를 평가할 때 분류오차를 보정하는 절차입니다. 외부변수를 계층 형성에 포함할지, 계층을 예측·결과로 둘지 질문에 맞춰 선택합니다.
- 계층 해석과 이름 붙이기
- 항목별 조건부 응답확률과 계층 비율을 제시해 각 패턴의 특징을 설명합니다. 낙인이나 성격 진단처럼 보이는 이름을 피하고 지표가 뒷받침하는 범위에서 명명합니다.
- 계층은 자연적으로 고정된 집단이 아님
- 계층은 선택한 지표와 가정에 따라 추정되는 요약입니다. 실재하는 본질적 사람 유형이라고 단정하지 말고 다른 표본·지표에서 재현되는지 검토합니다.
- LCA와 LTA
- 한 시점 응답패턴을 찾는 LCA와 시간에 따른 계층 이동을 추정하는 잠재전이분석(LTA)은 질문이 다릅니다. 여러 시점 자료라면 측정 비교가능성과 전이모형 가정을 추가로 검토합니다.
잠재전이분석 (Latent Transition Analysis, LTA)
- 잠재상태
- LTA에서 특정 시점에 사람이 속한 잠재 유형입니다. 유형이 고정되어 있다고 보는 LCA의 잠재계층과 달리 시간에 따라 달라질 수 있다고 봅니다.
- 전이확률
- 시점 t의 어떤 유형에 속할 때 시점 t+1에 각 유형에 속할 확률입니다. 한 행의 합이 1이며, 대각선은 유지, 나머지는 이동을 뜻합니다.
- LTA와 LGM
- LGM은 연속 점수의 평균 궤적을 보고, LTA는 질적으로 다른 유형 사이의 이동을 봅니다. 변화를 양으로 볼지, 유형의 변화로 볼지가 선택의 기준입니다.
- 측정 시점과 간격
- 최소 2시점이 필요합니다. 간격이 너무 짧으면 이동이 드물고, 너무 길면 중간 이동을 놓칩니다. 이론으로 변화가 일어날 기간을 먼저 정합니다.
- 동일 지표
- 모든 시점에 같은 문항과 같은 범주 코딩을 씁니다. 문항이나 코딩이 달라지면 이동과 측정 변화를 구별할 수 없습니다.
- 패널 탈락
- 한 시점만 응답한 사람의 처리 방식을 정합니다. 탈락이 유형과 관련되면 전이확률이 왜곡될 수 있어 결측 메커니즘을 점검합니다.
- 시점별 유형 수 탐색
- 전이를 넣기 전에 시점마다 LCA 또는 LPA로 유형 수를 정합니다. 시점 간 유형 수와 모양이 비슷한지 보는 단계입니다.
- 측정불변
- 시점 간 조건부 응답확률을 같게 제약한 모형과 자유 모형을 비교합니다. 불변이 유지되어야 같은 유형 사이의 이동으로 해석할 수 있습니다.
- 3단계 추정
- 측정 모형을 먼저 추정한 뒤 분류오차를 반영해 전이와 공변량, 결과를 연결합니다. 나중에 넣은 변수가 유형의 의미를 바꾸는 문제를 줄입니다.
- 승산비
- 공변량이 유형 또는 이동의 가능성을 얼마나 바꾸는지 나타내는 다항 로지스틱 회귀의 값입니다. 1보다 크면 가능성이 높아지고, 신뢰구간이 1을 포함하면 유의하지 않습니다.
- 유지와 이동의 해석
- 전이확률이 낮아도 시작 유형의 비율이 크면 옮겨 간 사람 수는 많을 수 있습니다. 확률과 추정 사람 수를 함께 봅니다.
- 이동은 인과가 아님
- 공변량이 이동을 예측해도 원인이라고 확정할 수 없습니다. 변화의 시간 순서와 교란 변수를 함께 검토합니다.
측정도구 개발 (Scale Development and Validation)
- 구성개념과 영역 정의
- 측정하려는 추상 개념의 뜻과 포함·제외 범위를 이론·선행연구로 정합니다. 영역 정의가 모호하면 좋은 통계치가 나와도 문항이 개념을 빠뜨리거나 다른 것을 섞을 수 있습니다.
- 문항 청사진과 문항 풀
- 개념의 하위영역과 각 영역을 대표할 문항 유형을 미리 정리한 표가 청사진입니다. 다양한 문항 후보를 만든 뒤 연구 목적·응답자·맥락에 맞춰 검토합니다.
- 내용타당도 검토
- 전문가와 대상자 검토로 문항이 개념 영역을 적절하고 충분히 대표하는지 살핍니다. 전문가 합의 수치만으로 전체 타당성이 확정되는 것은 아닙니다.
- 인지면담과 예비조사
- 응답자가 문항을 어떻게 이해하고 답을 고르는지 확인하고 표현·응답범주·절차 문제를 찾습니다. 통계 분석 전에도 문항이 의도한 의미로 읽히는지 확인해야 합니다.
- 문항분석
- 응답 분포, 결측·천장/바닥효과, 문항 간 관계와 문항 내용 중복을 함께 점검합니다. 숫자 기준만으로 핵심 영역 문항을 삭제하지 않습니다.
- 탐색적 요인분석(EFA)
- 자료의 상관 패턴에서 잠재 차원 수와 문항 구성을 탐색합니다. 요인 수 결정에는 이론·평행분석·해석 가능성을 함께 활용하고 회전·추정법을 보고합니다.
- 확인적 요인분석(CFA)
- 미리 정한 문항-요인 구조가 새 자료와 부합하는지 검토합니다. 같은 자료에서 EFA와 CFA를 모두 하면 확인 결과가 독립적으로 재현된 것으로 볼 수 없습니다.
- 신뢰도 계수(α·ω)
- 문항 점수의 일관성에 관한 근거입니다. α 또는 ω 하나가 높다고 단일차원성·타당성·시간 안정성이 모두 입증된 것은 아니며 적용 가정을 밝혀야 합니다.
- 수렴·판별·준거 관련 근거
- 관련 개념과의 관계, 구별되어야 할 개념과의 차이, 외부 기준과의 연관 등 여러 근거를 예상 방향과 함께 평가합니다. 타당도는 도구에 붙는 단일 합격 도장이 아닙니다.
- 측정동일성
- 집단·시점별로 문항이 같은 개념을 비슷한 방식으로 측정하는지 검토합니다. 비교 목적에 맞는 수준의 동일성이 확보되지 않으면 점수 차이 해석에 제한이 생깁니다.
- 교차검증과 재현
- 개발에 쓴 표본과 다른 표본에서 요인 구조와 신뢰도·타당도 근거가 재현되는지 확인합니다. 표본 특성과 언어·조직 맥락을 바꾸어 적용할 때 추가 검증이 필요합니다.
- 점수 해석과 사용 범위
- 총점·하위척도 점수가 뜻하는 바, 사용 대상과 목적, 해석하지 말아야 할 범위를 설명합니다. 측정도구의 근거를 넘어 개인 진단이나 선발 결정을 정당화하지 않습니다.
- 문항 추출과 청사진
- 문헌·기존 도구·대상자 면담에서 개념에 해당하는 행동이나 경험 표현을 모으고, 하위영역별로 어떤 내용의 문항이 필요한지 표로 정합니다. 출처와 채택·수정 이유를 기록해 내용이 빠지지 않게 합니다.
- 문항 선별 기준
- 전문가의 관련성·대표성 검토와 응답자 인지면담을 먼저 반영합니다. 예비조사에서는 결측, 응답 쏠림, 문항 중복, 수정된 문항-총점 관계 등을 함께 보되 숫자 한 가지로 자동 삭제하지 않습니다.
- 라쉬분석(Rasch 분석)
- 사람의 특성 수준과 문항의 응답하기 어려운 정도를 같은 척도에서 다루는 문항반응모형입니다. 문항별 기능과 측정 범위를 알고 싶을 때 사용하며, 이분형과 다범주 문항에 맞는 모형을 구별합니다.
- 문항 적합도와 사람-문항 지도
- infit/outfit은 응답이 라쉬모형의 예상에서 얼마나 벗어나는지 보여 줍니다. 사람-문항 지도는 어떤 수준의 응답자에게 문항이 모자라거나 몰려 있는지 시각적으로 확인하게 합니다.
- 응답 범주와 문턱값
- 5점 척도에서 각 범주가 구별되어 사용되고 문턱값이 순서대로 나타나는지 살핍니다. 범주가 제대로 작동하지 않으면 문구나 범주 수를 다시 검토할 수 있습니다.
- 차별적 문항 기능(DIF)
- 같은 특성 수준의 사람이라도 집단에 따라 특정 문항에 답할 확률이 다른지 확인합니다. DIF는 문항을 더 살펴볼 신호이며 발견만으로 문항의 편향 원인이 확정되는 것은 아닙니다.
- 연역·귀납적 문항 생성
- 연역적 생성은 이론·선행연구·기존 도구에서 개념의 내용을 문항으로 옮깁니다. 귀납적 생성은 대상자 면담·현장 기록에서 실제 표현과 행동을 찾아 문항을 만듭니다. 두 출처를 비교해 개념의 중요한 부분이 빠지지 않게 합니다.
- 내용타당도 지수(CVI·CVR)
- 전문가가 문항의 관련성이나 필수성을 평가한 결과를 요약하는 지표입니다. 수치가 높아도 하위영역의 대표성, 전문가 선정, 응답자의 이해 가능성을 별도로 검토해야 합니다.
- 수정된 문항-총점 상관
- 한 문항과 그 문항을 제외한 나머지 점수의 관계입니다. 낮게 나오면 역채점 오류·문항의 다른 의미·중요한 별도 하위영역 여부를 살펴보고, 낮은 수치만으로 자동 삭제하지 않습니다.
- 재검사 신뢰도
- 안정적이어야 하는 특성을 일정 간격을 두고 다시 측정했을 때 점수가 얼마나 일관되는지 살핍니다. 실제로 빠르게 변하는 상태를 측정할 때에는 낮은 일치도가 곧 문항의 결함을 뜻하지 않을 수 있습니다.
- 라쉬 평정척도 모형과 부분점수 모형
- 둘 다 여러 순서형 응답범주를 다루는 라쉬모형입니다. 평정척도 모형은 문항들이 같은 범주 단계 구조를 공유한다고 가정하고, 부분점수 모형은 문항마다 다른 단계 구조를 허용합니다. 응답 형식과 가정을 보고 선택합니다.
예측분석 (Predictive Modeling, 랜덤 포레스트 중심)
- 예측 대상·시점·사용결정
- 누구의 어떤 결과를 언제까지 예측하고 결과를 어떤 결정에 쓸지 먼저 정합니다. 예측 시점 뒤에 알 수 있는 결과정보를 쓰면 실제 적용과 다른 문제가 됩니다.
- 예측과 설명
- 예측은 새 사례에서의 오류를 줄이는 것이 목적이고, 설명은 변수 관계나 기제를 이해하는 것이 목적입니다. 예측모형의 높은 성능만으로 변수의 인과효과를 말할 수 없습니다.
- 훈련·검증·시험 자료
- 훈련 자료는 모형 적합에, 검증 자료나 교차검증은 설정 선택에, 시험 자료는 최종 성능 평가에 씁니다. 같은 데이터를 반복해 선택과 평가에 쓰면 성능이 낙관적으로 보일 수 있습니다.
- 자료 누출
- 예측 시점에 알 수 없는 변수나 시험자료 정보를 학습 과정에 섞는 오류입니다. 결과 이후 기록, 전체 자료에서 먼저 계산한 표준화 값, 개인별 중복 행 등을 점검합니다.
- 전처리와 교차검증
- 결측 대체·척도화·변수 선택 같은 전처리도 각 훈련 구간 안에서 학습해야 합니다. 전체 자료에 먼저 적용하면 검증자료 정보가 훈련으로 새어 들어갈 수 있습니다.
- 기준모형과 모형 선택
- 평균·다수 범주 예측 같은 단순 기준과 후보 알고리즘을 비교합니다. 복잡한 모형은 같은 검증계획에서 실제로 성능을 개선할 때 채택합니다.
- 분류·회귀 성능지표
- 연속 결과에는 MAE·RMSE, 분류에는 정밀도·재현율·ROC/PR-AUC 등을 질문과 오류 비용에 맞춰 선택합니다. 클래스 불균형에서는 정확도만 보고하면 유용성을 과장할 수 있습니다.
- 확률 보정
- 예측 확률 0.7인 사례들 가운데 실제 사건이 대략 70% 일어나는지 평가하는 성질입니다. 순위 성능과 보정은 서로 다르므로 의사결정에 확률을 쓸 때 따로 살핍니다.
- 튜닝과 중첩 교차검증
- 하이퍼파라미터를 고르는 과정도 성능을 높이기 때문에 별도 검증 층이 필요할 수 있습니다. 중첩 교차검증은 내부에서 튜닝하고 외부에서 선택 편향을 줄여 성능을 평가합니다.
- 외부·시간 검증
- 새 기관·시기 자료에서 성능을 확인해 적용 환경으로 옮겨도 예측이 유지되는지 평가합니다. 내부 교차검증만으로 미래·다른 조직에서의 성능을 보장하지 않습니다.
- 변수 중요도와 SHAP
- 특정 모형의 예측에 변수가 얼마나 기여했는지를 요약하는 설명 도구입니다. 상관된 변수들 사이에서 값이 달라질 수 있으며, 변수를 바꾸면 결과가 어떻게 변하는지에 대한 인과효과는 아닙니다.
- 집단별 오류와 공정성
- 성별·직무·조직 등 관련 집단별로 오류와 보정이 다른지 평가합니다. 평균 성능 하나가 특정 집단의 큰 오류나 부당한 의사결정 위험을 가릴 수 있습니다.
- 랜덤 포레스트
- 의사결정나무를 수백 그루 만들어 결과를 모으는 앙상블 방법입니다. 분류는 다수결, 회귀는 평균으로 예측하며 Breiman(2001)이 제안했습니다.
- 부트스트랩과 OOB(out-of-bag) 오차
- 각 나무는 원자료에서 중복을 허용해 뽑은 표본(약 63%의 사례)으로 학습합니다. 뽑히지 않은 나머지 약 37%의 사례(OOB)로 그 나무를 평가해 평균하면 별도의 교차검증 없이도 예측 오차를 추정할 수 있습니다.
- mtry와 ntree
- mtry는 나무의 각 분기에서 무작위로 고려할 변수의 수(분류는 보통 √p, 회귀는 p/3), ntree는 나무의 수(500 이상이 흔함)입니다. mtry가 작을수록 나무가 서로 달라져 과적합이 줄어듭니다.
- 변수 중요도(permutation vs Gini)
- 변수 값을 무작위로 섞었을 때 예측 정확도가 얼마나 떨어지는지가 순열 중요도입니다. 분기에서 불순도가 줄어든 정도(Gini)는 연속형·범주가 많은 변수에 유리하게 치우치므로 순열 중요도를 권합니다.
- 부분의존도와 해석의 한계
- 부분의존도는 한 변수가 변할 때 예측값이 평균적으로 어떻게 변하는지 보여 줍니다. 변수 중요도와 부분의존도는 예측에 기여한 정도이지 원인이나 효과의 크기가 아닙니다.
- 예측 대 설명(SEM과의 차이)
- SEM은 이론적 구조를 모수로 검정하는 ‘설명’ 방법이고, 랜덤 포레스트는 새 자료에서의 정확도로 평가하는 ‘예측’ 방법입니다. 같은 자료라도 질문이 다르면 다른 방법을 씁니다.
자기회귀교차지연모형 (Autoregressive Cross-Lagged Panel Model, ARCL)
- 패널자료와 반복측정
- 같은 분석 단위를 여러 시점 반복 관찰한 자료입니다. 시점마다 다른 사람을 뽑은 반복횡단자료와 구분해야 개인 내 시간 관계를 분석할 수 있습니다.
- 자기회귀·교차지연 경로
- 자기회귀 경로는 이전 시점 변수와 이후 같은 변수의 관계, 교차지연 경로는 이전 X와 이후 Y의 관계를 나타냅니다. 보통 이전 Y 수준을 함께 고려해 추정합니다.
- 측정시점과 간격
- 관찰 간격은 예상한 변화 과정이 드러날 시간 범위와 맞아야 합니다. 간격이 너무 길거나 짧으면 관계를 놓칠 수 있고, 한 가지 간격의 결과를 다른 시간 규모에 그대로 일반화할 수 없습니다.
- 종단 측정동일성
- 시점에 따라 문항·척도가 같은 의미로 작동하는지 검토합니다. 측정 의미가 바뀌면 실제 변화와 도구 변화가 섞일 수 있습니다.
- 전통적 교차지연 패널모형(CLPM)
- 이전 점수를 통제한 교차지연 연관을 추정하는 기본 패널 모형입니다. 개인 간 안정적 차이와 개인 내 변화가 섞일 수 있으므로 계수를 곧바로 개인 내 효과로 읽지 않습니다.
- 자기회귀 안정성
- 한 변수가 시간에 걸쳐 유지되는 정도를 보여 주는 경로입니다. 강한 자기회귀는 이후 시점의 잔여 변화량과 교차지연 추정에 영향을 줄 수 있습니다.
- 무선절편 교차지연모형(RI-CLPM)
- 개인에게 안정적으로 있는 평균 수준과 시점별 개인 내 편차를 분리하려는 모형입니다. 반복 시점·표본·추정에 요구되는 조건이 크며 모든 종단 질문에 자동으로 더 좋은 선택은 아닙니다.
- 개인 간·개인 내 효과
- 개인 간 효과는 평균적으로 높은 사람과 낮은 사람의 차이, 개인 내 효과는 같은 사람이 자기 평소 수준보다 달라질 때의 관계입니다. 두 질문을 구분해 모형과 해석에 반영합니다.
- 교차지연과 인과성
- 시간적으로 먼저 측정된 X가 이후 Y를 예측해도 미측정 교란, 측정 간격, 모형 설정이 남습니다. 시간 순서는 인과 추론에 도움이 되지만 인과를 단독으로 증명하지 않습니다.
- 종단 결측과 탈락
- 시점 누락·탈락이 어떤 사람에게 더 자주 발생하는지와 추정법의 결측 가정을 평가합니다. 완전 사례만 분석하면 선택 편향과 정보 손실이 생길 수 있습니다.
사회네트워크분석 (Social Network Analysis, SNA)
- 노드와 연결(엣지)
- 노드는 네트워크의 구성 요소(사람·조직·키워드)이고 연결(엣지)은 노드 사이의 관계입니다. 연결에 방향이 있으면 유향, 없으면 무향 네트워크입니다.
- 전체 네트워크와 자아중심 네트워크
- 전체 네트워크는 경계 안의 모든 노드 사이의 관계를 보는 것이고, 자아중심 네트워크는 한 사람(ego)과 그가 연결된 사람들만 봅니다.
- 1-모드와 2-모드 네트워크
- 1-모드는 사람–사람처럼 한 종류의 노드를, 2-모드는 사람–활동이나 논문–키워드처럼 두 종류의 노드를 잇습니다.
- 명명자 생성자와 명부(roster) 방식
- 관계를 묻는 두 가지 방식입니다. 명명자 생성자는 ‘도움을 구하는 동료 3명을 쓰세요’처럼 자유롭게 적게 하고, 명부 방식은 구성원 목록에서 고르게 합니다.
- 경계 설정과 응답률
- 누구를 네트워크에 포함할지의 기준이 경계입니다. 응답하지 않은 사람이 많으면 중심성 등 구조 지표가 크게 왜곡될 수 있습니다.
- 엣지 리스트와 인접행렬
- 엣지 리스트는 ‘보내는 사람–받는 사람(–강도)’를 한 줄씩 적은 표이고, 인접행렬은 모든 노드 쌍의 연결을 행렬로 나타낸 것입니다.
- 밀도
- 실제 연결 수를 가능한 연결 수로 나눈 비율입니다. 네트워크 크기가 커지면 밀도가 낮아지는 경향이 있어 크기가 다른 네트워크를 직접 비교할 때 주의합니다.
- 중심성(연결·매개·근접·고유벡터)
- 연결도는 직접 연결의 수, 매개 중심성은 다른 노드 사이의 최단 경로에 놓이는 정도, 근접 중심성은 모든 노드에 가까운 정도, 고유벡터 중심성은 영향력 있는 이웃과 연결된 정도입니다.
- 구조적 구멍과 제약도
- 서로 직접 연결되지 않은 집단 사이를 잇는 위치가 구조적 구멍입니다. Burt의 제약도가 낮을수록 서로 다른 집단을 잇는 다리 위치에 가깝습니다.
- QAP·MRQAP와 ERGM
- 관계 자료는 서로 독립이 아니므로 순열로 p값을 구하는 QAP/MRQAP, 연결 형성 확률을 모형화하는 지수족 랜덤 그래프 모형(ERGM)을 사용합니다.
- 동질성(호모필리)
- 같은 속성(같은 부서, 같은 직급)을 가진 사람끼리 더 많이 연결되는 경향입니다. ERGM의 속성 일치(nodematch) 항이나 동질성 지수로 확인합니다.
- 상호성과 전이성
- 상호성은 A가 B를 선택하면 B도 A를 선택하는 경향, 전이성은 친구의 친구가 서로 연결되는 경향(삼각형)입니다. 연결이 생기는 규칙을 설명합니다.
- 커뮤니티와 모듈성
- 커뮤니티는 내부 연결이 촘촘하고 외부와는 덜 연결된 하위집단입니다. 모듈성(Q)이 대략 .30 이상이면 뚜렷한 군집 구조로 보는 관행이 있습니다.
토픽모델링 (Topic Modeling)
- 말뭉치(코퍼스)와 문서
- 분석 대상이 되는 텍스트 전체가 말뭉치이고, 이를 나눈 기본 단위(논문 초록 1편, 응답 1건)가 문서입니다. 문서를 어떻게 나누느냐에 따라 토픽이 달라집니다.
- 토픽
- 함께 자주 나타나는 단어들의 묶음(단어의 확률분포)입니다. 토픽의 의미는 연구자가 상위 단어와 대표 문서를 읽고 해석해 부여합니다.
- 문서-토픽 분포와 토픽-단어 분포
- 각 문서는 여러 토픽을 서로 다른 비율로 가지고(문서-토픽 분포), 각 토픽은 단어들을 서로 다른 확률로 포함합니다(토픽-단어 분포).
- 형태소 분석과 불용어
- 한국어는 조사·어미를 떼고 의미 있는 품사(명사·형용사)만 남기는 형태소 분석이 필요합니다. 불용어는 분석에서 제외하는 흔한 단어(‘연구’, ‘대하여’ 등)입니다.
- 문서-단어 행렬(DTM)
- 행은 문서, 열은 단어, 값은 단어 빈도인 행렬입니다. 너무 드문 단어와 거의 모든 문서에 나오는 단어를 걸러 만듭니다.
- 토픽 수(K)와 하이퍼파라미터(α, β)
- 연구자가 정하는 토픽의 개수가 K입니다. α는 문서가 몇 개의 토픽을 가질지, β는 토픽이 몇 개의 단어를 가질지에 관한 사전 가정입니다.
- LDA와 STM
- LDA는 문서가 여러 토픽의 혼합이라고 가정하는 기본 모형이고, 구조적 토픽모델(STM)은 연도·집단 같은 공변량이 토픽 비율이나 내용에 미치는 영향을 함께 추정합니다.
- 일관성(coherence)과 held-out 우도
- 일관성은 한 토픽의 상위 단어가 서로 얼마나 의미적으로 함께 나타나는지를 나타내며 높을수록 해석하기 좋은 토픽입니다. held-out 우도는 학습에 쓰지 않은 문서에 대한 모형의 설명력입니다.
- 배타성(exclusivity)
- 한 토픽의 단어가 다른 토픽에서는 잘 나타나지 않는 정도입니다. 일관성과 함께 높을수록 서로 구별되는 토픽입니다.
- 상위 단어와 대표 문서
- 각 토픽의 확률이 높은 단어(상위 단어)와 그 토픽 비율이 가장 높은 문서(대표 문서)입니다. 둘을 함께 읽어야 토픽의 의미를 정확히 해석할 수 있습니다.
- 토픽 라벨링과 토픽 침입 검사
- 토픽에 이름을 붙이는 작업을 토픽 라벨링이라 하며, 둘 이상의 연구자가 합의합니다. 토픽 침입 검사는 토픽 단어 중 엉뚱한 단어를 사람이 찾아내게 해 토픽의 해석 가능성을 평가합니다.
- 토픽 비율의 추세
- 연도별·집단별로 토픽이 차지하는 평균 비율을 비교합니다. 비율의 변화는 해당 단어 패턴의 사용 증가를 뜻하며 주제의 중요도를 직접 의미하지는 않습니다.
다층분석 (Multilevel Analysis, HLM)
- 중첩(nested) 구조와 수준
- 개인이 팀에, 팀이 조직에 속하는 위계 구조입니다. 가장 낮은 단위를 수준 1(개인), 그 위를 수준 2(팀)라고 부릅니다. 시점이 사람에 중첩된 종단 자료도 같은 구조입니다.
- 비독립성과 ICC
- 같은 집단의 구성원은 서로 닮아 관측이 독립이 아닙니다. ICC(1)는 결과의 전체 분산 중 집단 간 차이가 차지하는 비율로, 영모형에서 τ00/(τ00+σ²)로 계산합니다.
- 개인 내 효과와 집단 간 효과
- 같은 변수가 개인 수준(같은 집단 안에서 개인이 평균보다 높을 때)과 집단 수준(집단 평균이 높을 때)에서 서로 다른 효과를 가질 수 있습니다. 집단평균 중심화로 두 효과를 구분합니다.
- 집합(aggregation)과 rwg·ICC(2)
- 구성원 응답을 평균해 집단 수준 변수를 만드는 것이 집합입니다. rwg는 집단 내 합의 정도(.70 이상 수용), ICC(2)는 집단 평균의 신뢰도(.70 이상 수용)로 집합이 정당한지 판단합니다.
- 중심화(centering)
- 예측변수에서 전체평균 또는 집단평균을 빼는 작업입니다. 집단평균 중심화는 순수한 개인 내 효과를, 전체평균 중심화는 집단 차이를 통제한 효과를 줍니다. 선택에 따라 계수의 의미가 달라집니다.
- 집단 수와 집단 크기
- 다층분석에서는 개인 수보다 집단 수가 집단 수준 효과의 정확도를 좌우합니다. 집단 수가 너무 적으면 집단 수준 분산과 표준오차가 불안정합니다.
- 영모형과 임의절편·임의기울기
- 영모형은 예측변수 없이 집단 간 분산만 추정한 기준 모형입니다. 임의절편은 집단마다 평균이 다름을, 임의기울기는 개인 수준 변수의 효과가 집단마다 다름을 허용합니다.
- 고정효과와 임의효과
- 고정효과는 모든 집단에 공통인 평균적 효과(γ), 임의효과는 집단마다 다른 정도를 나타내는 분산 성분(τ)입니다.
- 교차수준 상호작용
- 집단 수준 변수가 개인 수준 변수의 기울기를 바꾸는 효과입니다. 예를 들어 팀 학습문화(수준 2)가 자기효능감(수준 1)과 학습전이의 관계를 강하게 하는지를 봅니다.
- REML과 ML, 우도비 검정
- 분산 성분 추정에는 REML이 정확하고, 고정효과가 다른 모형을 비교할 때는 ML 기반의 −2 로그우도(deviance) 차이를 카이제곱으로 검정합니다. AIC·BIC도 비교에 씁니다.
- HLM(위계적 선형모형)
- 관측변수의 점수를 가지고 수준 1 방정식과 수준 2 방정식으로 나누어 추정하는 다층분석입니다. 교차수준 상호작용과 임의기울기를 다루기에 편리하며, 종속변수는 수준 1에 있습니다.
- MSEM(다층 구조방정식모형)
- 구조방정식을 다층 자료로 확장한 방법입니다. 같은 변수를 개인 내(within) 부분과 집단 간(between) 부분으로 나누어 잠재변수·매개·측정모형을 수준별로 따로 추정하며, 측정오차를 반영합니다.
- 잠재 집단평균(latent group mean)
- MSEM에서 관측된 집단 평균 대신 모형이 추정하는 집단 수준 값입니다. 집단 크기가 작고 구성원 간 변동이 크면 관측 평균에 오차가 크므로 잠재 집단평균이 편향을 줄입니다.
- 분산 설명 비율(pseudo R²)
- 예측변수를 넣은 뒤 수준별 분산이 영모형보다 얼마나 줄었는지(비율)로 설명력을 나타냅니다. 일반 회귀의 R²와 달리 수준마다 따로 계산합니다.
- 생태학적 오류
- 집단 수준 자료의 관계를 개인 수준에도 그대로 성립한다고 해석하는 오류입니다. 반대로 개인 수준 결과를 집단에 적용하는 것은 원자적 오류입니다.
잠재성장모형 (Latent Growth Modeling, LGM)
- 변화 궤적
- 한 사람의 점수가 시간에 따라 움직이는 경로입니다. 전체 평균 궤적과 개인별 궤적을 구분합니다.
- 잠재 절편과 잠재 기울기
- 절편은 시간 코딩이 0인 시점의 수준, 기울기는 시간 단위당 변화량입니다. 반복 측정값에서 추정하는 잠재변수입니다.
- 변화의 개인차
- 절편과 기울기의 분산입니다. 기울기 분산이 유의하면 사람마다 변화 속도가 다르다는 뜻입니다.
- 시간 코딩
- 기울기 요인의 부하량을 정하는 값입니다(0, 1, 2, 3). 간격이 다르면 실제 간격을 반영합니다(0, 1, 3). 0의 위치가 절편의 의미를 정합니다.
- 종단 측정동일성
- 같은 문항이 시점이 달라도 같은 의미로 측정되는지입니다. 확보되어야 점수 변화를 실제 변화로 해석할 수 있습니다.
- 탈락과 FIML
- 중도 탈락은 종단 연구에서 흔합니다. 완전정보 최대우도(FIML)는 관측된 모든 자료를 사용해 결측을 처리합니다.
- 무조건 모형과 조건부 모형
- 무조건 모형은 예측변수 없이 변화의 모양만 추정하고, 조건부 모형은 예측변수와 결과변수를 넣어 변화의 개인차를 설명합니다.
- 무성장·선형·이차·잠재기저 모형
- 변화의 형태를 나타내는 후보 모형입니다. 잠재기저 모형은 일부 시간 부하량을 자유롭게 추정해 궤적의 모양을 자료에서 찾습니다.
- 절편·기울기 공분산
- 시작 수준과 변화 속도의 관계입니다. 음수이면 시작이 높은 사람일수록 변화가 느리다는 뜻입니다.
- 병행과정 모형
- 두 변수의 궤적을 동시에 추정해 한 변수의 변화와 다른 변수의 변화가 함께 움직이는지 보는 모형입니다.
- 기울기 평균과 기울기 분산의 해석
- 기울기 평균은 전체의 평균 변화, 분산은 사람 간 차이입니다. 평균이 0에 가까워도 분산이 크면 오르는 사람과 내리는 사람이 함께 있을 수 있습니다.
- 성장혼합모형(GMM)
- 변화 궤적이 다른 숨은 집단을 찾는 LGM의 확장입니다. 집단 수 결정에는 LPA와 같은 기준을 씁니다.
감성분석 (Sentiment Analysis)
- 감성(극성)
- 글에 드러난 평가의 방향과 강도입니다. 보통 긍정·중립·부정의 범주나 −1~+1 같은 연속 점수로 나타냅니다. 글쓴이의 실제 감정과는 구별합니다.
- 문서 수준·문장 수준·속성 수준 감성
- 글 전체에 하나의 감성을 붙일 수도, 문장마다 붙일 수도, ‘강사’·‘운영’처럼 평가 대상(속성)마다 따로 붙일 수도 있습니다. 연구 질문에 맞는 수준을 먼저 정합니다.
- 감성 사전(lexicon)
- 긍정·부정 단어와 그 점수를 모은 목록입니다. 단어 점수를 더해 문서 점수를 만들므로 이해하기 쉽지만, 맥락과 반어를 잘 반영하지 못하고 분야에 따라 맞지 않는 단어가 생깁니다.
- 사람 코딩과 코더 간 일치도
- 연구자가 직접 감성을 판정한 기준 자료입니다. 코더 두 명 이상이 같은 문서를 판정하고 Cohen의 κ 같은 일치도를 보고해 기준의 신뢰성을 보입니다.
- 부정어·강조어 처리
- ‘좋지 않다’, ‘별로 안 어렵다’처럼 부정어가 극성을 뒤집거나 ‘매우’처럼 강도를 바꾸는 표현입니다. 한국어는 어미와 조사 때문에 형태소 분석 뒤 규칙을 따로 다듬어야 합니다.
- 기계학습 분류기
- 사람이 감성을 붙인 문서로 학습해 새 문서의 감성을 맞히는 모델(로지스틱 회귀, SVM 등)입니다. 학습 자료와 검증 자료를 나눠 성능을 확인합니다.
- 사전학습 언어모델(BERT 계열)과 미세조정
- 대량의 글로 미리 학습된 언어모델에 연구 자료의 감성 라벨을 추가로 학습시키는 방식입니다. 맥락을 잘 반영해 정확도가 높은 편이지만 판정 이유를 설명하기 어렵습니다.
- 정확도·정밀도·재현율·F1
- 정확도는 전체 중 맞힌 비율, 정밀도는 ‘부정’으로 판정한 것 중 실제 부정의 비율, 재현율은 실제 부정 중 찾아낸 비율, F1은 정밀도와 재현율의 조화평균입니다. 범주 비율이 치우치면 F1을 함께 봅니다.
- 혼동행렬
- 실제 범주와 모델이 판정한 범주를 교차한 표입니다. 어떤 범주를 어떤 범주로 잘못 판정하는지(예: 중립을 부정으로) 보여 줍니다.
- 감성 점수의 타당성
- 감성 점수가 연구하려는 개념(만족, 불만)을 제대로 반영하는지에 대한 근거입니다. 사람 코딩과의 일치, 만족도 같은 관련 변수와의 상관으로 확인합니다.
- 응답 편향
- 글을 남기는 사람이 특정 성향(강한 불만이나 강한 만족)에 치우쳐 있을 수 있다는 점입니다. 감성 비율을 전체 학습자의 평가로 일반화하기 전에 응답률을 확인합니다.
- 오분류 사례 분석
- 모델이 틀린 문서를 직접 읽어 반어, 복합 감성, 분야 특유 표현 같은 원인을 정리하는 과정입니다. 결과의 한계를 설명하는 근거가 됩니다.
질적데이터분석의 용어
현상학 연구 분석
- 체험된 현상
- 참여자가 실제로 겪고 의미를 부여한 경험을 연구의 중심에 둡니다. 일반 태도 점수보다 그 경험이 어떻게 나타나고 무엇을 의미하는지 질문합니다.
- 기술적·해석적 현상학
- 기술적 전통은 경험의 핵심 구조를 충실히 기술하려 하고, 해석적 전통은 참여자와 연구자의 맥락 속 의미 만들기를 함께 해석합니다. 전통에 따라 연구자의 역할과 분석 절차가 달라집니다.
- 기준표집과 경험의 적합성
- 현상을 직접 경험한 사람을 기준에 따라 목적 있게 선정합니다. 대표성이나 특정 인원수보다 연구질문에 맞는 경험을 얼마나 깊고 다양하게 얻는지가 표집 근거입니다.
- 심층면담과 반성적 기록
- 구체적인 경험 장면과 의미를 말할 수 있도록 개방형 질문으로 면담합니다. 연구자의 선이해, 면담 관계와 분석 판단을 기록해 해석 과정을 돌아볼 수 있게 합니다.
- 전체 읽기와 의미 단위
- 전사자료를 반복해서 읽어 경험의 전체 맥락을 이해한 뒤 연구질문에 관련된 의미 있는 진술·장면을 표시합니다. 문장을 잘게 쪼개 맥락을 잃지 않도록 합니다.
- 경험 주제와 본질 구조
- 의미 단위들을 참여자별·참여자 간 비교해 경험을 구성하는 주제와 관계를 설명합니다. 공통 키워드만 모으지 말고, 현상이 어떻게 경험되는지 맥락과 차이까지 기술합니다.
- 현상학적 환원·괄호치기
- 연구자의 전제와 익숙한 설명을 성찰하고 자료를 읽을 때 그 영향이 어떻게 작동하는지 검토하는 태도입니다. 선입견을 완전히 없앴다고 선언하는 절차가 아닙니다.
- 이중 해석(IPA의 이중 해석학)
- 해석현상학적 분석에서는 참여자가 자신의 경험을 이해하려는 의미 만들기를 연구자가 다시 해석합니다. 이는 모든 현상학 접근에 똑같이 적용되는 단계가 아니라 IPA의 해석 입장입니다.
- 인용문과 해석의 연결
- 참여자 인용은 주제를 뒷받침하는 자료이며 해석 그 자체는 아닙니다. 어떤 언어·맥락에서 주제를 도출했는지 설명하고 사례 간 공통점과 고유한 차이를 함께 보여 줍니다.
- 전이가능성과 해석 범위
- 통계적 모집단 비율을 추정하는 방법이 아닙니다. 참여자·상황·연구절차를 두껍게 기술해 독자가 다른 맥락에 적용할 수 있는지 판단하도록 합니다.
근거이론 기반 분석
- 과정과 설명이 필요한 질문
- 근거이론은 사람들이 어떤 과정으로 행동·대응하고 그 과정이 어떤 조건에서 달라지는지 설명하는 이론을 발전시킵니다. 경험 주제를 분류하는 데서 더 나아간 산출물을 목표로 합니다.
- 근거이론 전통
- Glaser식, Strauss와 Corbin식, 구성주의 근거이론 등은 코딩·이론·연구자 역할에 차이가 있습니다. 한 전통을 선택하고 용어와 절차를 일관되게 사용합니다.
- 이론적 표집
- 초기 분석에서 발전한 범주를 더 설명할 사례·참여자를 다음으로 선정합니다. 표집 결정이 자료수집과 분석 사이를 오가며 이론 형성을 지원합니다.
- 동시적 자료수집과 분석
- 면담을 모두 끝낸 뒤 분석하는 대신 초기 분석을 다음 질문과 표집에 반영합니다. 연구 질문·윤리 승인·현장 조건에서 가능한 범위를 계획에 밝혀야 합니다.
- 초기·개방 코딩
- 자료를 비교하며 의미 있는 사건과 행동을 간결한 개념으로 표시합니다. 코드 이름은 자료에 근거하되 자료를 그대로 옮겨 적는 데 그치지 않고 분석적 의미를 발전시킵니다.
- 지속적 비교
- 자료 대 자료, 코드 대 코드, 범주 대 범주를 비교해 공통점·차이·조건을 정교화합니다. 새 사례가 기존 범주의 경계와 설명을 바꾸는지 살핍니다.
- 범주와 속성·차원
- 범주는 관련 개념들을 묶어 설명하는 더 높은 수준의 분석 단위입니다. 속성과 차원을 구체화해 범주가 언제·어떻게 달라지는지 표현합니다.
- 이론적 메모
- 범주·관계·가정·질문에 대한 분석자의 생각을 기록하는 문서입니다. 자료와 개념을 연결하고 다음 표집·분석 결정을 추적하는 데 씁니다.
- 이론적 충분성·포화
- 선택한 전통에서 새 자료가 핵심 범주의 속성이나 이론을 더 발전시키지 않는다고 판단하는 근거를 설명합니다. 같은 말이 반복되었다거나 정해진 면담 수를 채웠다는 뜻은 아닙니다.
- 핵심범주와 과정모형
- 자료에 근거해 여러 범주를 연결하고 중심 과정과 조건·전략·결과를 설명합니다. 산출물은 범주 간 관계가 드러나는 실체이론 또는 과정 설명입니다. 인용문 모음으로는 부족합니다.
- 자료와 이론의 추적가능성
- 대표·반례 인용, 코딩·메모·표집 결정의 기록으로 이론이 자료에서 어떻게 나왔는지 보여 줍니다. Gioia 데이터 구조 등 인접 귀납 접근을 근거이론과 동일한 절차라고 부르지 않습니다.
내러티브 데이터 분석
- 이야기와 서사자료
- 참여자가 사건을 선택·배열하고 의미를 부여해 구성한 이야기입니다. 면담, 문서, 일기 등에서 누가 누구에게 어떤 맥락으로 이야기했는지도 자료의 일부입니다.
- 내러티브 연구질문
- 무엇을 경험했는지뿐 아니라 사건을 어떻게 연결해 설명하는지, 정체성·조직 과정이 이야기 속에서 어떻게 구성되는지를 묻습니다. 이야기의 시간과 맥락이 중요하지 않다면 다른 질적 분석이 더 맞을 수 있습니다.
- 사례와 시간 맥락
- 분석할 사람·팀·조직의 이야기 범위를 정하고 과거·현재·미래의 사건 순서를 재구성합니다. 사례의 시작·끝과 자료 출처를 투명하게 설명합니다.
- 이야기한 경험과 실제 사건
- 서사는 사건의 녹화본이 아니라 특정 시점·청중·관계 속에서 구성된 설명입니다. 사실 여부를 주장할 때는 다른 자료와 대조하고 이야기의 관점 자체도 분석합니다.
- 플롯과 사건 배열
- 사건이 어떤 원인·전환·결말의 흐름으로 조직되는지 살핍니다. 연대기 목록을 만드는 데 그치지 않고 참여자가 사건을 연결하는 방식을 읽습니다.
- 시간성
- 과거 경험이 현재의 해석과 미래 기대에 어떻게 연결되는지 봅니다. 동일한 사건도 이야기의 어느 시점에서 회고되는지에 따라 의미가 달라질 수 있습니다.
- 전환점
- 참여자가 삶·경력·조직 과정의 방향을 바꾼 사건으로 의미화한 계기입니다. 연구자가 결과에 맞춰 이름 붙이지 말고 이야기 구조와 다른 자료에서 근거를 확인합니다.
- 내러티브 분석 접근
- 주제 중심, 구조 중심, 수행·상호작용 중심 등 분석 초점이 다를 수 있습니다. 어떤 단위를 분석하고 언어·청중·맥락을 어디까지 볼지 선택한 접근을 밝혀야 합니다.
- 사례 내·사례 간 분석
- 먼저 한 사례의 전체 흐름과 고유성을 해석한 뒤 사례 간 공통·대조 패턴을 비교합니다. 공통 주제만 남겨 각 이야기의 전체 구조를 지우지 않도록 합니다.
- 인용과 맥락 보존
- 인용문은 발화의 흐름과 화자를 이해할 수 있게 제시합니다. 일부 문장만 잘라 주장을 뒷받침하면 이야기의 맥락과 모순을 왜곡할 수 있습니다.
사례연구 (Case study)
- 사례와 사례의 경계
- 연구 대상인 조직, 프로그램, 사건처럼 범위가 정해진 단위가 사례입니다. 누구를, 어디서, 언제까지 볼지 정한 범위가 경계입니다.
- 탐색적·기술적·설명적 사례연구
- 새로운 현상의 질문을 찾으면 탐색적, 현상을 자세히 그리면 기술적, 왜 그런지 원인과 과정을 밝히면 설명적 사례연구입니다.
- 내재적·도구적 사례연구
- 사례 자체가 궁금하면 내재적 사례연구, 사례를 통해 더 넓은 이슈나 이론을 이해하려면 도구적 사례연구입니다(Stake).
- 단일 사례와 다중 사례
- 단일 사례는 결정적이거나 독특한 사례를 깊이 보고, 다중 사례는 여러 사례를 비교해 설명의 설득력을 높입니다.
- 전체적 설계와 내포적 설계
- 사례를 하나의 전체로 보면 전체적 설계, 사례 안의 부서나 팀 같은 하위 단위까지 함께 보면 내포적 설계입니다.
- 사례연구 프로토콜
- 연구문제, 자료 수집 절차, 면담 질문, 보고 계획을 미리 적은 문서입니다. 연구의 신뢰성을 높이고 다중 사례에서 절차를 일관되게 합니다.
- 사례연구 데이터베이스
- 면담 전사본, 문서, 메모, 코딩 결과를 체계적으로 모은 저장소입니다. 다른 연구자가 근거를 확인할 수 있게 합니다.
- 삼각검증
- 면담, 관찰, 문서처럼 서로 다른 자료원으로 같은 사실이나 해석을 대조합니다. 사례연구의 핵심 근거입니다.
- 패턴 대응과 설명 구축
- 패턴 대응은 이론이 예측한 패턴과 관찰된 패턴을 비교하는 것이고, 설명 구축은 사례의 원인과 과정을 반복해서 다듬어 설명을 만드는 것입니다.
- 사례 내 분석과 사례 간 분석
- 사례 내 분석은 각 사례를 따로 깊이 분석하고, 사례 간 분석은 사례들을 비교해 공통 패턴과 차이를 찾습니다.
- 반복 논리
- 다중 사례를 실험의 반복처럼 다루는 논리입니다. 비슷한 결과를 예측해 고르면 직접 반복, 이론적 이유로 다른 결과를 예측해 고르면 이론적 반복입니다.
- 증거의 연결고리
- 연구문제, 자료, 결론이 서로 추적되도록 기록을 남깁니다. 독자가 결론에서 원자료까지 거슬러 갈 수 있어야 합니다.
- 분석적 일반화
- 사례 결과를 모집단으로 넓히지 않고, 이론을 확인하거나 다듬는 방식으로 일반화합니다.
- 대안 설명
- 다른 원인으로도 결과를 설명할 수 있는지 검토합니다. 경쟁 설명을 배제할수록 사례 설명의 설득력이 높아집니다.
주제분석 (Thematic Analysis)
- 주제(theme)
- 연구 질문과 관련해 자료 전반에 걸쳐 나타나는 의미의 패턴으로, 하나의 핵심 생각으로 묶입니다. 단순한 화제(‘교육 만족’)가 아니라 그 화제에 대해 무엇을 말하는지를 담습니다.
- 귀납적·연역적 주제분석
- 귀납적 방식은 자료에서 출발해 코드와 주제를 만들고, 연역적 방식은 기존 이론의 개념으로 자료를 읽습니다. 실제 연구에서는 두 방식이 섞이므로 어느 쪽에 무게를 두는지 밝힙니다.
- 의미론적·잠재적 수준
- 의미론적 수준은 참여자가 말한 그대로의 의미를, 잠재적 수준은 그 말 밑에 깔린 가정과 생각을 읽습니다. 수준에 따라 해석의 깊이와 근거 제시 방식이 달라집니다.
- 성찰적 주제분석과 코드북 방식
- 성찰적 주제분석은 연구자의 해석을 분석의 자원으로 보고 코딩 신뢰도를 요구하지 않습니다. 코드북 방식은 미리 정한 코드 목록과 코더 간 일치도를 사용합니다. 어느 방식인지 일관되게 따릅니다.
- 반구조화 면담과 전사
- 핵심 질문을 정해 두되 참여자의 이야기에 따라 추가 질문을 하는 면담입니다. 녹음을 글로 옮긴 전사본이 분석 자료가 되며, 전사 규칙을 정해 일관되게 적용합니다.
- 코드와 코딩
- 연구 질문과 관련된 의미가 담긴 자료 조각에 붙이는 짧은 이름이 코드이고, 이를 붙이는 과정이 코딩입니다. 코드는 분석이 진행되며 합쳐지고 바뀝니다.
- 후보 주제와 주제 검토
- 코드를 묶어 만든 잠정적인 주제가 후보 주제입니다. 각 주제가 코드와 전체 자료에 맞는지, 주제끼리 경계가 분명한지 검토해 합치거나 나누거나 버립니다.
- 주제 지도
- 주제와 하위 주제의 관계를 그림으로 정리한 것입니다. 주제들이 어떻게 연결되어 하나의 이야기를 이루는지 확인하는 데 씁니다.
- 분석 메모
- 코딩과 주제 만들기 과정에서 떠오른 생각, 결정의 이유, 바꾼 내용을 날짜와 함께 기록한 글입니다. 분석 과정을 투명하게 보여 주는 근거가 됩니다.
- 주제 정의와 이름
- 각 주제의 핵심 의미와 범위를 한두 문장으로 정의하고, 그 주장을 담은 이름을 붙입니다. 면담 질문을 그대로 주제 이름으로 쓰지 않습니다.
- 인용과 해석의 연결
- 참여자 인용은 주제를 보여 주는 근거입니다. 인용만 나열하지 않고, 그 인용이 왜 그 주제를 보여 주며 연구 질문에 무엇을 말하는지 해석을 붙입니다.
- 연구자의 성찰과 신뢰성
- 연구자의 배경·가정이 해석에 미친 영향을 돌아보고 밝히는 것이 성찰입니다. 분석 메모, 감사 추적, 두꺼운 기술로 독자가 결과의 신뢰성을 판단할 수 있게 합니다.
문헌데이터분석의 용어
스코핑 리뷰
- PCC 질문틀
- 대상(Population), 개념(Concept), 맥락(Context)을 정리해 넓은 범위 질문을 구체화합니다. 어떤 문헌을 찾고 무엇을 지도화할지 질문에 포함합니다.
- 스코핑 리뷰의 목적
- 개념·근거의 범위와 특성, 사용된 방법, 지식 공백을 지도화하는 문헌 연구입니다. 좁은 효과 질문의 통합 추정이나 근거의 효과성 판정과 목적이 다릅니다.
- 프로토콜과 적격기준
- 검색원·검색식·기간·언어·포함/제외 기준·추출 항목을 사전에 계획합니다. 질문 수정이 필요하면 변경 이유와 영향을 기록합니다.
- 검색식과 검색원
- 핵심 개념과 동의어를 데이터베이스별 색인·검색 문법에 맞게 조합합니다. 검색 날짜와 완전한 검색식을 보고해 검색을 재현할 수 있게 합니다.
- 중복 제거와 단계별 선별
- 중복 문헌을 처리한 뒤 제목·초록과 전문 단계에서 기준을 적용하고 제외 사유를 기록합니다. 여러 검토자가 선별했다면 불일치 해결 방식을 밝힙니다.
- 자료 차팅(charting)
- 포함 문헌에서 목적·대상·개념·설계·주요 결과 등 질문에 답할 정보를 표준 양식으로 추출합니다. 양식은 시범 적용하고 수정사항을 기록합니다.
- 기술적 지도화
- 문헌의 연도·국가·대상·개념·설계 분포와 관계를 표·그림·서술로 요약합니다. 빈도표가 연구 공백의 중요성이나 효과를 그 자체로 증명하지는 않습니다.
- 주제적·개념적 합성
- 문헌 사이의 개념과 발견을 질문에 맞게 비교·분류해 패턴과 차이를 설명합니다. 스코핑 리뷰에서 어떤 수준의 해석을 했는지 방법을 밝힙니다.
- 비뚤림 위험·질 평가
- 전통적으로 스코핑 리뷰는 포함 문헌의 비뚤림 위험 평가를 필수로 요구하지 않지만, 목적이 근거의 효과성·실행 권고라면 질 평가가 필요할 수 있습니다. 평가 여부와 이유를 밝힙니다.
- PRISMA-ScR
- 스코핑 리뷰의 검색·선정·차팅·보고를 투명하게 제시하도록 돕는 보고 체크리스트입니다. 체크리스트 준수만으로 검색과 분석의 질이 자동 보장되지는 않습니다.
- 공백의 해석
- 찾은 문헌이 적다는 사실만으로 중요한 연구 공백이라고 단정하지 않습니다. 이론적·실천적 필요, 검색 범위의 한계, 어떤 대상·개념이 빠졌는지를 함께 논증합니다.
통합적 문헌고찰
- 통합적 고찰의 질문
- 개념·이론·실증근거를 비판적으로 연결해 기존 이해를 재구성하는 질문입니다. 특정 주제의 모든 논문을 모으는 것과는 다릅니다.
- 포함할 근거의 종류
- 실증 연구, 이론 논문, 개념 논문 등 어떤 문헌을 포함할지 질문과 목적에 따라 정합니다. 문헌 종류별로 무엇을 비교할 수 있는지 설명해야 합니다.
- 검색·선정의 투명성
- 통합적 고찰이 유연하더라도 검색원, 검색어, 기간, 선정 판단을 공개합니다. 포함 문헌을 임의로 골랐다는 의심을 줄이고 종합의 범위를 독자가 평가할 수 있게 합니다.
- 비판적 평가
- 연구 설계·개념 정의·근거의 강점과 한계를 살펴 종합에서 각 자료가 어떤 무게와 역할을 갖는지 판단합니다. 평가 기준은 근거 유형에 맞게 정합니다.
- 자료추출과 비교표
- 문헌별 핵심 개념, 전제, 방법, 주장과 근거를 공통 틀로 정리합니다. 비교표는 요약표와 다릅니다. 일치·불일치·누락을 찾아 통합할 재료입니다.
- 비판적 분석과 통합
- 문헌의 주장들이 어떤 조건에서 일치·충돌하는지 설명하고, 개념의 관계나 분류를 새롭게 구성합니다. 논문별 한 문단 요약의 나열은 통합 결과가 아닙니다.
- 통합틀·명제·개념모형
- 분석 결과를 관계도·분류·명제로 정리해 기존보다 무엇을 더 설명하는지 보여 줍니다. 도식에는 각 개념과 연결의 근거를 문헌에 추적할 수 있어야 합니다.
- 통합의 기여와 범위
- 새 틀이 어떤 현상·맥락을 설명하는지, 어디까지 적용되는지, 어떤 가정을 갖는지 밝힙니다. 기존 문헌 범위 밖의 결론은 별도 검증이 필요합니다.
- 후속 검증 질문
- 통합 결과에서 도출한 경험적·이론적 질문을 제시합니다. 제안한 관계를 자료로 검증할 경우 필요한 설계·자료 유형도 함께 설명하면 실현 가능성이 분명해집니다.
- 통합적 고찰과 이론구축 구분
- 통합적 고찰의 중심 기여는 문헌을 재연결하는 것이고 이론구축은 현상을 설명하는 메커니즘·경계조건을 발전시키는 데 있습니다. 둘이 겹칠 때 논문의 주된 산출물이 무엇인지 밝혀야 합니다.
체계적 문헌고찰
- 질문틀과 적격기준
- 효과·경험·진단·과정 등 질문 유형에 맞는 PICO, PICo 등 틀을 사용해 대상·개념·비교·결과와 문헌 설계를 정합니다. 기준은 질문에 맞게 사전 밝힙니다.
- 체계적 고찰과 내러티브 고찰
- 체계적 고찰은 명시된 질문에 대해 포괄적·재현 가능한 검색과 선정, 평가·합성을 계획합니다. 내러티브 고찰과 명칭을 혼용하지 않습니다.
- 프로토콜과 등록
- 검색·선정·결과·위험평가·합성 계획을 자료를 보기 전에 기록합니다. 변경이 생기면 시점과 이유를 기록해 사후 선택을 구분합니다.
- 재현 가능한 검색
- 여러 적절한 데이터베이스와 기타 검색원을 정하고 각 검색식, 날짜, 제한 조건을 저장합니다. 정보전문가 검토와 참고문헌 추적을 고려할 수 있습니다.
- 중복 제거·선별·흐름도
- 중복 처리와 제목·초록·전문 선정 과정, 단계별 제외 사유를 기록합니다. PRISMA 흐름도는 절차를 보고하는 도구이며 방법 자체를 대체하지 않습니다.
- 비뚤림 위험 평가
- 연구 설계에 맞는 도구로 결과를 왜곡할 수 있는 선택·측정·결측·보고 문제를 평가합니다. 포함 연구의 질은 결과의 신뢰도와 해석 범위에 반영합니다.
- 결과 추출과 연구 간 비교
- 대상·설계·측정·결과를 일관된 양식으로 추출하고 검증합니다. 차이가 크면 단순 합산하지 말고 맥락·설계·측정의 차이를 설명합니다.
- 정량·서술 합성 선택
- 효과와 자료가 충분히 비교 가능할 때 메타분석을 고려합니다. 통계적 통합이 부적절하면 기준을 미리 정한 구조화된 서술 합성을 하고 방법을 설명합니다.
- 근거 확실성
- 결과별 근거가 얼마나 확실한지 위험편향, 비일관성, 간접성, 부정확성, 출판편향 등을 종합해 판단할 수 있습니다. 연구의 수와 확실성은 같은 개념이 아닙니다.
- PRISMA 2020
- 체계적 고찰의 배경·방법·결과·흐름을 빠짐없이 보고하도록 돕는 지침입니다. 보고의 투명성을 지원하지만 잘못된 검색·합성을 고쳐 주는 품질 인증은 아닙니다.
- 결론과 근거의 강도
- 효과 추정치·불확실성·비뚤림 위험과 적용 맥락을 함께 해석합니다. 통계적 유의성이나 포함 논문 수만으로 권고의 확실성을 단정하지 않습니다.
메타분석
- 공통 질문과 효과크기
- 여러 연구가 충분히 유사한 질문·대상·결과를 다루고 비교 가능한 효과와 분산을 제공할 때 정량 통합을 검토합니다. 연구 간 공통 효과와 차이 중 무엇을 추정할지 정합니다.
- 효과크기와 표준오차
- 상관 r, 평균차, 오즈비 등 연구 결과의 크기를 나타내는 추정량과 그 표집 불확실성입니다. 같은 질문을 다른 척도로 측정했다면 적절히 변환하고 방향을 통일합니다.
- 코딩 지침과 의존성
- 포함·제외 기준, 효과 선택, 표본·측정 특성을 코딩 규칙으로 정합니다. 한 논문에서 여러 효과를 추출하면 서로 독립이 아닐 수 있어 다층모형 등 의존성 처리가 필요합니다.
- 고정효과·랜덤효과 모형
- 고정효과 모형은 공통의 단일 참효과를 가정하는 조건부 추정을, 랜덤효과 모형은 연구별 참효과가 분포한다고 보고 그 평균과 분산을 추정합니다. 랜덤효과라고 모든 연구가 자동으로 대표성을 갖는 것은 아닙니다.
- 가중 통합효과
- 연구별 효과를 보통 분산의 역수 등에 따라 가중해 평균 효과를 계산합니다. 표본이 큰 연구가 주는 정보와 연구 간 분산이 반영되므로 단순 논문 수 평균과 다릅니다.
- 이질성(Q·I²·τ²)
- 연구 간 효과 차이의 크기와 분산을 요약합니다. I² 하나만으로 불일치의 원인이나 중요성을 설명할 수 없어 τ², 연구 맥락과 함께 봅니다.
- 예측구간
- 새로운 유사 연구에서 참효과가 있을 법한 범위를 나타내는 구간입니다. 평균 효과의 신뢰구간과 다르며, 이질성이 크면 평균 효과가 유의해도 일부 맥락의 효과는 다를 수 있습니다.
- 하위집단·메타회귀
- 연구 특성이 효과 차이를 설명하는지 탐색합니다. 연구 수준의 연관을 개인 수준 효과로 해석하는 생태학적 오류와 적은 연구 수에서의 불안정성을 주의합니다.
- 민감도·영향 분석
- 특정 연구 제외, 대안 효과·모형 선택 등에 따라 통합 결과가 얼마나 달라지는지 평가합니다. 결과가 일부 결정에 의존하면 결론에 그 불안정성을 반영합니다.
- 출판편향과 소규모 연구 효과
- 유의한 결과가 더 자주 출판되는 등 문헌에 결과 선택이 개입했는지 탐색합니다. 퍼널 그림·검정은 연구 수와 이질성에 민감하며, 비유의 결과가 편향이 없다는 증명은 아닙니다.
- p값을 합치는 것과 메타분석
- 메타분석은 논문별 p값을 평균내는 것이 아니라 효과크기와 불확실성을 통합하는 분석입니다. 통합효과·신뢰구간·이질성·예측범위를 질문에 맞춰 보고합니다.
- 실질적 의미와 적용 범위
- 평균 효과의 크기와 이질성, 연구의 비뚤림 위험을 실제 맥락에서 해석합니다. 통계적 유의성이 실무적으로 중요한 효과나 모든 상황의 효과를 뜻하지는 않습니다.
이론 구축 (Theory building)
- 이론적 기여: 무엇·어떻게·왜·언제
- 무엇이 핵심 개념인지, 어떻게 연결되는지, 왜 그 관계가 생기는지, 언제 성립하는지 설명합니다. 변수와 가설 목록이나 문헌 요약만으로는 이론적 설명이 완성되지 않습니다.
- 이론의 구성개념과 분석수준
- 설명하려는 추상 개념과 개인·팀·조직 등 관계가 성립하는 수준을 정합니다. 서로 다른 수준의 개념을 연결할 때 수준 간 기제를 설명해야 합니다.
- 이론구축의 자료 기반
- 문헌 통합, 사례연구, 비교사례, 경험자료 등 어떤 자료와 추론으로 이론을 만들지 밝힙니다. 자료 기반 이론과 순수 개념적 이론은 근거와 절차가 다릅니다.
- 귀납·연역·귀추 추론
- 귀납은 사례에서 패턴을 발전시키고, 연역은 이론에서 검증 가능한 결과를 도출하며, 귀추는 놀라운 관찰을 설명할 가장 나은 잠정 설명을 찾습니다. 실제 이론작업은 이를 오갈 수 있으나 어떤 추론을 했는지 설명합니다.
- 메커니즘
- 개념 간 관계가 왜 또는 어떤 과정으로 발생하는지를 설명하는 연결 과정입니다. 화살표 방향만 그리지 말고 행위·조건·과정의 논리를 제시합니다.
- 명제와 가설
- 명제는 이론 내 개념 간 관계를 논리적으로 진술하고, 가설은 측정·자료로 검증할 수 있게 구체화한 예측입니다. 이론구축 단계에서 둘의 역할을 구분합니다.
- 경계조건
- 이론이 적용되는 사람·맥락·시간·상황의 범위를 정합니다. 경계조건이 있어야 어디서 이론이 작동하지 않을 수 있는지도 평가할 수 있습니다.
- 대안 설명과 반례
- 제안한 설명이 유일한 해석인지 확인하고 경쟁 설명이나 맞지 않는 사례를 검토합니다. 반례를 제거하기보다 어떤 조건에서 이론을 수정해야 하는지 살핍니다.
- 개념모형과 논증
- 모형 그림은 개념과 관계를 요약하지만 그 자체가 이론은 아닙니다. 각 연결의 왜·어떻게를 문헌·자료·논리로 설명하고 그림과 서술의 일치성을 확인합니다.
- 이론의 새로움과 검증 가능성
- 기존 설명과 무엇이 다른지, 어떤 관찰이 이론을 지지하거나 반박할지 제시합니다. 후속 실증연구가 검토할 수 있는 명제·자료·경계조건을 남깁니다.
혼합데이터분석의 용어
혼합연구 (Mixed Methods Research)
- 혼합연구
- 한 연구 안에서 양적 자료와 질적 자료를 수집·분석하고 통합하는 연구입니다. 통합이 빠지면 두 연구를 나란히 놓은 것에 그칩니다.
- 통합 질문
- 두 자료를 합쳐야 답할 수 있는 질문입니다. 예: 면담 결과가 설문 결과의 차이를 어떻게 설명하는가?
- 메타 추론
- 양적 추론과 질적 추론을 합쳐 이끌어 낸 종합 결론입니다.
- 설명적 순차 설계
- 양적 자료를 먼저 분석하고, 그 결과를 설명하기 위해 질적 자료를 수집합니다.
- 탐색적 순차 설계
- 질적 자료로 먼저 탐색하고, 그 결과로 문항이나 변수를 만들어 양적으로 확인합니다.
- 수렴적 설계
- 두 자료를 따로 수집·분석한 뒤 결과를 비교하고 병합합니다.
- 연결
- 한 자료의 결과로 다른 자료의 표집 대상을 정하는 통합 방식입니다.
- 구축
- 한 자료의 결과로 다른 자료의 수집 도구를 만드는 통합 방식입니다.
- 병합
- 두 자료의 결과를 분석이나 해석 단계에서 합치는 통합 방식입니다.
- 공동표시표
- 양적 결과와 질적 결과를 주제별로 나란히 놓은 표나 그림입니다.
- 일치·확장·불일치
- 두 결과가 같은 결론인지, 서로를 넓혀 주는지, 어긋나는지를 판단하는 기준입니다.
- 불일치 처리
- 불일치는 재분석, 추가 자료 수집, 이론적 재해석으로 다룹니다. 한쪽 결과를 임의로 지우지 않습니다.
설계기반연구 (Design and Development Research, DDR)
- 설계·개발 연구(DDR)
- 교수설계 산출물이나 모형을 체계적으로 설계·개발·평가해 지식을 만드는 연구입니다(Richey & Klein).
- 제품·도구 연구
- 특정 프로그램이나 도구의 개발 과정과 교훈을 보고하는 Type 1 연구입니다.
- 모형 연구
- 모형을 개발하고 타당화해 일반화 가능한 지식을 만드는 Type 2 연구입니다.
- 설계 원리
- 문헌과 요구 분석에서 도출한, 설계를 이끄는 지침입니다.
- 요구 분석
- 현재 상태와 바라는 상태의 차이, 사용자와 맥락을 파악하는 단계입니다.
- ADDIE
- 분석, 설계, 개발, 실행, 평가의 일반적 교수설계 절차입니다.
- 내적 타당화
- 전문가 평정으로 모형의 구성과 내용이 타당한지 확인하는 과정입니다.
- 외적 타당화
- 모형을 현장에 적용해 실행 가능성과 효과를 확인하는 과정입니다.
- 내용타당도 지수(CVI)
- 항목을 적절하다고 평정한 전문가의 비율입니다. I-CVI ≥ .78을 흔히 기준으로 삼습니다(Polit & Beck, 2006).
- 사용성 평가
- 실제 사용자가 결과물을 쉽고 유용하게 쓸 수 있는지 평가합니다.
- 수정 이력
- 누구의 어떤 의견으로 무엇을 고쳤는지 남긴 기록입니다. 설계 결정의 근거가 됩니다.
- DBR과의 구별
- DBR은 현장 실천가와 함께 실제 수업을 여러 차례 반복 개선하는 데 중심을 둡니다. 우리말로 ‘설계기반연구’는 DBR을 가리키기도 하므로 약어를 함께 씁니다.
준실험연구 (Quasi-Experimental Design)
- 준실험
- 처치와 비교집단이 있지만 무선 할당이 없는 연구입니다. 이미 나뉜 집단을 그대로 비교합니다.
- 처치
- 효과를 알고 싶은 교육이나 프로그램입니다. 내용과 기간, 참여율을 구체적으로 정의합니다.
- 진실험과의 차이
- 진실험은 무선 할당으로 집단을 만들어 원래 차이를 확률적으로 없앱니다. 준실험은 설계와 통계로 줄일 뿐입니다.
- 비동등 통제집단 설계
- 서로 다를 수 있는 두 집단에 사전·사후 검사를 하는 가장 흔한 준실험 설계입니다.
- 선택 편향
- 참여 집단이 처음부터 달라 생기는 차이입니다. 의욕이 높은 사람이 교육을 신청한 경우가 대표적입니다.
- 내적 타당도 위협
- 동시 사건(역사), 성숙, 검사 효과, 탈락, 집단 간 교류처럼 처치 외의 설명 가능성입니다.
- 사전 동질성
- 처치 전 두 집단의 점수가 비슷한지 확인합니다. 유의하지 않다고 해서 두 집단이 같다는 증명은 아닙니다.
- ANCOVA
- 사전 점수를 공변량으로 넣고 사후 점수의 집단 차이를 비교하는 분석입니다.
- 회귀 기울기 동질성
- 사전 점수와 사후 점수의 관계가 두 집단에서 같다는 ANCOVA의 가정입니다. 집단×사전 상호작용으로 확인합니다.
- 집단×시점 상호작용
- 변화량이 집단마다 다른지 검정합니다. 혼합 분산분석에서 얻으며 이중차분과 같은 논리입니다.
- 성향점수 매칭
- 처치를 받을 확률이 비슷한 사람끼리 짝지어 관측된 변수의 차이를 줄이는 방법입니다. 측정하지 않은 차이는 해결하지 못합니다.
- 효과크기
- ηp²나 Cohen d로 차이의 크기를 나타냅니다. d는 .2, .5, .8을 흔히 작음, 중간, 큼의 기준으로 봅니다.
- 인과 해석의 범위
- 준실험은 효과의 근거를 주지만 확정하지 못합니다. ‘효과가 있는 것으로 나타났다’처럼 조심스럽게 씁니다.
용어 뜻은 공개 연구방법 교재의 용례를 바탕으로 쉽게 풀어 썼습니다. 더 확인하기: Bhattacherjee, Social Science Research: Principles, Methods, and Practices · Jhangiani et al., Research Methods in Psychology 용어집 · Research Methods: Exploring the Social World, 연구설계와 측정 장.
네 가지 질문에 답하며 내 연구를 정리해 보세요
아직 정하지 못한 내용은 비워 두어도 됩니다. 자료 조건은 아는 만큼 선택해 주세요. 입력 내용은 이 브라우저에서만 처리하며 서버로 보내거나 저장하지 않습니다.
작성이 막막하다면 연구 고민 예시를 참고해 보세요
예시를 누르면 네 질문의 입력 내용과 선택 조건이 바뀝니다.
어떤 질문에 답하려는 연구인가요?
연구방법 이름을 몰라도 괜찮습니다. 지금 답을 얻고 싶은 질문과 가까운 카드를 골라 보세요. 상세 안내에서 연구 목적, 필요한 자료, 분석 뒤에 제시할 결과를 확인할 수 있습니다.
- 설문 점수나 학습 기록을 다루면 양적 연구부터 살펴보세요. 변수와 모형을 통해 요인과 결과의 관계나 예측을 확인합니다.
- 면담이나 관찰 기록을 다루면 질적 연구를 살펴보세요. 경험의 의미나 변화 과정을 이해합니다.
- 기존 논문과 연구보고서를 살펴보려면 문헌 연구부터 읽어 보세요. 연구의 범위와 근거, 개념 사이의 설명을 정리합니다.
양적데이터분석
설문 점수, 성적, 학습 기록처럼 숫자로 나타낼 수 있는 자료를 살펴봅니다. 무엇이 결과와 관련되는지, 사람들을 어떻게 나눌 수 있는지, 앞으로의 결과를 얼마나 예측할 수 있는지 알아봅니다.
다중회귀분석 (Multiple Regression)
다른 요인들도 함께 고려했을 때, 어떤 요인이 결과와 관련되는가?
원하는 결과 각 요인이 결과와 얼마나 관련되는지, 다른 요인을 고려한 뒤의 관계를 표와 수치로 보여 줍니다. 02매개효과 (Mediation, 다중매개 포함)
교육이나 경험이 성과로 이어지기까지 어떤 과정이 작동하는가?
원하는 결과 결과와 직접 연결되는 부분과 중간 과정을 거쳐 연결되는 부분을 경로 그림으로 보여 줍니다. 03조절효과 (Moderation, 이중조절 포함)
어떤 사람이나 상황에서 두 요인의 관계가 더 강하거나 약해지는가?
원하는 결과 관계가 어떤 조건에서 얼마나 달라지는지 비교표나 그림으로 보여 줍니다. 04조절된 매개효과 (Moderated Mediation)
어떤 조건에서, 중간 과정을 거쳐 결과로 이어지는 관계가 더 강하거나 약해지는가?
원하는 결과 조건별로 중간 과정을 거쳐 결과와 연결되는 정도를 표와 그림으로 비교합니다. 05구조방정식모형 (Structural Equation Modeling, SEM)
여러 설문 문항으로 측정한 개념들이 서로 어떻게 연결되는가?
원하는 결과 설문 문항이 각 개념을 잘 나타내는지, 개념들이 서로 어떻게 연결되는지 함께 보여 줍니다. 06다집단 분석 (Multigroup Analysis)
두 집단에서 설문 문항의 의미와 개념 사이의 관계가 같은가?
원하는 결과 두 집단에서 설문 문항이 비슷한 의미로 쓰였는지와 개념 사이 관계를 비교합니다. 07잠재프로파일분석 (Latent Profile Analysis, LPA)
사람들의 점수 조합을 보면 어떤 유형이 나타나는가?
원하는 결과 찾아낸 사람 유형과 각 유형의 점수 조합을 그림과 표로 보여 줍니다. 08잠재계층분석 (Latent Class Analysis, LCA)
예·아니요와 같은 응답 조합을 보면 어떤 사람 유형이 나타나는가?
원하는 결과 응답 패턴에 따라 나뉜 사람 유형과 각 유형이 전체에서 차지하는 비율을 보여 줍니다. 09잠재전이분석 (Latent Transition Analysis, LTA)
시간이 지나면서 사람들이 다른 유형으로 옮겨 가는가?
원하는 결과 시점별 유형과 비율, 유형 사이를 옮겨 갈 확률을 보여 줍니다. 10측정도구 개발 (Scale Development and Validation)
연구하려는 개념을 설문 문항으로 어떻게 측정할 수 있는가?
원하는 결과 개념과 하위영역의 정의, 문항의 출처·초안·수정·삭제 기준, 최종 문항과 채점 방법을 제시합니다. 11예측분석 (Predictive Modeling, 랜덤 포레스트 중심)
새로운 사람이나 다음 시기의 결과를 미리 얼마나 정확하게 예측할 수 있는가?
원하는 결과 새로운 자료나 다음 시기의 자료에서 예측이 얼마나 맞았는지와 예측의 불확실성을 보여 줍니다. 12자기회귀교차지연모형 (Autoregressive Cross-Lagged Panel Model, ARCL)
두 특성은 시간이 지나면서 서로의 다음 변화를 예측하는가?
원하는 결과 이전 점수의 영향을 고려한 뒤에도 두 특성이 서로 이후의 변화를 예측하는지 보여 줍니다. 13사회네트워크분석 (Social Network Analysis, SNA)
사람이나 조직 사이의 관계가 어떤 구조를 이루고, 그 구조 안에서 누가 어떤 위치에 있는가?
원하는 결과 누가 누구와 연결되어 있는지를 네트워크 그림으로 보여 주고, 밀도·중심성 같은 지표로 연결 구조의 특징을 표로 제시합니다. 14토픽모델링 (Topic Modeling)
많은 글(논문 초록, 면담 전사, 댓글, 서술형 응답)에는 어떤 주제가 있고, 시간이나 집단에 따라 어떻게 다른가?
원하는 결과 텍스트에서 찾은 주제(토픽)별 상위 단어와 이름, 각 토픽이 전체에서 차지하는 비율을 표와 그림으로 보여 줍니다. 15다층분석 (Multilevel Analysis, HLM)
팀·학급에 묶인 개인의 자료에서 개인 요인과 집단 요인은 결과에 각각 얼마나 영향을 주는가?
원하는 결과 결과의 차이가 개인과 집단 중 어디에서 얼마나 나오는지(ICC), 개인 수준과 집단 수준 변수의 효과, 두 수준의 상호작용을 표와 그림으로 보여 줍니다. 16잠재성장모형 (Latent Growth Modeling, LGM)
같은 사람의 점수는 시간에 따라 어떻게 변하고, 시작 수준과 변화 속도는 사람마다 얼마나 다른가?
원하는 결과 시점별 평균과 변화 궤적을 그림으로 보여 주고, 시작 수준과 변화 속도의 평균과 개인차를 표로 제시합니다. 17감성분석 (Sentiment Analysis)
서술형 응답·후기·댓글에 담긴 평가는 긍정적인가 부정적인가, 그 감성은 집단·시기·속성에 따라 어떻게 다르고 다른 지표와 어떻게 관련되는가?
원하는 결과 문서별 감성 점수(또는 긍정·중립·부정 범주)와 그 분포를 집단·시기별로 표와 그림으로 보여 줍니다.질적데이터분석
면담·관찰·일지에 담긴 경험을 살펴봅니다. 사람들이 겪은 일을 어떻게 받아들이는지, 어떤 과정을 거치는지, 그 경험을 어떻게 이야기하는지 알아봅니다.
현상학 연구 분석
사람들은 특정 경험을 어떻게 겪고 받아들이는가?
원하는 결과 참여자의 경험에서 반복해서 드러난 의미와 이를 뒷받침하는 면담 내용을 제시합니다. 02근거이론 기반 분석
사람들은 어떤 과정을 거쳐 변화하거나 상황에 대응하는가?
원하는 결과 자료에서 찾아낸 주요 개념과 변화 과정, 개념들이 이어지는 방식을 설명합니다. 03내러티브 데이터 분석
사람들은 자신의 경험을 어떤 이야기로 엮어 설명하는가?
원하는 결과 사람마다 경험을 어떻게 이야기로 엮는지와 이야기의 흐름·전환점을 보여 줍니다. 04사례연구 (Case study)
경계가 분명한 특정 사례(조직·프로그램·사건)에서 어떤 일이 왜, 어떻게 일어났는가?
원하는 결과 사례의 맥락과 사건의 전개를 기술하고, 여러 자료원의 근거로 ‘왜 그런 일이 일어났는지’를 설명하는 틀을 제시합니다. 05주제분석 (Thematic Analysis)
면담·개방형 응답·성찰일지에서 사람들은 어떤 의미를 반복해서 말하고 있으며, 그 의미들은 어떤 주제로 묶여 연구 질문에 답하는가?
원하는 결과 자료에서 만든 주제와 하위 주제, 각 주제의 정의와 이를 뒷받침하는 참여자 인용을 제시합니다.문헌데이터분석
이미 발표된 논문과 보고서를 정해 둔 기준으로 찾아 읽습니다. 어떤 연구가 이루어졌는지 정리하거나, 연구 결과와 설명을 모아 살펴봅니다.
스코핑 리뷰
이 주제는 지금까지 누가, 무엇을, 어떤 방법으로 연구했는가?
원하는 결과 포함된 연구의 대상·주제·자료·방법과 연구가 충분하거나 부족한 영역을 표로 정리합니다. 02통합적 문헌고찰
여러 연구의 개념과 설명에는 어떤 공통점과 차이가 있는가?
원하는 결과 여러 연구의 개념과 설명에서 찾은 공통점·차이점과 이를 바탕으로 정리한 틀을 제시합니다. 03체계적 문헌고찰
정해 둔 질문에 대해 기존 연구를 빠짐없이 살펴보면 무엇을 알 수 있는가?
원하는 결과 문헌 검색·선정 과정을 밝히고, 연구 결과와 근거의 강점·한계를 정리합니다. 04메타분석
여러 연구 결과를 함께 보면 평균적으로 효과가 얼마나 있고, 연구마다 어떻게 다른가?
원하는 결과 여러 연구를 합친 평균 효과의 크기와 연구 결과가 서로 다른 정도를 그림과 수치로 보여 줍니다. 05이론 구축 (Theory building)
기존 설명으로 풀리지 않는 현상을 새로운 개념과 설명으로 정리할 수 있는가?
원하는 결과 핵심 개념과 개념 사이의 설명, 이후 자료로 확인할 수 있는 예측을 제시합니다.혼합데이터분석
숫자 자료와 면담·관찰 자료를 한 연구에서 함께 씁니다. 두 자료를 합쳐 더 깊이 설명하기도 하고, 교육 모형을 만들어 타당화하거나 프로그램의 효과를 사전·사후로 비교하기도 합니다.
혼합연구 (Mixed Methods Research)
숫자로 본 결과와 사람들의 경험을 합치면 무엇을 더 설명할 수 있는가?
원하는 결과 양적 결과와 질적 결과를 합쳐 한 자료만으로 보이지 않는 해석을 보여 줍니다. 02설계기반연구 (Design and Development Research, DDR)
교육 모형이나 프로그램을 어떻게 만들고, 그것이 타당한지 어떻게 검증하는가?
원하는 결과 최종 모형이나 프로그램과 설계 원리를 보여 줍니다. 03준실험연구 (Quasi-Experimental Design)
이 교육이나 프로그램은 실제로 효과가 있었는가?
원하는 결과 교육을 받은 집단이 받지 않은 집단보다 얼마나 더 변했는지 보여 줍니다.